mcpField
S
sec-edgar-pipeline

sec-edgar-pipeline

github.com/bobmatnyc数据与数据库78346 次安装15 周前更新
代码仓库

关于 sec-edgar-pipeline

这是一个以 edgar-analyzer 为核心、从 SEC EDGAR 文件提取和报告数据的命令行工作流，涵盖项目配置、模式分析、提取、验证和 CSV 报告生成。

主要功能

  1. 01项目配置与示例分析
  2. 02EDGAR 文件检索工作流
  3. 03基于配方的表格提取
  4. 04验证提取结果
  5. 05将 JSON 转为 CSV 报告

适用场景

  1. 01从 DEF 14A 文件提取薪酬表
  2. 02运行可重复的文件提取项目
  3. 03验证结构化文件数据
  4. 04生成高管薪酬 CSV 报告

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/bobmatnyc/claude-mpm-skills --skill sec-edgar-pipeline

安装后在 Claude Code 中输入/sec-edgar-pipeline确认已加载。

附带文件metadata.json

详细介绍

SEC EDGAR 流水线

概述

此流水线以 edgar-analyzer 和 EDGAR 数据源为核心。核心流程是：配置凭据、使用示例创建项目、分析模式、生成代码、运行提取并导出报告。

设置（密钥 + User Agent）

使用设置向导配置所需密钥：

python -m edgar_analyzer setup
# or
edgar-analyzer setup

必填项：

  • OPENROUTER_API_KEY
  • （可选）JINA_API_KEY
  • EDGAR 用户代理字符串（"Name [email protected]"）

CLI 端到端工作流

# 1. Create project
edgar-analyzer project create my_project --template minimal

# 2. Add examples + project.yaml
# projects/my_project/examples/*.json

# 3. Analyze examples
edgar-analyzer analyze-project projects/my_project

# 4. Generate extraction code
edgar-analyzer generate-code projects/my_project

# 5. Run extraction
edgar-analyzer run-extraction projects/my_project --output-format csv

输出保存在 projects/<name>/output/。

EDGAR 专用约定

  • CIK 值为 10 位数字，不足位数以零补齐（例如，0000320193）。
  • 速率限制：SEC API 每秒允许 10 次请求。脚本使用约 0.11 秒的延迟。
  • User Agent 为必填项；请包含姓名和邮箱。

脚本示例（Apple DEF 14A）

edgar/scripts/fetch_apple_def14a.py 展示了直接处理流程：

  1. 获取最新的 DEF 14A 元数据
  2. 下载 HTML
  3. 解析薪酬汇总表（SCT）
  4. 保存原始 HTML、提取的 JSON 和基准数据

配方驱动的提取

edgar/recipes/sct_extraction/config.yaml 定义了一个多步骤流水线：

  • 按公司列表获取 DEF 14A 文件
  • 使用 SCTAdapter 提取 SCT 表格
  • 使用 sct_validator 验证
  • 将结果写入 output/sct

报告生成

edgar/scripts/create_csv_reports.py 将 JSON 结果转换为：

  • executive_compensation_<timestamp>.csv
  • top_25_executives_<timestamp>.csv
  • company_summary_<timestamp>.csv

故障排除

  • 未找到文件：确认 CIK 格式和文件类型（DEF 14A 与 DEF 14A/A）。
  • API 错误：降低请求频率，并确认已设置 User Agent。
  • 提取错误：重新生成代码，或在 POC 脚本中使用人工基准数据。

相关技能

  • universal/data/reporting-pipelines
  • toolchains/python/testing/pytest

评论

支持 Markdown