mcpField
F
feedgrab-batch

feedgrab-batch

github.com/ibigqiang生产力62082 次安装4 天前更新
代码仓库

关于 feedgrab-batch

feedgrab-batch 是用于跨平台批量抓取内容的技能，面向需要收集书签、时间线、搜索结果及知识库内容的用户。它涵盖多个社交与内容平台，并支持中断后从检查点继续。

主要功能

  1. 01批量抓取书签、用户动态和列表
  2. 02按关键词搜索并筛选内容
  3. 03抓取账号文章与知识库
  4. 04下载 YouTube 视频、音频和字幕
  5. 05中断后通过检查点续跑

适用场景

  1. 01汇总 X/Twitter 书签或用户推文
  2. 02批量收集 Reddit 或小红书搜索结果
  3. 03抓取微信公众号文章或飞书 Wiki
  4. 04下载 YouTube 视频及字幕

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/ibigqiang/feedgrab --skill feedgrab-batch

安装后在 Claude Code 中输入/feedgrab-batch确认已加载。

详细介绍

feedgrab-batch — 批量内容抓取工具

批量抓取任意平台的内容——书签、用户时间线、关键词搜索、专辑页面、Wiki 树。

触发条件

用户提及批量操作时触发：

  • /feedgrab-batch <command> <args>
  • “抓取我的所有书签”
  • “批量抓取这个用户的推文”
  • “搜索关键词 AI Agent”
  • “抓取这个公众号的所有文章”
  • “下载这个飞书知识库”

前置条件

  1. 已安装 feedgrab（which feedgrab）
  2. 已配置平台专属 Cookie/API 密钥（参见下方各命令）

如果尚未准备好，建议使用 /feedgrab-setup。

命令参考

X/Twitter
书签
# Requires: X_BOOKMARKS_ENABLED=true + feedgrab login twitter (primary session only)
feedgrab https://x.com/i/history                            # All bookmarks (current X URL)
feedgrab https://x.com/i/history/bookmarks/2015311287715340624  # Specific folder
feedgrab https://x.com/i/bookmarks                          # Legacy URL, still accepted
用户推文
# Requires: X_USER_TWEETS_ENABLED=true + feedgrab login twitter
feedgrab https://x.com/username                              # All tweets
X_USER_TWEETS_SINCE=2026-01-01 feedgrab https://x.com/username  # Since date
# Auto browser search supplement when >800 tweets
列表推文
# Requires: X_LIST_TWEETS_ENABLED=true + feedgrab login twitter
feedgrab https://x.com/i/lists/LIST_ID                       # Last 1 day
X_LIST_TWEETS_DAYS=7 feedgrab https://x.com/i/lists/LIST_ID  # Last 7 days
X_LIST_TWEETS_SUMMARY=true feedgrab https://x.com/i/lists/LIST_ID  # + summary table
关键词搜索（x-so）
feedgrab x-so "AI Agent"                          # Search tweets
feedgrab x-so "AI Agent" --days 7                 # Last 7 days
feedgrab x-so "AI Agent" --min-faves 100          # Min 100 likes
feedgrab x-so WorkBuddy --lang zh+zxx --sort all  # Chinese tweets + Article cards, merged Latest/Top
feedgrab x-so "claude,cursor,copilot" --merge     # Multi-keyword merged table
feedgrab x-so "AI Agent" --raw                    # Raw query syntax

输出：Markdown 表格（按浏览量排序）+ CSV，位于 output/X/search/

Reddit
Subreddit 批量抓取
feedgrab reddit-sub MachineLearning --sort hot --limit 25
feedgrab reddit-sub ChatGPT --sort top --limit 50
关键词搜索（reddit-so）
feedgrab reddit-so "codex" --sort comments --time all --limit 10
feedgrab reddit-so "AI Agent" --subreddit ChatGPT --sort top --time week
REDDIT_SEARCH_SAVE_POSTS=true feedgrab reddit-so "open source" --limit 5

输出：Markdown 摘要，位于 output/Reddit/。深度抓取帖子时使用 REDDIT_REPLY_MODE=tree|all。

小红书（小红书）
作者笔记
# Requires: XHS_USER_NOTES_ENABLED=true + feedgrab login xhs
feedgrab https://www.xiaohongshu.com/user/profile/USER_ID
XHS_USER_NOTES_SINCE=2026-01-01 feedgrab https://www.xiaohongshu.com/user/profile/USER_ID
搜索结果
# Requires: XHS_SEARCH_ENABLED=true + feedgrab login xhs
feedgrab "https://www.xiaohongshu.com/search_result?keyword=开学第一课&source=web_explore_feed"
关键词搜索（xhs-so）
feedgrab xhs-so "AI Agent"                          # Search notes
feedgrab xhs-so "AI Agent" --sort popular            # By popularity
feedgrab xhs-so "AI Agent" --type video              # Videos only
feedgrab xhs-so "AI Agent" --save                    # Also save individual .md
feedgrab xhs-so "claude,cursor" --merge              # Multi-keyword merged

输出：Markdown 表格（按点赞数排序）+ CSV，位于 output/XHS/search/

微信（微信公众号）
按公众号抓取（mpweixin-id）
# Requires: feedgrab login wechat (MP backend session, ~4 day validity)
feedgrab mpweixin-id "公众号名称"
MPWEIXIN_ID_SINCE=2026-01-01 feedgrab mpweixin-id "公众号名称"  # Since date
专辑/合集（mpweixin-zhuanji）
feedgrab mpweixin-zhuanji "ALBUM_URL"                # No login needed
MPWEIXIN_ZHUANJI_SINCE=2026-01-01 feedgrab mpweixin-zhuanji "ALBUM_URL"
搜狗搜索（mpweixin-so）
feedgrab mpweixin-so "关键词"                         # Search via Sogou
feedgrab mpweixin-so "关键词" --limit 30              # Max 30 results
YouTube
搜索（ytb-so）
# Requires: YOUTUBE_API_KEY
feedgrab ytb-so "machine learning"                    # Search videos
feedgrab ytb-so "AI" --order viewCount               # Sort by views
feedgrab ytb-so "AI" --channel @3blue1brown          # Channel-specific
feedgrab ytb-so "AI" --days 30                       # Last 30 days
下载
feedgrab ytb-dlv "VIDEO_URL"    # Download video (MP4)
feedgrab ytb-dla "VIDEO_URL"    # Download audio (MP3)
feedgrab ytb-dlz "VIDEO_URL"    # Download subtitles (SRT)
飞书/Lark（飞书）
Wiki 批量抓取
# Requires: FEISHU_APP_ID + FEISHU_APP_SECRET
feedgrab feishu-wiki "WIKI_SPACE_URL"
知乎（知乎）
关键词搜索（zhihu-so）
# Requires: feedgrab login zhihu (for full content)
feedgrab zhihu-so "AI Agent"                          # Search Q&A + articles
feedgrab zhihu-so "AI Agent" --sort hot               # By popularity
feedgrab zhihu-so "AI Agent" --limit 20               # Max 20 results
feedgrab zhihu-so "AI Agent" --days 30                # Last 30 days
feedgrab zhihu-so "claude,cursor" --merge             # Multi-keyword merged

输出：Markdown 表格（按赞同数排序）+ CSV，位于 output/Zhihu/search/

环境变量速查

平台必需变量获取方式
Twitter（基础）通过 feedgrab login twitter 获取 Cookie在浏览器中登录
Twitter（付费 API）TWITTERAPI_IO_KEYtwitterapi.io
Reddit可选 Cookie：通过 feedgrab login reddit 获取；REDDIT_SEARCH_*、REDDIT_REPLY_MODE仅当 Cloudflare/私有内容需要时才登录
小红书通过 feedgrab login xhs 获取 Cookie在浏览器中登录
微信批量抓取通过 feedgrab login wechat 获取 Cookie登录 MP 后台
YouTubeYOUTUBE_API_KEYGoogle Cloud Console
GitHubGITHUB_TOKEN（可选）GitHub Settings
飞书FEISHU_APP_ID + FEISHU_APP_SECRET飞书开放平台
知乎通过 feedgrab login zhihu 获取 Cookie在浏览器中登录

中断后续传

所有批量命令都支持检查点续传——如果操作中断，只需重新运行相同命令。已抓取的内容会通过去重索引跳过。

提示

  • 使用 feedgrab doctor <platform> 诊断配置问题
  • 下载媒体：设置 X_DOWNLOAD_MEDIA=true / XHS_DOWNLOAD_MEDIA=true / MPWEIXIN_DOWNLOAD_MEDIA=true
  • Twitter 多账号 Cookie 轮换：将额外 Cookie 放入 sessions/x_2.json、x_3.json

评论

支持 Markdown