mcpField
C
crawl-xueqiu-user-timeline

crawl-xueqiu-user-timeline

github.com/cnife数据与数据库041 次安装6 周前更新
代码仓库

关于 crawl-xueqiu-user-timeline

此技能通过脚本抓取雪球用户近期或指定日期范围内的发言,并保存为 Markdown,供需要整理用户动态的场景使用。输出包括用户信息、按时间排序的发言及互动数据。

主要功能

  1. 01按日期范围抓取用户发言
  2. 02自动处理分页和令牌
  3. 03导出 Markdown 发言记录
  4. 04包含用户资料和互动数据

适用场景

  1. 01整理雪球用户近期发言
  2. 02归档指定时间段的用户动态
  3. 03汇总含互动数据和原文链接的帖子

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/cnife/my-scripts --skill crawl-xueqiu-user-timeline

安装后在 Claude Code 中输入/crawl-xueqiu-user-timeline确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

AGENTS.md
scripts/
check-agent-browser.sh
check-cdp.sh
crawl_xueqiu_user_timeline_api.py

详细介绍

来自项目 README

crawl-xueqiu-user-timeline

抓取雪球用户的发言时间线,保存为 Markdown 文件。

前置准备

Base directory for this skill: {base_dir}

调用时请将 {base_dir} 替换为实际路径,例如:/home/cnife/code/try-agent-browser-automation/.agents/skills/crawl-xueqiu-user-timeline

确保 Chrome 处于 Debug 模式并安装 agent-browser:

sh {base_dir}/scripts/check-cdp.sh
sh {base_dir}/scripts/check-agent-browser.sh

使用方法

直接运行爬取脚本:

{base_dir}/scripts/crawl_xueqiu_user_timeline_api.py <雪球用户主页链接> [选项]
参数说明
参数说明默认值
url雪球用户主页链接必填
--days爬取最近 N 天3
--start-date开始日期 (YYYY-MM-DD)3 天前
--end-date结束日期 (YYYY-MM-DD)今天
-o, --output输出文件名自动生成

注意:--days 和 --start-date 参数互斥,不能同时使用。

示例
# 爬取最近 3 天(默认)
{base_dir}/scripts/crawl_xueqiu_user_timeline_api.py https://xueqiu.com/u/9493911686

# 爬取最近 7 天
{base_dir}/scripts/crawl_xueqiu_user_timeline_api.py https://xueqiu.com/u/9493911686 --days 7

# 爬取最近 30 天
{base_dir}/scripts/crawl_xueqiu_user_timeline_api.py https://xueqiu.com/u/9493911686 --days 30

# 指定日期范围
{base_dir}/scripts/crawl_xueqiu_user_timeline_api.py https://xueqiu.com/u/9493911686 --start-date 2026-01-01 --end-date 2026-03-05

# 指定输出文件名
{base_dir}/scripts/crawl_xueqiu_user_timeline_api.py https://xueqiu.com/u/9493911686 -o my_timeline.md

输出格式

生成 Markdown 文件,包含:

  • 用户基本信息(UID、粉丝、关注、帖子数)
  • 按时间排序的发言记录
  • 每条发言包含:发布时间、内容、引用内容(如有)、互动数据、原文链接

注意事项

  1. 需要先登录雪球账号
  2. 如遇 Verification 验证页面,需手动完成验证后重新运行
  3. 爬取过程中会自动处理分页和 md5__1038 令牌
  4. 输出文件保存在当前工作目录

是否需要进一步分析?

爬取完成后,请询问用户:是否需要把雪球用户的发言总结分析一下?

评论

支持 Markdown