mcpField
M
media-crawler

media-crawler

github.com/excalibur9527数据与数据库1080 次安装33 周前更新
代码仓库

关于 media-crawler

MediaCrawler 是一款基于 MediaCrawler 的公开信息采集工具，面向研究中国社交平台内容的用户。它支持按关键词、内容 ID、创作者主页和评论采集，并提供 WebUI 与多种存储格式。

主要功能

  1. 01采集所列的七个平台
  2. 02按关键词或内容 ID 搜索采集
  3. 03采集创作者主页和评论
  4. 04通过 WebUI 可视化操作
  5. 05将数据存入文件或数据库
  6. 06使用脚本定位结果文件

适用场景

  1. 01按研究关键词收集帖子
  2. 02采集指定内容 ID 的详情
  3. 03查看创作者主页和评论串
  4. 04将采集数据保存为指定格式或写入数据库

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/excalibur9527/mediacrawler-skill --skill media-crawler

安装后在 Claude Code 中输入/media-crawler确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

manifest.json
README.md
.idea/
.gitignore
mediacrawler-skill.iml
modules.xml
misc.xml
vcs.xml
.idea/inspectionProfiles/
profiles_settings.xml
scripts/
setup.sh
show_results.sh

详细介绍

来自项目 README

MediaCrawler

基于 MediaCrawler 的多平台公开信息采集工具。

支持平台

  • 小红书（xhs）
  • 抖音（dy）
  • 快手（ks）
  • B站（bili）
  • 微博（wb）
  • 贴吧（tieba）
  • 知乎（zhihu）

功能特性

  • 自动安装依赖
  • 关键词搜索采集
  • 指定帖子/内容 ID 采集
  • 创作者主页采集
  • 评论/二级评论抓取
  • 登录态缓存
  • WebUI 可视化操作
  • 多种数据存储（CSV, JSON, JSONL, Excel, SQLite, MySQL, MongoDB）
  • 结果文件快速定位

Usage

安装环境
bash scripts/setup.sh
查看帮助
cd "$PROJECT_PATH"
uv run main.py --help
运行采集
小红书 - 关键词搜索
uv run main.py --platform xhs --lt qrcode --type search --keywords "护肤" --headless false
抖音 - 关键词搜索
uv run main.py --platform dy --lt qrcode --type search --keywords "护肤" --headless false
指定帖子详情抓取
uv run main.py --platform xhs --lt qrcode --type detail --specified_id "帖子ID1,帖子ID2"
创作者主页抓取
uv run main.py --platform xhs --lt qrcode --type creator --creator_id "创作者ID1"
启动 WebUI
uv run uvicorn api.main:app --port 8080 --reload

启动后访问：

http://127.0.0.1:8080

数据存储

根据 config/base_config.py 中：

SAVE_DATA_OPTION = "jsonl"
SAVE_DATA_PATH = ""

默认结果保存到：

data/{平台}/{存储格式}/

例如抖音 JSONL：

data/douyin/jsonl/search_contents_YYYY-MM-DD.jsonl
data/douyin/jsonl/search_comments_YYYY-MM-DD.jsonl
data/douyin/jsonl/search_creators_YYYY-MM-DD.jsonl

例如小红书 JSONL：

data/xiaohongshu/jsonl/search_contents_YYYY-MM-DD.jsonl
data/xiaohongshu/jsonl/search_comments_YYYY-MM-DD.jsonl

如果你设置了：

--save_data_path "/your/custom/path"

则结果会写入你指定的目录。

快速查看结果

bash scripts/show_results.sh

该脚本会列出当前项目下 data/ 目录中的结果文件。

前置依赖

  • Git
  • uv（脚本可自动安装）
  • Playwright 浏览器驱动（脚本自动安装 Chromium）

注意事项

  • 仅供学习和研究使用
  • 禁止用于非法用途或侵犯他人合法权益
  • 禁止用于商业化违规爬取
  • 执行前应确认目标行为合法合规

评论

支持 Markdown