mcpField
M
media-crawler

media-crawler

github.com/excalibur9527データ・データベース1080 回インストール33 週間前に更新
リポジトリ

media-crawler について

MediaCrawler を基にした公開情報収集ツールで、中国のソーシャルプラットフォームを調査するユーザー向けです。キーワード、コンテンツ ID、クリエイターページ、コメントの収集に対応し、WebUI と複数の保存形式を備えています。

主な機能

  1. 01記載された7プラットフォームから収集
  2. 02キーワードまたはコンテンツ ID で検索
  3. 03クリエイターページとコメントの収集
  4. 04WebUI による視覚的な操作
  5. 05ファイルやデータベースへの保存
  6. 06スクリプトによる結果ファイルの確認

活用シーン

  1. 01調査キーワードに合う投稿を収集
  2. 02指定したコンテンツ ID の詳細を取得
  3. 03クリエイターページとコメントの確認
  4. 04指定形式またはデータベースに収集データを保存

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/excalibur9527/mediacrawler-skill --skill media-crawler

インストール後、Claude Code で/media-crawlerを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

manifest.json
README.md
.idea/
.gitignore
mediacrawler-skill.iml
modules.xml
misc.xml
vcs.xml
.idea/inspectionProfiles/
profiles_settings.xml
scripts/
setup.sh
show_results.sh

詳細

MediaCrawler

MediaCrawler に基づく、複数プラットフォームの公開情報収集ツールです。

対応プラットフォーム

  • 小紅書（xhs）
  • 抖音（dy）
  • 快手（ks）
  • B站（bili）
  • 微博（wb）
  • 贴吧（tieba）
  • 知乎（zhihu）

機能

  • 依存関係の自動インストール
  • キーワード検索による収集
  • 指定した投稿／コンテンツ ID の収集
  • クリエイターのプロフィールページの収集
  • コメント／返信コメントの取得
  • ログイン状態のキャッシュ
  • WebUI による視覚的な操作
  • 複数のデータ保存形式（CSV, JSON, JSONL, Excel, SQLite, MySQL, MongoDB）
  • 結果ファイルのすばやい検索

使い方

環境のインストール
bash scripts/setup.sh
ヘルプの表示
cd "$PROJECT_PATH"
uv run main.py --help
収集の実行
小紅書 - キーワード検索
uv run main.py --platform xhs --lt qrcode --type search --keywords "护肤" --headless false
抖音 - キーワード検索
uv run main.py --platform dy --lt qrcode --type search --keywords "护肤" --headless false
指定した投稿の詳細取得
uv run main.py --platform xhs --lt qrcode --type detail --specified_id "帖子ID1,帖子ID2"
クリエイターのプロフィールページの取得
uv run main.py --platform xhs --lt qrcode --type creator --creator_id "创作者ID1"
WebUI の起動
uv run uvicorn api.main:app --port 8080 --reload

起動後、次の URL にアクセスします。

http://127.0.0.1:8080

データの保存

config/base_config.py で次の設定に従います。

SAVE_DATA_OPTION = "jsonl"
SAVE_DATA_PATH = ""

結果はデフォルトで次の場所に保存されます。

data/{平台}/{存储格式}/

抖音の JSONL の例：

data/douyin/jsonl/search_contents_YYYY-MM-DD.jsonl
data/douyin/jsonl/search_comments_YYYY-MM-DD.jsonl
data/douyin/jsonl/search_creators_YYYY-MM-DD.jsonl

小紅書の JSONL の例：

data/xiaohongshu/jsonl/search_contents_YYYY-MM-DD.jsonl
data/xiaohongshu/jsonl/search_comments_YYYY-MM-DD.jsonl

次の設定をした場合：

--save_data_path "/your/custom/path"

結果は指定したディレクトリに書き込まれます。

結果をすばやく確認

bash scripts/show_results.sh

このスクリプトは、現在のプロジェクト内の data/ ディレクトリにある結果ファイルを一覧表示します。

前提条件

  • Git
  • uv（スクリプトが自動でインストールできます）
  • Playwright ブラウザードライバー（スクリプトが Chromium を自動でインストールします）

注意事項

  • 学習および研究目的に限り使用してください。
  • 違法な用途や他者の正当な権利・利益を侵害する用途での使用は禁止されています。
  • 商用目的での規約違反となるクローリングは禁止されています。
  • 実行前に、対象となる行為が合法かつ適切であることを確認してください。

コメント

Markdown 対応