yandex-webmaster

yandex-webmaster

Yandex Webmaster API v4 を使用します。サイトの管理、インデックス登録の分析、検索クエリ、ページの再クロール、リンク、フィードに対応します。

設定

config/.env に YANDEX_WEBMASTER_TOKEN が必要です。 スコープ：webmaster:hostinfo + webmaster:verify。 手順：config/README.md。

alice.sh（公開 API を使わない Share of Voice）には、追加で ブラウザーの Cookie である SESSION_ID が必要です。詳細は config/README.md と references/ALICE_EFFICIENCY.md を参照してください。

基本方針

1. キャッシュ優先 — サイト一覧と user_id は長期間キャッシュします。レポートは host+params をキーにキャッシュします。診断、クォータ、ステータスは常にリアルタイムで取得します。
2. コンテキストウィンドウの最適化 — stdout は 30 行に制限されています。すべてのデータは TSV／ファイルに保存されます。キャッシュは grep/rg で利用できます。
3. ホストの解決 — すべてのスクリプトは --host <domain>（hosts.tsv キャッシュから検索）または --host-id <id>（直接 ID を指定）を受け付けます。hosts.sh を初めて呼び出すと、サイト一覧が自動的にキャッシュされます。
4. 破壊的な操作は行わない — このスキルではサイト、サイトマップ、フィードを削除しません。読み取りと追加のみ行います。

ワークフロー

停止！分析を始める前に：

1. サイト一覧を取得します：

   bash scripts/hosts.sh
   

2. サイトがコンテキストから明らかでない場合は、ユーザーに確認します：

   "О каком сайте идёт речь?
   Укажите домен или host_id из списка."
   

   キャッシュから検索する場合：

   bash scripts/hosts.sh --search "example"
   

   --host と hosts.sh --search は、キリル文字を含む完全なドメイン （例：хорошие-данные.рф）またはサイトの URL（https://хорошие-данные.рф/）を受け付けます。 ドメインは python3 を使って自動的に IDNA に変換されます。URL のスキームとポートは 保持されます。ラテン文字と既に変換済みの xn--… 形式には Python は不要です。 キリル文字の名前の任意の一部による検索には対応していません。 ドメイン全体を指定してください。キャッシュと結果には、元の ASCII アドレスと Yandex の host_id が保持されます。

3. サイトの概要を取得します：

   bash scripts/summary.sh --host example.com
   

4. ユーザーのタスクに応じて、必要なレポートを実行します。

スクリプト

呼び出しの基本パターン：

bash scripts/<script>.sh --host <domain> [--action <action>] [params...]

サイトの管理

スクリプト	説明	主なパラメーター
hosts.sh	サイト一覧	--search "text"、--no-cache
host_info.sh	サイト情報 + 所有者	—
add_site.sh	サイトを追加	--url <url>
verify.sh	サイトの認証	--action get|start、--method DNS|HTML_FILE|META_TAG

サイトの統計

スクリプト	説明	主なパラメーター
summary.sh	概要：SQI、ページ、問題	—
sqi_history.sh	SQI の履歴	--date-from、--date-to
diagnostics.sh	サイトの問題（リアルタイム）	—

検索クエリ

スクリプト	説明	主なパラメーター
popular_queries.sh	人気クエリの上位一覧	--order-by、--device、--limit
queries_history.sh	クエリの履歴	--query-id（任意）、--device
query_analytics.sh	詳細な分析（POST）	--text-indicator、--filter-*、--region-ids

インデックス登録

スクリプト	説明	主なパラメーター
indexing.sh	インデックス登録の履歴／サンプル	--action history|samples
important_urls.sh	重要な URL	--action list|history、--url
archive_export.sh	すべてのページをエクスポート	--action start|status、--task-id

検索結果のページ

スクリプト	説明	主なパラメーター
insearch.sh	検索結果に表示されるページ	--action history|samples
search_events.sh	表示／消失	--action history|samples

再クロール

スクリプト	説明	主なパラメーター
recrawl.sh	URL の再クロール	--action submit|status|list|quota、--url、--task-id

リンク

スクリプト	説明	主なパラメーター
internal_links.sh	内部リンク切れ	--action samples|history、--indicator
external_links.sh	外部リンク	--action samples|history

Сайтмапы

Script	Description	Key params
sitemaps.sh	Управление сайтмапами	--action list|user-list|info|add|recrawl-limit|recrawl

Alice / Share of Voice (SSR scraping)

Script	Description	Key params
alice.sh	Эффективность в Алисе: SoV timeline, конкуренты, запросы где сайт есть/нет	--action summary|sov|competitors|with-site|without-site|fetch, --no-cache

⚠ Нет публичного API — данные парсятся из window._initData HTML-страницы. Для загрузки нужен SESSION_ID cookie в config/.env. Корректный кеш используется 24 часа без загрузки страницы; --no-cache и --action fetch обновляют его принудительно. Если обновление не удалось, команда завершается с ошибкой, сохраняя прежний JSON. Диагностика и повторы: references/ALICE_EFFICIENCY.md.

Фиды и PRO

Script	Description	Key params
feeds.sh	YML-фиды	--action list|add|change|add-status, --type, --region-ids
search_export.sh	PRO SERP экспорт	--action dates|limits|start|status
regions.sh	Справочник регионов	--filter "москва"

Общие параметры

Param	Description
--host <domain>	Домен/URL сайта (поиск по hosts.tsv)
--host-id <id>	Прямой host_id (формат: http:example.com:80)
--action <act>	Подкоманда скрипта
--date-from	Начало периода YYYY-MM-DD (history: default 90 дней назад)
--date-to	Конец периода YYYY-MM-DD
--limit N	Число записей
--offset N	Смещение
--no-cache	Пропустить кеш

Кеш-стратегия

Кеш в cache/:

• user_id.txt — ID пользователя (permanent)
• hosts.json + hosts.tsv — список сайтов (permanent, инвалидируется при add/verify)
• host_*/queries/*.tsv — результаты запросов (session, hash-keyed)
• host_*/indexing/*.tsv — данные индексации (session)
• host_*/insearch/*.tsv — данные о поиске (session)
• host_*/links/*.tsv — данные о ссылках (session)
• host_*/alice/init.json — проверенный объект Alice, общий для всех действий alice.sh, срок кеша — 24 часа
• host_*/alice/raw.html — последний полностью полученный HTML для диагностики, без истории версий
• Диагностика, квоты, статусы переобхода — не кешируются (always live)

Расширенные сценарии

• Добавление и верификация сайтов
• Поисковые запросы и аналитика
• Управление сайтмапами
• Статистика сайта и индексация
• Страницы в поиске
• Переобход страниц
• Битые внутренние ссылки
• Внешние ссылки
• YML-фиды
• PRO SERP экспорт
• Alice / Share of Voice (scraping)
• Расписание врачей (спецификация)

Лимиты API

• Query Analytics: 10 000 запросов/час на домен
• Скрипты автоматически обрабатывают 429 (Retry-After ≤ 60s → retry, иначе fail)
• Лимит сайтов: 1703 на аккаунт
• Лимит фидов: 5000 на сайт, 50 в batch
• Лимит export: макс. 100 комбинаций дат+URL