web-utilities-research

Web インテリジェンスユーティリティ

特定のプラットフォームに属さない汎用的な検索ツールをまとめたものです。 URL のスクレイピング／抽出、技術スタックの特定、ジオコーディング、生活費の比較、 輸出入の取引記録、サイトのトラフィック、ブランドの特定などを、 Crawlora API から正規化された JSON として取得します。

このスキルを使う場面

• 「この URL をスクレイピングして、整形済みの Markdown／HTML をください。」
• 「このページから構造化データ（スキーマ）を抽出してください。」
• 「このウェブサイトは何で構築されていますか？」（技術スタックの特定）
• 「X の住所／座標は何ですか？」（順方向または逆方向のジオコーディング）
• 「 は より、生活費がどのくらい高いですか？」（Numbeo）
• 「この会社は何を、どの会社から輸入していますか？」（ImportYeti — 米国の税関記録）
• 「このサイトのトラフィックはどのくらいですか？」（SimilarWeb）
• 「このドメインからブランド名／ロゴを特定してください。」

セットアップ（一度のみ）

• 無料の Crawlora API キー（クレジットカード不要、月 2,000 クレジット）を https://crawlora.net で取得します。
• ヘルパーを実行する前に、環境変数に CRAWLORA_API_KEY を設定します。
• ヘルパーは環境変数から CRAWLORA_API_KEY を読み取り、https://api.crawlora.net/api/v1 にリクエストを送信します。キーがない、または無効な場合は 401 が返されます。

仕組み

1. スクレイピング／抽出／技術スタック（POST） — POST /web/scrape は URL を Markdown／HTML／リンク／メタデータとして返します（{"url": "...", "formats": ["markdown"]}）。 POST /extract は、指定したスキーマに準拠する JSON を返します（{"url": "...", "schema": {...}}）。POST /web/techstack は、サイトで使われている技術を特定します（{"url": "..."}）。3 つとも、リクエスト本文のトップレベルにフラットなフィールドを指定します — ツールカタログでは本文を scrapeOption／extractOption／request と名付けていますが、これらの名前は JSON のラッパーキーではありません。本文のトップレベルにフィールドを直接渡してください。
2. ジオコーディング — /geocoding/search（q または構造化された street／city／country）で順方向のジオコーディング、/geocoding/reverse（lat + lon）で逆方向のジオコーディング、/geocoding/lookup（osm_ids）で既知の OpenStreetMap ID を検索します。
3. Numbeo（生活費） — /numbeo/cost-of-living/city/{slug} または /country で、1 か所の詳細な価格内訳を取得します。/numbeo/cost-of-living/rankings でランキング一覧を取得します。/numbeo/indices/* で生活の質に関する指標を取得します（index 名を渡します）。
4. ImportYeti — /importyeti/search（q）で会社を検索し、続いて /importyeti/company（slug）で、その会社の米国税関における輸出入記録の概要を取得します。
5. SimilarWeb — /similarweb/web/{domain} でサイトのトラフィック概要を取得し、/similarweb/search（q）で名前からドメインを特定します。
6. ブランド — /brand/retrieve（domain）で、ドメインからブランドのメタデータ（名前、ロゴ、色）を特定します。

エンドポイント、メソッド、パラメーターの一覧は、reference/endpoints.md を参照してください。

API の呼び出し

# Scrape a URL to markdown (POST, flat body):
scripts/crawlora.sh -X POST /web/scrape '{"url":"https://example.com","formats":["markdown"]}' | jq '.'

# Tech-stack fingerprint:
scripts/crawlora.sh -X POST /web/techstack '{"url":"https://example.com"}' | jq '.'

# Geocoding:
scripts/crawlora.sh /geocoding/search q="1600 Amphitheatre Parkway, Mountain View, CA" | jq '.'

# Cost of living:
scripts/crawlora.sh /numbeo/cost-of-living/city/Lisbon | jq '.'

# Site traffic + brand:
scripts/crawlora.sh /similarweb/web/example.com | jq '.'
scripts/crawlora.sh /brand/retrieve domain=example.com | jq '.'

すべてのリクエストには scripts/crawlora.sh を使用してください。API キーがコマンドライン引数に含まれないようにできます。

エンドポイントのリファレンス

このスキルで使用する Web、Geocoding、Numbeo、ImportYeti、SimilarWeb、Brand のエンドポイントについては、reference/endpoints.md を参照してください。

例

• サイト調査の一括実行： /web/scrape（コンテンツ）+ /web/techstack （構築に使われている技術）+ /similarweb/web/{domain}（トラフィック）を使って、 競合他社のウェブサイトを一度に調査します。
• 移住先の生活費チェック： 2 つの都市で /numbeo/cost-of-living/city/{slug} を使い、家賃／食料品／交通の項目を比較します。
• サプライヤー調査： ブランドを /importyeti/search で検索し、続いて /importyeti/company で出荷履歴と判明しているサプライヤーを確認します。

注意事項と制限

• クレジット／成功時のみ課金： 2xx の場合にのみ課金されます。無料枠は月 2,000 クレジットです。 https://crawlora.net でキーを取得してください。
• 公開データのみ — スクレイピングの対象は、公開され、robots によって許可されているページのみです。 各サイトの利用規約を遵守してください。
• セキュリティ： キーは CRAWLORA_API_KEY のみに保存してください。ハードコードしたり、クエリパラメーターに含めたり、コミットしたりしないでください。
• /web/scrape、/extract、/web/techstack はフラットなトップレベルフィールドを受け取ります（ライブ環境で確認済み。scrape は url、formats、extract は url、schema、techstack は url）— ツールカタログの scrapeOption／extractOption／request という名前は、本文の目的を示すものであり、その下にネストするラッパーキーではありません。あまり一般的でないフィールド（render、only_main_content、/extract 用の完全な JSON Schema）もツールスキーマには記載されていません。使用する前に、crawlora.net/docs またはプレイグラウンドで確認してください。
• ImportYeti と SimilarWeb のデータは、リアルタイムではなく、各プロバイダー独自の更新頻度を反映しています。