sales-lobstr

Lobstr.io プラットフォームヘルプ

Lobstr.io プラットフォームに関する質問に対応します。既成スクレイパーの設定やデータ収集ジョブの実行から、自動化のスケジュール設定、結果のエクスポート、クレジットの管理、API 連携まで支援します。Lobstr.io はフランスのサン＝マンデを拠点とする、ノーコードのウェブスクレイピングおよびデータ収集プラットフォームです。50 種類以上の既成スクレイパー、マルチスレッド、Cookie ベースのアカウント同期、スケジュールされた自動化、Python SDK、CLI、MCP サーバーを備えた完全な API を提供しています。

ステップ 1 — 背景情報を確認する

references/learnings.md が存在する場合は、蓄積された知識を確認するため、最初に読みます。

ユーザーに次のことを尋ねます。

1. Lobstr.io のどの分野についてサポートが必要ですか？

   • A) 既成スクレイパー — 構築済みスクレイパー（Google Maps、LinkedIn、Twitter、YouTube など）の選択と設定
   • B) ノーコードのウェブアプリ — UI でのスクレイパー実行、実行の管理、結果の確認
   • C) Cookie ベースのアカウント同期 — Cookie ピッキングアドオンを使って、ログインが必要なページ（LinkedIn など）をスクレイピングする
   • D) スケジュールされた自動化 — トリガーを使った定期スクレイピングジョブの設定
   • E) データのエクスポート — 結果を Google Sheets、Amazon S3、または SFTP にエクスポートする
   • F) Webhook — 実行ステータス通知（run.running、run.paused、run.done、run.error）の設定
   • G) API / SDK / CLI — プログラムからのアクセス、Python SDK、CLI、MCP サーバー
   • H) Make 連携 — Lobstr を make.com の自動化ワークフローに接続する
   • I) エンタープライズ向けカスタムスクレイパー — 特定の用途に合わせたデータ収集ツール
   • J) アカウント / 請求 / クレジット — 料金プラン、クレジットの使用状況、閲覧制限
   • K) 安全管理 — アカウントの停止を防ぐための閲覧制限による保護
   • L) その他 — 内容を説明してください

2. あなたの役割は何ですか？

   • A) 営業 / 事業開発
   • B) マーケティング / グロース
   • C) 開発者 / エンジニア
   • D) データアナリスト / リサーチャー
   • E) 代理店 / フリーランサー
   • F) その他

3. 何を達成しようとしていますか？（具体的な目標や質問を説明してください）

ユーザーの依頼から背景情報の大部分がすでにわかる場合は、該当するステップに直接進みます。 妥当な前提を明示したうえで、最善を尽くした回答を先に提示し、最後に重要度の高い確認質問だけを 1〜2 件尋ねます。必要な背景情報がすべてそろうまで回答を保留しないでください。

注：ユーザーに専門スキルが必要な場合は、そのスキルが適している理由を簡潔に説明して案内します。

ステップ 2 — 適切なスキルに案内するか、直接回答する

依頼が専門スキルに該当する場合は、次のとおり案内します。

• 見込み顧客リストの全般的な戦略 / ターゲットリストの作成 -> /sales-prospect-list
• 複数のプラットフォームを横断するデータエンリッチメント戦略 -> /sales-enrich
• メールの配信可能性 / 検証戦略 -> /sales-deliverability
• ミドルウェアを介した Lobstr と CRM または他のツールの接続 -> /sales-integration
• Outscraper 固有の質問 -> /sales-outscraper

それ以外の場合は、以下のリファレンスを使ってプラットフォームに関する知識から直接回答します。

ステップ 3 — Lobstr.io プラットフォームのリファレンス

モジュールの詳細なドキュメント、料金、連携、データモデルについては、references/platform-guide.md を読んでください。

プラットフォームガイドの詳細はもう必要ありません。ユーザーの具体的な状況に焦点を当ててください。

ステップ 4 — 実行可能なガイダンス

ユーザーの具体的な質問に基づいて、次のように案内します。

1. Google マップのリード情報をスクレイピングするジョブの設定：

   1. Lobstr のスクレイパーカタログに移動し、「Google Maps Leads」を選択します
   2. スクレイパーのパラメーター（検索クエリ（例：「dentists in Austin, TX」）、結果数の上限、各種フィルター）を設定します
   3. タスクを追加します。各タスクは、スクレイピング対象の検索クエリまたは URL です
   4. 実行を開始します。Lobstr はマルチスレッドでスクレイパーを実行し、処理を高速化します
   5. Web アプリまたは Webhook 通知で実行ステータスを確認します
   6. 結果を Google Sheets、S3 にエクスポートするか、ファイルとしてダウンロードします
   7. 一意の結果 1 件につき 1 クレジットを消費します。ダッシュボードでクレジットの使用量を確認してください

2. Cookie 同期を使った LinkedIn Sales Navigator のスクレイピング：

   1. Lobstr の Cookie 取得用ブラウザー拡張機能をインストールします
   2. ブラウザーで通常どおり LinkedIn にログインします
   3. 拡張機能をクリックしてセッション Cookie を Lobstr と同期します。パスワードが共有されることはありません
   4. Lobstr で「LinkedIn Sales Navigator Leads」スクレイパーを選択します
   5. 検索パラメーター（役職、業界、所在地、企業規模など）を設定します
   6. 安全管理を有効にし、LinkedIn に過剰な自動操作を検知されないよう、閲覧制限を設定します
   7. 実行を開始して進行状況を確認します。結果には氏名、役職、会社、所在地、プロフィール URL が含まれます
   8. LinkedIn アカウントを保護するため、スクレイピング量は控えめにし、安全な閲覧制限の範囲内に収めてください

3. 定期的に実行するスクレイピングのスケジュール設定：

   1. 有料プランが必要です（Free プランではスケジュール設定を利用できません）
   2. 目的のスクレイパーとパラメーターを設定して、squid を構成します
   3. タスク（URL または検索クエリ）を追加します
   4. スケジュール設定で頻度（日次、週次、またはカスタム間隔）とトリガー条件を定義します
   5. 通知を設定します。run.done および run.error イベント用の Webhook を構成するか、Gmail アラートを有効にします
   6. 必要に応じて Google Sheets または S3 への自動エクスポートを設定し、結果が自動的に配信されるようにします
   7. クレジットの消費量を確認します。定期実行ジョブは、実行のたびにクレジットを消費します

4. API を使ってスクレイピングをプログラムで自動化する方法：

   1. Lobstr のダッシュボードから API キーを取得します
   2. squid を作成します：スクレイパーの設定を指定して POST /v1/squids を実行します
   3. タスクを追加します：スクレイピング対象の URL またはパラメーターを指定して POST /v1/tasks を実行します
   4. 実行を開始します：squid を指定して POST /v1/runs を実行します
   5. 実行ステータスをポーリングします：ステータスが done になるまで GET /v1/runs/{id} を実行します
   6. 結果を取得します：完了した実行の結果を GET /v1/results で取得します
   7. ポーリングの代わりに、POST /v1/delivery?squid={id} で Webhook を設定すると、実行完了時に POST 通知を受け取れます
   8. レート制限に注意してください：/results は 1 秒あたり 2 リクエストに制限されています。大量の結果を取得する場合は、バックオフを実装してください

5. 結果を Google Sheets にエクスポートする方法：

   1. Lobstr の連携設定で Google アカウントを接続します
   2. 実行の完了後、結果画面から「Export to Google Sheets」を選択します
   3. 既存のスプレッドシートを選択するか、新しく作成します
   4. Free プランでのエクスポートは 30 行までです。すべての結果をエクスポートするには、有料プランにアップグレードしてください
   5. エクスポートを自動化するには、スケジュール設定と Google Sheets 連携を組み合わせ、定期実行のたびに結果が自動エクスポートされるようにします

注意点

調査に基づくベストエフォートの情報です。特に、プランで利用が制限される機能や連携に関する注意点は古くなっている可能性があるため、ご確認ください。

1. 無料プランは非常に制限されています。クレジットは100、エクスポートは30行までで、スケジュール実行とPremiumスクレイパーは利用できず、データ保持期間は7日間です。 無料プランはテスト用途にしか適していません。本格的なデータ収集には、月額50ユーロからの有料プランが必要です。クレジットは翌月に繰り越されず、エクスポートが30行までに制限されるため、無料プランでは結果をすべてダウンロードできません。
2. クレジットは結果ごとに消費され、月をまたいで繰り越されません。 どのスクレイパーで取得したかにかかわらず、一意の結果ごとに1クレジットが消費されます。未使用のクレジットは各請求サイクルの終了時に失効します。クレジットの上限に合わせてスクレイピング量を計画し、月の途中で使い切らないよう使用状況を監視してください。
3. Cookie ベースのアカウント同期では、プラットフォームからの停止を避けるため、安全性を慎重に管理する必要があります。 ログインが必要なページ（特に LinkedIn）をスクレイピングする場合は、必ず Lobstr の安全管理設定で閲覧制限を設定してください。アカウントで自動操作を過剰に行うと、検出され、利用制限やアカウント停止につながる可能性があります。控えめな制限から始め、段階的に引き上げてください。
4. Webhook エンドポイントは、30秒以内に2xxステータスコードを返す必要があります。そうでない場合、Lobstr は再試行します。 エンドポイントの応答が遅い場合やエラーを返す場合、Lobstr は15分間隔で最大3回再試行します。3回失敗すると、配信は中止されます。Webhook のペイロードは非同期で処理してください。リクエストをすばやく受け付け、バックグラウンドジョブでデータを処理します。
5. /results エンドポイントのレート制限は毎秒2リクエストで、他のエンドポイントよりもかなり厳しく設定されています。 大規模な結果セットを取得する際は、クライアントコードに適切なレート制限とバックオフを実装してください。結果の取得をバッチ処理し、短い間隔でのポーリングを避けてください。/squids と /runs エンドポイントの上限は、毎分120リクエストと、より緩やかです。
6. HubSpot、Slack、Zapier、Airtable との連携は「近日公開」と記載されており、まだ利用できません。 現時点で Lobstr をこれらのツールに接続する必要がある場合は、Make 連携を中継として使用するか、Lobstr の webhook と API を使ってカスタム連携を構築してください。
7. データ保持期間は、無料プランでは7日間、有料プランでは最大28日間です。結果は速やかにエクスポートまたは取得してください。 保持期間を過ぎると、結果は自動的に削除されます。Google Sheets または S3 への自動エクスポートを設定するか、実行完了後すぐに API 経由で結果を取得してください。長期的なデータ保存先として Lobstr のダッシュボードに依存しないでください。

• 自己改善：ここに記載されていない情報を見つけた場合は、今日の日付を添えて references/learnings.md に追記してください。

ステップ5 — 関連スキル

• /sales-prospect-list — Lobstr などのデータを使って見込み客リストを作成、改善する
• /sales-enrich — 複数プラットフォームにまたがるデータエンリッチメント戦略（Lobstr のデータと他のエンリッチメントツールを組み合わせる）
• /sales-integration — Lobstr を CRM、自動化ツール、その他のツールに接続する
• /sales-deliverability — スクレイピングした連絡先データのメール配信到達性と検証に関する戦略
• /sales-outscraper — 類似のスクレイピングおよびデータ抽出プラットフォーム。機能を比較し、適切なツールを選択する
• /sales-do — どのスキルを使うべきかわかりませんか？ルーターがあらゆる営業目標に適したスキルを見つけます。インストール方法：npx skills add sales-skills/sales --skill sales-do

例

例1：Google マップから地域の事業者リードリストを作成する

ユーザーの発言：「Lobstr を使って、パリにあるすべてのコーヒーショップの住所、電話番号、評価をスクレイピングしたいです。」 スキルの動作：

1. Lobstr カタログから、すぐに使えるスクレイパー「Google Maps Leads」を推奨します
2. 網羅性を高めるため、パリを区や近隣地区ごとに分割するようアドバイスします。たとえば「coffee shops, Paris 1er」、「coffee shops, Paris 2ème」などです。範囲の広い検索では結果を取りこぼす可能性があります
3. 地理的な各セグメントのタスクを作成し、マルチスレッド実行を開始します
4. 結果には、事業者名、住所、電話番号、ウェブサイト、Google の評価、レビュー件数、営業時間、カテゴリが含まれます
5. 完全な結果を Google Sheets にエクスポートし、営業チームと共有します（30行を超える場合は有料プランが必要です）
6. 新たに開業したコーヒーショップを把握できるよう、毎月の定期実行を設定することを提案します 結果：パリのコーヒーショップについて、連絡先と評価を含む包括的なリストが作成され、Google Sheets にエクスポートされます。さらに、毎月更新されるよう設定されます

例2：Cookie 同期を使って LinkedIn Sales Navigator のリードをスクレイピングする

ユーザーの発言：「ドイツの SaaS 企業で CTO を務める人を LinkedIn Sales Navigator で検索し、リードを抽出したいです。」 スキルの動作：

1. Lobstr の Cookie Picking ブラウザー拡張機能のインストール方法と、LinkedIn のセッション Cookie の同期方法を案内します
2. 「LinkedIn Sales Navigator Leads」スクレイパーを選択します（プレミアム機能。有料プランが必要です）
3. 検索パラメーターを設定します：役職 =「CTO」、業界 =「SaaS / Software」、所在地 =「Germany」
4. LinkedIn アカウントを保護するため、控えめな閲覧上限（例：1日100件のプロフィール）を設定して、安全管理を有効にします
5. 実行を開始し、run.done イベントのウェブフック通知で状況を監視します
6. 結果には、氏名、役職、会社、所在地、LinkedIn プロフィール URL、その他取得可能な項目が含まれます
7. LinkedIn の利用規約について注意を促します。スクレイピングは規約に違反する可能性があるため、ユーザー自身でリスク許容度を判断する必要があります 結果：Sales Navigator からドイツの SaaS 企業の CTO に絞ったリストが、閲覧上限を設けて安全に収集され、アウトリーチキャンペーンの計画に利用できる状態になります

例3：API とウェブフックで定期的なデータ収集を自動化する

ユーザーの発言：「競合他社の Google マップのレビューを毎週スクレイピングし、結果を S3 バケットに送信する自動パイプラインを設定したいです。」 スキルの動作：

1. Google Maps Reviews スクレイパー用に設定した squid を POST /v1/squids で作成します
2. 競合他社の Google マップ URL またはプレイス ID を指定したタスクを POST /v1/tasks で追加します
3. Lambda 関数の URL を指定し、run.done イベントを受信するウェブフックを POST /v1/delivery?squid={id} で設定します
4. squid が毎週実行されるよう、スケジュールを設定します（有料プランが必要です）
5. Lambda 関数で、run.done ウェブフックを受信したら GET /v1/results を呼び出し（毎秒2リクエストのレート制限を遵守）、結果を S3 バケットに書き込みます
6. エラー処理を追加します：run.error ウェブフックイベントも受信し、SNS または Slack でアラートを送信します
7. クレジットの使用量を監視します。毎週の実行ごとにクレジットを消費するため、プランの月間クレジットが十分であることを確認します 結果：毎週実行される完全自動化パイプラインが構築されます。Lobstr がスケジュールに従って競合他社のレビューをスクレイピングし、ウェブフックが Lambda を起動して、結果を S3 に保存します。エラーアラートにも対応し、すべてが手作業なしで実行されます

トラブルシューティング

実行が「running」ステータスのまま停止している、または時間がかかりすぎる

症状：実行が予想以上に長時間「running」ステータスのままで、結果が表示されません。 原因：タスク量が多い場合、対象プラットフォームによるレート制限、またはネットワークの問題により、実行に予想以上の時間がかかることがあります。レート制限のあるプラットフォーム（LinkedIn など）に対するマルチスレッド実行は、安全管理設定によって意図的に速度が制限される場合があります。 解決策：ウェブアプリで実行の詳細を確認し、進捗状況（完了したタスク数と合計タスク数）を確認してください。安全管理が有効になっている場合、閲覧制限によって実行速度が抑えられている可能性があります。これはアカウントを保護するための想定された動作です。非常に大規模な実行の場合は、小さなバッチに分割することを検討してください。実行が本当に停止しているように見える場合（長時間進捗がない場合）は、一時停止して再起動してください。run.error ウェブフックを設定し、問題が発生したときに後から気付くのではなく、すぐに通知を受け取れるようにしてください。

月の途中でクレジットがなくなる

症状：クレジットが使い果たされたという通知を受け取るか、予想より早く実行結果が得られなくなります。 原因：一意の結果ごとに 1 クレジットが消費されます。大量のスクレイピングジョブでは、特に Google Maps や LinkedIn などの大量処理向けスクレイパーを使用すると、予想以上に早くクレジットを消費することがあります。クレジットは翌月に繰り越されないため、先月の未使用クレジットは利用できません。 解決策：大規模な実行を開始する前に、ダッシュボードでクレジットの使用状況を確認してください。クレジット消費量の目安を計算します。タスク数にタスクあたりの予想結果数を掛けると、おおよそのクレジット消費量を把握できます。定期実行ジョブの場合は、月間の必要クレジット数（週次実行回数 × 1 回あたりの結果数 × 4 週間）を計算し、プランで合計をまかなえることを確認してください。頻繁にクレジットが不足する場合は、より上位のプランへのアップグレードをご検討ください。検索条件を絞り込んだり、入力をより厳密にフィルタリングしたりして、結果数を減らすことも検討してください。

ウェブフックで通知を受信できない

症状：POST /v1/delivery?squid={id} を使用してウェブフックを設定しましたが、実行完了時にエンドポイントで POST リクエストを受信できません。 原因：よくある問題として、エンドポイントの URL がパブリックにアクセスできない（localhost またはファイアウォールで保護されている）、エンドポイントが 30 秒以内に 200／201／202 を返さない（Lobstr は応答が遅い場合に失敗として扱います）、TLS／SSL 証明書の問題、ウェブフック設定の誤りなどがあります。 解決策：エンドポイントにパブリックからアクセスできることを確認してください。まず webhook.site などのツールでテストし、Lobstr がリクエストを送信していることを確認します。エンドポイントが 30 秒以内に 2xx ステータスコードを返すようにしてください。負荷の高い処理はバックグラウンドジョブに移します。TLS 証明書が有効で、自己署名証明書ではないことを確認してください。ウェブフック設定を見直し、正しいイベント（run.done、run.error など）をリッスンしていること、squid ID が正しいことを確認してください。Lobstr は配信に失敗した場合、15 分の間隔を置いて最大 3 回再試行します。再試行分が届いていないか確認してください。それでも解決しない場合は、ウェブフックの設定をデバッグしている間、代替手段として Gmail 通知を使用してください。