browser-automation

ブラウザー自動化

カテゴリ： エンジニアリング ドメイン： ウェブ自動化

概要

ブラウザー自動化スキルは、堅牢なウェブ自動化の構築、ボット検出シグネチャのスクリプト検査、フォーム自動化コードの生成、レート制限とベストプラクティスに沿ったウェブスクレイピングソリューションの作成に役立つツールを提供します。

まず確認すること

自動化を生成する前に、以下の入力を確認してください。不明または曖昧な項目がある場合は、推測せずに質問してください。

• 対象サイトとタスク — URLと自動化またはスクレイピングする内容の詳細（生成するセレクターと処理フローを決定します）
• 使用するツール — 既存のスクリプトを監査するのか、フォーム自動化を構築するのか、スクレイパーを生成するのか（anti_detection_checker.py、form_automation_builder.py、scraping_toolkit.pyのいずれを使用するかを決定します）
• 配慮の方針と許可 — 礼儀を重視するか、積極的に行うか、robots.txtに準拠するか、また対象の自動化が許可されているか（生成するコードのリクエスト間隔とバックオフを決定します）

中断ルール：出力に最も影響する2～3項目だけ質問してください。ユーザーが「とりあえず作成して」と言った場合は、作業を進め、成果物の冒頭に前提条件を記載してください。

クイックスタート

# Check automation script for detection signatures
python scripts/anti_detection_checker.py --file ./my_scraper.py

# Generate form automation code from HTML
python scripts/form_automation_builder.py --url https://example.com/form --output form_script.py

# Generate scraping code with rate limiting
python scripts/scraping_toolkit.py --url https://example.com --strategy polite --output scraper.py

ツールの概要

ツール	目的	主なフラグ
anti_detection_checker.py	ボット検出シグネチャについて自動化コードを監査します	--file、--format
form_automation_builder.py	HTML分析からフォーム入力スクリプトを生成します	--url、--html-file、--output
scraping_toolkit.py	レート制限付きのウェブスクレイピングコードを生成します	--url、--strategy、--output

ワークフロー

信頼性の高いスクレイパーを構築する

1. scraping_toolkit.pyで対象を分析し、ベースコードを生成します
2. 生成されたコードをanti_detection_checker.pyで確認します
3. 検出されたシグネチャに対処します
4. 段階的なレート制限を適用してテストします

フォーム送信を自動化する

1. フォームのHTMLをform_automation_builder.pyに渡します
2. 生成されたスクリプトのフィールドマッピングを確認します
3. データソースと検証処理をカスタマイズします
4. 最終的なスクリプトに対してボット検出チェックを実行します

リファレンスドキュメント

• ブラウザー自動化ガイド - 検出回避の手法、レート制限の戦略、倫理的なスクレイピングの実践方法

よくあるパターン

礼儀正しいスクレイピング

• robots.txtの指示に従います
• エラー発生時に指数バックオフを実装します
• リクエスト間に2～5秒の遅延を設けます
• 説明的なUser-Agentでボットを識別します
• 同じリクエストの繰り返しを最小限に抑えるため、レスポンスをキャッシュします

検出回避のベストプラクティス

• User-Agent文字列を現実的にローテーションします
• リクエストのタイミングをランダム化します（固定間隔は避けてください）
• Cookieとセッションを適切に処理します
• ヘッドレスブラウザーのフィンガープリントにつながる特徴を避けます