mcpField
G
gau-urlfetch

gau-urlfetch

github.com/wgpsecセキュリティ1.8k42 回インストール4 日前に更新
リポジトリ

gau-urlfetch について

gau を使った、履歴データからの受動的な URL 収集ガイドです。既知の URL を集め、コマンドラインのパイプで絞り込むセキュリティテスト担当者向けです。

主な機能

  1. 01Wayback、CommonCrawl、OTX、URLScan の集約
  2. 02既知 URL の受動的な収集
  3. 03データソースと期間の指定
  4. 04コマンドパイプでの結果絞り込み

活用シーン

  1. 01ドメインとサブドメインの履歴 URL 収集
  2. 02追加テスト向けのパラメーター付き URL 抽出
  3. 03JavaScript ファイルと API パスの発見

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/wgpsec/aboutsecurity --skill gau-urlfetch

インストール後、Claude Code で/gau-urlfetchを入力して読み込まれたか確認します。

README（原文）English

プロジェクトの README より

この README の日本語訳はまだありません。以下は英語の原文です。日本語の紹介はページ上部をご覧ください。

gau URL 历史收集方法论

gau (getallurls) 从历史数据源收集已知 URL。核心优势：四大数据源聚合（Wayback/CommonCrawl/OTX/URLScan）+ 纯被动 + 管道友好。

项目地址：https://github.com/lc/gau

Phase 1: 基本使用

# 收集目标域名的所有已知 URL
gau target.com

# 包含子域名
gau --subs target.com

# 输出到文件
gau target.com -o urls.txt

# 过滤静态资源
gau --blacklist png,jpg,gif,svg,woff,ttf,ico,css target.com

Phase 2: 数据源控制

# 指定数据源
gau --providers wayback target.com
gau --providers wayback,commoncrawl target.com

# 时间范围
gau --from 202301 --to 202612 target.com

# 控制线程
gau --threads 10 target.com

# 从 stdin
echo target.com | gau
cat domains.txt | gau

Phase 3: 管道集成

# URL 收集 → 提取带参数的 URL → XSS 扫描
gau target.com | grep "=" | sort -u | dalfox pipe --silence

# URL 收集 → 提取 JS 文件
gau target.com | grep "\.js$" | sort -u

# URL 收集 → 提取 API 端点
gau target.com | grep -E "/api/|/v[0-9]/" | sort -u

# URL 收集 → 存活检测
gau target.com | httpx -silent

# URL 收集 → 敏感路径
gau target.com | grep -iE "admin|backup|config|\.env|\.git|debug"

常用场景速查

场景命令
全量收集gau --subs target.com -o all_urls.txt
参数URLgau target.com | grep "=" | sort -u
JS 文件gau target.com | grep "\\.js$" | sort -u
API 发现gau target.com | grep -E "/api/" | sort -u

コメント

Markdown 対応