mcpField
G
gau-urlfetch

gau-urlfetch

github.com/wgpsec安全1.8k42 次安装4 天前更新
代码仓库

关于 gau-urlfetch

基于 gau 的 URL 历史收集方法指南，供安全测试人员从公开历史数据源被动汇总域名 URL，并通过管道筛选参数、脚本和 API 端点。

主要功能

  1. 01聚合 Wayback、CommonCrawl、OTX 和 URLScan 数据
  2. 02被动收集已知 URL
  3. 03控制数据源与时间范围
  4. 04支持命令管道筛选

适用场景

  1. 01收集目标域名及子域名的历史 URL
  2. 02筛选带参数的 URL 供后续测试
  3. 03发现 JavaScript 文件和 API 路径

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/wgpsec/aboutsecurity --skill gau-urlfetch

安装后在 Claude Code 中输入/gau-urlfetch确认已加载。

README 原文English

来自项目 README

README 暂无中文译文，以下为英文原文；中文介绍见上方。

gau URL 历史收集方法论

gau (getallurls) 从历史数据源收集已知 URL。核心优势：四大数据源聚合（Wayback/CommonCrawl/OTX/URLScan）+ 纯被动 + 管道友好。

项目地址：https://github.com/lc/gau

Phase 1: 基本使用

# 收集目标域名的所有已知 URL
gau target.com

# 包含子域名
gau --subs target.com

# 输出到文件
gau target.com -o urls.txt

# 过滤静态资源
gau --blacklist png,jpg,gif,svg,woff,ttf,ico,css target.com

Phase 2: 数据源控制

# 指定数据源
gau --providers wayback target.com
gau --providers wayback,commoncrawl target.com

# 时间范围
gau --from 202301 --to 202612 target.com

# 控制线程
gau --threads 10 target.com

# 从 stdin
echo target.com | gau
cat domains.txt | gau

Phase 3: 管道集成

# URL 收集 → 提取带参数的 URL → XSS 扫描
gau target.com | grep "=" | sort -u | dalfox pipe --silence

# URL 收集 → 提取 JS 文件
gau target.com | grep "\.js$" | sort -u

# URL 收集 → 提取 API 端点
gau target.com | grep -E "/api/|/v[0-9]/" | sort -u

# URL 收集 → 存活检测
gau target.com | httpx -silent

# URL 收集 → 敏感路径
gau target.com | grep -iE "admin|backup|config|\.env|\.git|debug"

常用场景速查

场景命令
全量收集gau --subs target.com -o all_urls.txt
参数URLgau target.com | grep "=" | sort -u
JS 文件gau target.com | grep "\\.js$" | sort -u
API 发现gau target.com | grep -E "/api/" | sort -u

评论

支持 Markdown