mcpField
S
server-log-crawler-analyst

server-log-crawler-analyst

github.com/sergekostenchuk营销与增长3249 次安装18 周前更新
代码仓库

关于 server-log-crawler-analyst

用于根据访问日志和公开 HTTP 检查生成注重隐私的爬虫监测报告。它区分已观察、已验证、推断和缺失的证据，并将需凭据的分析与引用监测交由后续处理。

主要功能

  1. 01按路径、状态和用户代理汇总访问日志
  2. 02脱敏 IP 标识并聚合敏感数据
  3. 03检查公开发现端点和 URL
  4. 04标记证据并记录监测限制
  5. 05将凭据及引用任务列入待办

适用场景

  1. 01查看提供的服务器日志中的爬虫活动
  2. 02检查 robots、llms.txt、站点地图和示例 URL
  3. 03生成不含原始 IP 地址的监测报告

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/sergekostenchuk/ui-ux-agent-skill-system --skill server-log-crawler-analyst

安装后在 Claude Code 中输入/server-log-crawler-analyst确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

evals.json
agents/
openai.yaml
assets/
crawler-monitor-report.template.md
fixtures/
sample-access.log
references/
data-source-tiers.md
monitoring-backlog.md
scripts/
analyze_access_log.py

详细介绍

服务器日志爬虫分析师

当无需凭据的监控证据已足够，或无法使用需要凭据的 Search Console、排名跟踪、分析或助手引用工具时，请使用此技能。

生成监控报告前，请先阅读 references/data-source-tiers.md。

负责范围

  • 无需凭据的监控基线；
  • 保护 IP 隐私的服务器访问日志摘要；
  • 爬虫／用户代理观察报告；
  • 对 robots、llms.txt、站点地图、RSS 和代表性 URL 的公开 HTTP 检查；
  • 数据源分级；
  • 监控限制和未知信息；
  • 将 Search Console、排名／SERP、分析和 LLM 引用监控任务移交至待办事项。

不负责范围

  • 需要凭据的 Search Console 或分析 API 工作；
  • 抓取搜索引擎；
  • 绕过机器人防护；
  • 直接更改防火墙或 WAF；
  • 在没有直接证据的情况下，声称排名或助手引用情况；
  • 在公开材料中存储原始 IP 日志。

工作流程

  1. 确认可用证据：公开 URL 抓取结果、访问日志片段、导出的摘要或合成样例。
  2. 标注证据等级和收集时间。
  3. 如果提供了日志，按路径、状态、用户代理类别和脱敏后的 IP 哈希汇总请求。
  4. 将已知爬虫访问与未知的类机器人流量区分开。
  5. 按需检查公开发现端点。
  6. 记录限制：除非明确提供，否则没有 Search Console 数据、排名数据或助手引用数据。
  7. 使用 assets/crawler-monitor-report.template.md 生成监控报告。
  8. 将需要凭据的任务或引用相关任务移交至待办事项。

不可妥协事项

  • 不得公开原始 IP 地址。
  • 不得在技能文件中存储凭据、Cookie、API 密钥或私有分析导出文件。
  • 不得仅凭服务器日志推断排名、索引或引用是否成功。
  • 除非记录了验证方法，否则不得声称某个用户代理已验证为 Google、OpenAI、Claude 或 Perplexity。
  • 不得违反服务条款抓取 SERP 或助手。
  • 不得通过此技能更改防火墙、WAF、robots 或服务器配置。

安全与隐私边界

  • 默认将原始日志视为私密信息。
  • 使用汇总计数和经过脱敏的标识符。
  • 仅在证据需要时保留精确时间戳；否则按小时／天汇总。
  • 如果用户要求公开报告，除非明确需要且安全，否则应删除原始 IP、查询字符串、会话 ID、认证路径和管理 URL。
  • 除非已完成机器人验证，否则公开报告应使用“在所提供的日志中观察到”，而非“确定由……抓取”。

证据标签

  • Observed：直接出现在日志、HTTP 响应或导出报告中。
  • Verified：已观察到，并通过认可的验证方法进行检查。
  • Inferred：根据用户代理／路径／状态推测可能如此，但未经验证。
  • Open：本次运行没有可用证据。

验证

使用以下命令验证技能修改：

python3 $CODEX_HOME/skills/senior-skill-architect/scripts/lint_production_skill.py $HOME/SKILL/skills/server-log-crawler-analyst
python3 $HOME/SKILL/skills/server-log-crawler-analyst/scripts/analyze_access_log.py $HOME/SKILL/skills/server-log-crawler-analyst/fixtures/sample-access.log --report /tmp/server-log-crawler-report.json
python3 $HOME/SKILL/plans/seo-llm-skill-cluster/scripts/lint_skill_cluster.py $HOME/SKILL

前向测试位于 evals.json。

输出格式

返回：

  1. 证据来源和时间戳。
  2. 数据等级和隐私处理方式。
  3. 观察到的爬虫／用户代理类别。
  4. 执行过的公开端点状态检查。
  5. 可疑或无关机器人流量摘要。
  6. 未知信息和拒绝作出的声明。
  7. 监控待办事项和下一步所需证据。

评论

支持 Markdown