mcp-factcheck

MCP Fact-Check MCP 服务

一个 MCP 服务，用于根据官方 Model Context Protocol (MCP) 规范验证代码或内容，确保技术准确性并防止错误信息传播。

📦 在 MCP Registry 中查看 - 已在官方 MCP Registry 中提供

📋 查看项目路线图 - 查看计划中的功能和开发进度

🏗️ 设计文档 - 技术设计和实现细节

概述

MCP Fact-Check MCP 服务通过将内容与官方规范进行比对，帮助确保在编写代码或撰写 MCP 相关内容时的技术准确性。它使用：

• 语义搜索，借助 OpenAI embeddings 查找相关规范章节
• AI 驱动的验证，检测不准确之处并提出修正建议
• 复合声明分解，验证包含多个断言的复杂陈述
• 支持多个规范版本（draft、2025-06-18、2025-03-26、2024-11-05）

功能

提供的 MCP 工具

1. check_mcp_claim - 全面验证 MCP 相关内容

   • 验证包含多个声明的内容（文档、教程、项目符号列表）
   • 自动拆分复合声明（例如，“X and Y”），以准确验证
   • 提供逐步验证工作流
   • 识别缺失的最佳实践以及情态动词问题
   • 返回经过修正的内容及置信度评分

2. check_mcp_quick_fact - 快速核查单条 MCP 声明

   • 验证单句或快速提问
   • 返回简洁的 ✓/✗ 结论及说明
   • 使用积极的搜索策略确保准确性
   • 非常适合“Does MCP support X?”这类问题

3. search_spec - 使用语义相似度搜索 MCP 规范

   • 返回最相关的规范章节
   • 支持所有规范版本

4. list_spec_versions - 列出可用的 MCP 规范版本

   • 显示版本日期和说明
   • 标明当前版本

可用的 MCP 提示词

1. migrate-mcp-content - 指导在不同 MCP 规范版本间迁移内容

   • 首先根据源规范验证内容
   • 识别不同规范版本之间的变更
   • 提供逐步迁移指导
   • 适用于任何类型的 MCP 相关内容
   • 修正或提出建议时保留原文的语气、风格和表达方式

   参数：

   • current_version（必填）：源 MCP 规范版本（例如，“2024-11-05”、“2025-06-18”）
   • target_version（必填）：要迁移至的目标 MCP 规范版本（例如，“draft”）
   • update_scope（可选）：决定迁移的调整力度
     • critical_only：仅修复关键错误和不兼容变更（尽量少改动）
     • enhancement_focused：修复问题、提升清晰度并遵循最佳实践
     • comprehensive：全面审查，进行所有改进并增强清晰度
     • 默认值：comprehensive

安装

MCP Fact-Check 服务可通过 Model Context Protocol 注册表获取。可直接从 MCP 客户端安装：

适用于 Claude Desktop 和其他 MCP 客户端：

• 在客户端的服务市场中搜索“mcp-factcheck”
• 点击安装
• 根据提示提供 OpenAI API 密钥

完成！服务将自动配置并可供使用。

**面向开发者：**如果需要从源代码构建或为项目做贡献，请参阅 INSTALL.md 了解开发环境设置说明。

可观测性

使用 Arize Phoenix 进行可视化追踪

如需使用美观且专为 AI 打造的追踪可视化界面，请设置 Arize Phoenix：

1. 安装并启动 Phoenix：

# Install Phoenix
pipx install arize-phoenix

# Start Phoenix server
phoenix serve

2. 更新 Host 配置，将追踪数据发送到 Phoenix：

{
  "mcpServers": {
    "mcp-factcheck": {
      "command": "/path/to/bin/mcp-factcheck-server",
      "args": [
        "--data-dir",
        "/path/to/data/embeddings",
        "--telemetry",
        "--otlp-endpoint",
        "http://localhost:6006"
      ],
      "env": {
        "OPENAI_API_KEY": "your-api-key"
      }
    }
  }
}

3. 查看追踪数据： http://localhost:6006

在 Phoenix 中可以看到：

• 美观且专为大模型应用设计的界面
• 完整的验证流水线时间线，视觉层次清晰
• 嵌入生成性能和 OpenAI API 调用追踪
• 带相似度分数的向量搜索可视化
• 每个分块的验证置信度和质量指标
• OpenAI API 使用情况的成本追踪（或用于嵌入输入内容／代码的其他大模型）
• 简洁直观的导航，专注于 AI 工作流

Phoenix 专为 AI/ML 可观测性而设计，与传统追踪工具相比，使用体验友好得多。

开发

构建

# Build all components
go build -o bin/mfc ./cmd/server
go build -o bin/specloader ./utils/cmd

# Run tests
go test ./...

更新规范

项目包含所有版本预先提取的 MCP 规范和嵌入。要查看草案规范的上次更新时间，请参阅 data/SPEC_METADATA.json：

# View draft update information
cat data/SPEC_METADATA.json | jq '.specs.draft'

更新草案规范：

./bin/specloader spec --version draft
./bin/specloader embed --version draft
./bin/specloader embed --version draft-fine

添加新的规范版本：

./bin/specloader spec --version 2025-12-15
./bin/specloader embed --version 2025-12-15
./bin/specloader embed --version 2025-12-15-fine

所有规范提取日期和源提交都会自动记录在 data/SPEC_METADATA.json 中。

测试工具

使用随附的测试客户端测试服务：

# Build test client
go build -o bin/factcheck-curl ./cmd/factcheck-curl

# Test tools
./bin/factcheck-curl --cmd ./bin/mfc --data-dir ./data/embeddings tools/list
./bin/factcheck-curl --cmd ./bin/mfc --data-dir ./data/embeddings tools/call validate_content '{"content":"MCP is a protocol"}'

# Test prompts
./bin/factcheck-curl --cmd ./bin/mfc --data-dir ./data/embeddings prompts/list

# Get migration prompt with minimal parameters
./bin/factcheck-curl --cmd ./bin/mfc --data-dir ./data/embeddings prompts/get migrate-mcp-content '{"current_version":"2024-11-05","target_version":"draft"}'

# Get migration prompt with all parameters
./bin/factcheck-curl --cmd ./bin/mfc --data-dir ./data/embeddings prompts/get migrate-mcp-content '{
  "current_version": "2024-11-05",
  "target_version": "2025-06-18",
  "update_scope": "critical_only"
}'

架构

完整的架构文档请参阅 DESIGN.md。

环境变量

• OPENAI_API_KEY - 嵌入生成和内容验证所必需
• GITHUB_TOKEN - 可选；提取规范时可提高 GitHub API 速率限制

许可证

MIT 许可证。详情请参阅 LICENSE。