Thoth

---

Thoth 是什么？

系统性文献综述写起来很慢——而当你让大模型撰写综述时，它会自信地编造任何论文中都不存在的引用和统计数据。

Thoth 完成综述的两个部分，并检查自己的工作。 向它提出一个研究问题，它就会找出相关论文、阅读这些论文、撰写以证据为依据的综述——然后运行核验流程（cite_check），将每条引用论断与源论文进行比对，并在你阅读草稿之前标出任何缺乏依据的内容。最终综述会附带评论者评分、引用忠实度百分比，以及一份值得信赖的逐项论断审计报告。

它以精致的 Web 应用、公开评估仪表板和经过身份验证的 MCP 服务形式运行，你的 AI 助手可以直接调用它。

查看实际效果

Claude.ai 在一份真实草稿中发现 6 条编造的引文——借助 Thoth 的审计：

通过官方 MCP Registry连接到 Thoth 后，Claude 会对一份刻意选取的薄弱综述调用 get_citation_audit（该单篇综述的忠实度为 0.13），并识别出全部 6 条缺乏依据的论断——每条都引用了同一篇论文，还编造了来源中并不存在的百分比。这正是 cite_check 发挥作用的地方：这是单篇综述的审计样本，而非黄金集的汇总结果（参见 /evals）。

每条论断都依据其来源评分——/showcase 综述（无需登录）。此卡片上的数据（批评评分 4.2/5、忠实度 75%、已检查 8/8 条引文、2 条缺乏依据）是这篇单独综述的评分——这是一个示例，不是汇总结果：

公开评估——/evals 跟踪一个包含 18 道问题的版本化黄金集上的引文召回率 / 精确率 / 忠实度 / 覆盖率（截至此提交已填充 18 道中的 7 道），并在 CI 中重新生成、发布最后运行日期，因此任何回归都会成为公开且可证伪的信号：

每个步骤都由你审批——三个有人参与的审批关卡（审查计划 → 审查发现的论文 → 批准纳入的论文）；不会有任何操作在无人值守的情况下运行：

## 主要功能

• 🔎 cite_check — 可验证的引文。 草稿中的每个 [paper_id] 都会根据引用的论文进行评分，并标记为支持／不支持／不明确，因此 LLM 无法悄悄捏造引文。在公开黄金集上，它确实列出的引文都准确无误——引文精确率 97%，召回率 74%——并且会逐条发布判定报告，而非将其概括带过。这是核心差异化优势：引文经过了测量，而非仅仅声称准确。
• 🌐 出站网络搜索（v2 — 正在积极评估）。 跨 OpenAlex、arXiv 和 Exa 接通了出站 discoverer → fetcher → screener 流程：该流程会获取开放获取 PDF、进行 OCR，并根据你的计划筛选每篇论文，因此你可以选择仅使用上传内容、混合模式或完全自主发现。发现和筛选两个维度属于 v2，仍在校准中——我们在 /evals 上公开跟踪它们（目前两者均为 0%），而不是将其作为未经说明的成果发布。
• 🔌 经过身份验证并已注册的 MCP 服务。 通过 Clerk 实现 OAuth 2.1 + PKCE + 动态客户端注册，并提供 SHA-256 审计日志和速率限制——已列入 官方 MCP Registry。大多数公开 MCP 服务都没有身份验证；这个服务有。
• 📊 公开评估仪表板。 在版本化黄金集上展示召回率／精确率／忠实度／覆盖率，由 CI 重新生成并标注最近运行日期，呈现在 /evals——评估回归是一个公开信号，而非隐藏信号。
• 💸 支持 6 家 LLM 提供商，默认 $0/月。 使用一个环境变量即可切换提供商；Mistral 免费层即可运行整个系统，整个技术栈也能部署在免费层上，费用为 $0/月。

🚀 快速开始

立即试用（无需安装）：

• 打开在线演示 → 并构建一篇综述，或 浏览已完成的综述 →。

将其连接到你的 AI 助手——将以下内容粘贴到 claude.ai（Pro/Max）、Claude Desktop、Cursor 或任何 MCP 客户端中（OAuth 会在浏览器中运行；无需复制令牌）：

https://thoth-slr.vercel.app/api/mcp/mcp

只读 MCP 工具（仅限你的账户）

• list_reviews — 你的综述及其 critic + 忠实度评分
• get_review_draft — 已完成综述的 Markdown 草稿
• get_citation_audit — 逐条声明的 cite_check 判定报告
• list_discovered_papers (v2) — discoverer 找到的论文，以及获取和筛选状态
• get_search_queries (v2) — discoverer 生成的查询，以及各提供商的错误

完整参考文档：docs/mcp/tools.md · 身份验证与审计模型：docs/mcp/security.md

在本地运行：

git clone https://github.com/ahmedEid1/thoth.git && cd thoth
cp .env.example .env        # Clerk + Trigger.dev keys + MISTRAL_API_KEY
docker compose up -d        # postgres, minio, langfuse
pnpm install && pnpm prisma migrate dev
pnpm dev                    # Next.js on :3000
pnpm dev:trigger            # Trigger.dev worker (separate terminal)

完整设置、Agent 流水线和 v2 流程：docs/architecture.md。

实证

在线应用	thoth-slr.vercel.app（Clerk 登录） · 示例评审见 /showcase
公开评测	/evals — 在包含 18 个问题的版本化黄金集上，引用精确率 97%，召回率 74%（本次提交时已填充 18 个问题中的 7 个；随着数据集逐步完善，持续公开跟踪忠实度 38% / 覆盖率 32%；发现/筛选 v2 正在校准中）。在 CI 中重新生成，并附上最近一次运行的日期发布——回归问题会成为公开信号。
MCP 注册表	io.github.ahmedEid1/thoth — status: active
测试	676 项单元/集成测试 + 22 项针对已部署实例的实时端到端测试（MCP 传输、真实浏览器、通过身份验证的完整演练、完整 Agent 运行）——全部通过；tsc + lint 检查无误
审计日志	记录每次 MCP 调用的 SHA-256 输入哈希；不存储原始输入
部署成本	$0/月 — Vercel + Neon + Cloudflare R2 + Langfuse + Trigger.dev，全部使用免费套餐（自托管选项）

面向工程师

Thoth 是由 Trigger.dev worker 驱动的 LangGraph StateGraph，具备持久化的人工介入关卡、单次运行成本上限，以及恰好一次的关卡交付。Next.js 16

• TypeScript（严格模式）、Postgres + Prisma、Clerk 身份验证（Web + MCP 的 OAuth 2.1）、 兼容 S3 的存储、Mistral OCR、Langfuse 跟踪。

• 架构 — Agent 流水线、完整技术栈、v2 流程、测试
• 大模型提供商 — 6 家提供商矩阵 + 弹性配置项
• MCP 工具 · MCP 安全
• 安全与隐私 — 数据清单、司法管辖区、删除流程
• 自托管 — 在 Oracle Cloud Always Free 上部署单台 VM
• 更新日志 · 发布

致谢

Ibis 图标由 Delapouite 创作，采用 CC BY 3.0 许可，来自 game-icons.net。

许可证

MIT © 2026 Ahmed Hobeishy