Thoth

---

Thothとは？

体系的文献レビューの執筆には時間がかかります。LLMに執筆を依頼すると、論文には存在しない引用や統計を自信満々に捏造することがあります。

Thothは両方の作業を行い、自らの成果を検証します。 研究の問いを与えると、関連論文を探し、読み、根拠に基づくレビューの草稿を作成します。その後、検証処理（cite_check）を実行し、引用されたすべての主張を原論文と照合して、草稿を読む前に根拠のない内容にフラグを付けます。その結果、批評スコア、引用の忠実度を示す割合、そして信頼できる主張ごとの監査結果が得られます。

洗練されたウェブアプリ、公開評価ダッシュボード、そしてAIアシスタントから直接呼び出せる認証済みMCPサーバーとして動作します。

動作を見る

Claude.ai が Thoth の監査を使って、実際の草稿に含まれる捏造された引用を6件検出します：

公式 MCP Registry 経由で Thoth に接続すると、Claude は get_citation_audit を呼び出し、意図的に質を低くした1件のレビュー（そのレビュー単体の忠実度は0.13）に対して、裏付けのない主張を6件すべて特定します。どの主張も同じ論文を引用しており、出典にはない割合が捏造されています。これは cite_check が本来の役割を果たしている例です。これは単一レビューの監査サンプルであり、ゴールデンセット全体の集計ではありません（/evals を参照）。

すべての主張を出典と照らし合わせて採点 — /showcase のレビュー（ログイン不要）。このカードの数値（批評スコア4.2/5、忠実度75％、引用の確認8/8件、裏付けのない引用2件）はこの1件のレビューのスコアです。全体の集計ではなく、具体例です：

評価結果を公開 — /evals では、バージョン管理された18問のゴールデンセット（このコミット時点で18問中7問が登録済み）について、引用の再現率／適合率／忠実度／網羅率を追跡します。CI で再生成され、最終実行日とともに公開されるため、性能の後退は誰でも検証できる公開シグナルになります：

すべてのステップを承認できます — 人間が介在する3つのゲート（レビュー計画の確認 → 発見された論文の確認 → 採用する論文の承認）があり、何も人の監督なしに実行されることはありません：

## 主な機能

• 🔎 cite_check — 検証可能な引用。 ドラフト内のすべての [paper_id] を引用先の論文と照合してスコアリングし、支持あり／支持なし／不明と判定するため、LLMが引用をひそかに捏造することはありません。公開ゴールデンセットでは、実際に提示される引用の精度は高く、**引用精度 97%、再現率 74%**です。また、判定レポートは要約で省略されることなく、主張ごとに公開されます。引用をただ主張するのではなく、測定していることが、この機能の中核的な差別化要素です。
• 🌐 外部ウェブ検索（v2 — 現在積極的に評価中）。 OpenAlex、arXiv、Exaを連携させた、外部の discoverer → fetcher → screener パスを構築しています。オープンアクセスのPDFを取得してOCRを実行し、それぞれを調査計画に照らしてスクリーニングするため、アップロードされた論文のみ、ハイブリッド、完全自律型のいずれでも文献探索を実行できます。文献探索とスクリーニングの各評価軸はv2で、現在も調整中です。根拠のないまま機能として提供するのではなく、/evalsで進捗を公開しています（どちらも現在は0%です）。
• 🔌 認証済みの登録済みMCPサーバー。 ClerkによるOAuth 2.1 + PKCE + 動的クライアント登録、SHA-256監査ログ、レート制限に対応し、公式MCP Registryに登録されています。公開されているMCPサーバーの大半には認証がありませんが、このサーバーにはあります。
• 📊 公開評価ダッシュボード。 バージョン管理されたゴールデンセットに対する再現率／精度／忠実性／網羅率を、CIで再生成し、最終実行日を記録して/evalsに表示します。評価のリグレッションは隠されるのではなく、公開されるシグナルです。
• 💸 6つのLLMプロバイダーに対応、デフォルトで月額0ドル。 環境変数を1つ変更するだけでプロバイダーを切り替えられます。Mistralの無料枠で全体を実行でき、スタック全体を無料枠で月額0ドルでデプロイできます。

🚀 クイックスタート

今すぐ試す（インストール不要）：

• ライブデモを開く → からレビューを作成するか、完成したレビューを見る → をご覧ください。

AIアシスタントに接続する — claude.ai（Pro/Max）、Claude Desktop、Cursor、または任意のMCPクライアントに次の内容を貼り付けてください（OAuthはブラウザーで実行されるため、トークンをコピーする必要はありません）。

https://thoth-slr.vercel.app/api/mcp/mcp

読み取り専用MCPツール（アカウントの範囲内）

• list_reviews — 批評スコアと忠実性スコアを含む、あなたのレビュー一覧
• get_review_draft — 完了したレビューのMarkdownドラフト
• get_citation_audit — 主張ごとのcite_check判定レポート
• list_discovered_papers (v2) — discovererが提示した論文と、取得・スクリーニングのステータス
• get_search_queries (v2) — discovererが生成したクエリと、プロバイダーごとのエラー

完全なリファレンス：docs/mcp/tools.md · 認証と監査のモデル：docs/mcp/security.md

ローカルで実行する：

git clone https://github.com/ahmedEid1/thoth.git && cd thoth
cp .env.example .env        # Clerk + Trigger.dev keys + MISTRAL_API_KEY
docker compose up -d        # postgres, minio, langfuse
pnpm install && pnpm prisma migrate dev
pnpm dev                    # Next.js on :3000
pnpm dev:trigger            # Trigger.dev worker (separate terminal)

セットアップ全体、エージェントのパイプライン、v2のフローについては、**docs/architecture.md**をご覧ください。

実績

ライブアプリ	thoth-slr.vercel.app（Clerk でサインイン） · サンプルレビューは /showcase
公開評価	/evals — バージョン管理された18問のゴールデンセットで引用精度97%、再現率74%（このコミット時点で18問中7問を登録済み。セットの拡充に伴い、忠実度38%／カバレッジ32%を公開状態で追跡中。ディスカバリー／スクリーニング v2 は調整中）。CI で再生成し、最終実行日とともに公開 — リグレッションは公開シグナルになります。
MCP レジストリ	io.github.ahmedEid1/thoth — status: active
テスト	デプロイ済みインスタンスに対する単体／統合テスト676件とライブ E2E テスト22件（MCP トランスポート、実ブラウザー、認証済みウォークスルー、エージェントの全実行） — すべて成功。tsc と lint も問題なし
監査ログ	すべての MCP 呼び出しを SHA-256 入力ハッシュとともに記録。生の入力は保存しません
デプロイ費用	月額 $0 — Vercel + Neon + Cloudflare R2 + Langfuse + Trigger.dev はすべて無料枠（セルフホストのオプション）

エンジニア向け

Thoth は Trigger.dev ワーカーによって駆動される LangGraph の StateGraph です。永続的なヒューマン・イン・ザ・ループのゲート、実行ごとのコスト上限、ゲートの厳密に一度だけの配信を備えています。Next.js 16

• TypeScript（strict）、Postgres + Prisma、Clerk 認証（Web + MCP 用 OAuth 2.1）、 S3 互換ストレージ、Mistral OCR、Langfuse トレーシングで構成されています。

• アーキテクチャ — エージェントパイプライン、フルスタック、v2 フロー、テスト
• LLM プロバイダー — 6 プロバイダーの比較表 + レジリエンス設定
• MCP ツール · MCP セキュリティ
• セキュリティとプライバシー — データ一覧、管轄区域、削除手順
• セルフホスト — Oracle Cloud Always Free 上の仮想マシン1台
• 変更履歴 · リリース手順

クレジット

Ibis のアイコンは Delapouite によるもので、CC BY 3.0 のライセンスに基づき、game-icons.net 経由で使用しています。

ライセンス

MIT © 2026 Ahmed Hobeishy