关于 toolroute
toolroute 是面向 AI Agent 的任务路由服务,根据任务推荐 MCP 服务和 LLM,并以基准执行结果评估候选项。它支持直接模型、单工具和多工具任务的不同路由方式。
主要功能
- 01按任务推荐 MCP 服务与 LLM
- 02支持直接模型和多工具路由
- 03按质量、可靠性、效率、成本与信任评分
- 04接收结果反馈并更新评分
- 05提供技能目录搜索与模型质量验证
适用场景
- 01为网页搜索任务挑选 MCP 服务与模型
- 02为代码、写作或分析任务选择 LLM
- 03为跨 Slack、Jira 和邮件的任务生成执行链
MCP 相关
提供 MCP 服务端点,向 MCP 客户端开放 16 个工具;也可通过 HTTP API 路由任务并报告执行结果。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
ToolRoute
面向 AI Agent 的路由层。一次调用即可为任何任务返回最佳 MCP 服务和大模型,评分依据是 132 次真实基准测试执行结果。
快速开始
添加到任意 MCP 客户端(Claude Code、Cursor、Windsurf、Cline):
{
"mcpServers": {
"toolroute": {
"url": "https://toolroute.io/api/mcp"
}
}
}
或者通过 HTTP 调用:
curl -X POST https://toolroute.io/api/route \
-H "Content-Type: application/json" \
-d '{"task": "search the web for recent AI papers"}'
{
"approach": "mcp_server",
"recommended_skill": "exa-mcp-server",
"recommended_skill_name": "Exa MCP Server",
"recommended_model": {
"slug": "claude-haiku-4-5-20251001",
"display_name": "Claude Haiku 4.5",
"provider": "anthropic",
"tier": "cheap_chat",
"provider_model_id": "anthropic/claude-haiku-4-5-20251001",
"input_cost_per_mtok": 1.00,
"output_cost_per_mtok": 5.00
},
"confidence": 0.91,
"alternatives": ["brave-search-mcp", "tavily-mcp"],
"fallback": "brave-search-mcp"
}
recommended_model始终是一个对象,而不是单独的字符串——其中的slug是规范的模型标识符。
工作原理
每项任务都属于以下三种处理方式之一:
| 处理方式 | 适用场景 | 返回内容 |
|---|---|---|
direct_llm | 任务只需要大模型(编码、写作、分析) | 最佳模型 + 成本估算 |
mcp_server | 任务需要外部工具(搜索、电子邮件、日历) | 最佳工具 + 最佳模型 |
multi_tool | 组合任务(“发送 Slack 消息 AND 更新 Jira AND 发送电子邮件”) | 有序的编排链 |
路由使用大模型分类器(约 $0.00001/次调用)理解任务,然后按 5 个维度对候选项评分:
Value Score = 0.35 × Output Quality
+ 0.25 × Reliability
+ 0.15 × Efficiency
+ 0.15 × Cost
+ 0.10 × Trust
每次报告结果都会更新评分。随着更多 Agent 使用,路由将变得更加准确。
基准测试结果
在编码、写作、分析、结构化输出和翻译任务中进行了 132 次盲测 A/B 执行。
| ToolRoute | 固定使用 GPT-4o | |
|---|---|---|
| 质量胜出 | 6 | 0 |
| 平局 | 9 | 9 |
| 失利 | 0 | — |
| 平均成本 | $0.001–0.01 | $0.03–0.10 |
API
| 端点 | 方法 | 说明 |
|---|---|---|
/api/route | POST | 将任务路由到最佳 MCP 服务 + 大模型(统一路由) |
/api/route/model | POST | 仅路由到最佳大模型(不使用 MCP 服务) |
/api/mcp | POST (JSON-RPC) | MCP 服务 — 16 个工具 |
/api/mcp | GET (SSE) | 面向 MCP 客户端的 SSE 传输 |
/api/report | POST | 报告 MCP 服务结果(轻量级) |
/api/contributions | POST | 高级 MCP 技能遥测(载荷中需要 skill_id 或 skill_slug) |
/api/report/model | POST | 报告大模型结果——用于模型遥测,不要使用 /api/contributions |
/api/verify/model | POST | 验证模型输出质量 |
/api/skills | GET | 搜索 MCP 服务目录 |
/api/agents/register | POST | 注册 Agent 身份 |
/api/agents/preferences | POST | 设置路由偏好(Strategy D Phase 2 — allow_china、regulated_industries) |
/api/health | GET | 服务健康检查(数据库 + 运行时间) |
/api/metrics | GET | 公开的平台汇总指标(无需身份验证) |
完整参考文档请见 toolroute.io/api-docs
SDK
npm install @toolroute/sdk
import { ToolRoute } from '@toolroute/sdk'
const tr = new ToolRoute()
const rec = await tr.route({ task: 'parse this CSV and summarize it' })
// execute with rec.recommended_model ...
await tr.report({ skill: rec.recommended_skill, outcome: 'success', latency_ms: 1400 })
自托管
git clone https://github.com/grossiweb/ToolRoute.git
cd ToolRoute
cp .env.local.example .env.local
npm install
npm run dev
需要:NEXT_PUBLIC_SUPABASE_URL、NEXT_PUBLIC_SUPABASE_ANON_KEY、SUPABASE_SERVICE_ROLE_KEY
路由工作原理
ToolRoute 使用大模型分类器(Gemini Flash Lite,每次调用约 $0.00001)对每项任务进行分类,并在分类器不可用时回退到关键词匹配。分类得出的层级会映射到 src/lib/routing/tiers.ts 中的特定模型。实时定价和能力数据来自 models 表。完整说明请见 docs/architecture.md。
技术栈
Next.js 14 (App Router) · Supabase (Postgres) · Vercel
许可证
MIT
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。