关于 🦉 Trustwise MCP Server
Trustwise MCP Server 为开发者提供评估工具,用于衡量大模型响应的质量、安全性、对齐度和表现。其工具覆盖内容属性,也能估算推理成本与碳排放。
主要功能
- 01评估忠实度与相关性
- 02检测个人信息和提示注入风险
- 03衡量清晰度、语气与有用性
- 04检查政策和指令遵循情况
- 05估算推理成本与碳排放
适用场景
- 01评估大模型响应的安全性和可靠性
- 02检查生成内容的清晰度与对齐度
- 03估算推理成本和碳影响
- 04在 Agent 或 AI 工作流中加入评估检查
MCP 相关
将 Trustwise 评估指标作为工具提供给 MCP 客户端,用于评估模型响应。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
docker run -i --rm -e TW_API_KEY ghcr.io/trustwiseai/trustwise-mcp-server:latestTW_API_KEY密钥本地服务需要在你的电脑上安装运行环境(如 Node.js 18+)。各客户端的配置文件位置不同,请参考客户端文档。
ghcr.io/trustwiseai/trustwise-mcp-server:lateststdio工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
🦉 Trustwise MCP 服务
Trustwise MCP 服务是一个 Model Context Protocol (MCP) 服务,提供一套用于 AI 安全、对齐和性能的高级评估工具。它使开发者和 AI 工具能够使用 Trustwise 行业领先的指标,以编程方式评估大模型输出的质量、安全性和成本。
💡 使用场景
- 评估大模型回答的安全性和可靠性。
- 衡量 AI 生成内容的对齐度、清晰度和实用性。
- 估算模型推理的碳足迹和成本。
- 将稳健的评估集成到 AI 流水线、Agent 或编排框架中。
🛠️ 前提条件
📦 安装和运行
Claude Desktop
要将 Trustwise MCP 服务连接到 Claude Desktop,请将以下配置添加到 Claude Desktop 设置中:
{
"mcpServers": {
"trustwise": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"-e",
"TW_API_KEY",
"ghcr.io/trustwiseai/trustwise-mcp-server:latest"
],
"env": {
"TW_API_KEY": "<YOUR_TRUSTWISE_API_KEY>"
}
}
}
}
要指定特定的 Trustwise 实例,请在 env 下设置以下可选环境变量:
TW_BASE_URL: "<YOUR_TRUSTWISE_INSTANCE_URL>"
例如:"TW_BASE_URL": "https://api.yourdomain.ai"
Cursor
要将 Trustwise MCP 服务连接到 Cursor,请将以下配置添加到 Cursor 设置中:
{
"mcpServers": {
"trustwise": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"-e",
"TW_API_KEY",
"-e",
"TW_BASE_URL",
"ghcr.io/trustwiseai/trustwise-mcp-server:latest"
],
"env": {
"TW_API_KEY": "<YOUR_TRUSTWISE_API_KEY>"
}
}
}
}
将 <YOUR_TRUSTWISE_API_KEY> 替换为你的实际 Trustwise API 密钥。
🧰 工具
Trustwise MCP 服务提供以下工具(指标)。可以使用指定参数调用每个工具,以评估模型回答。
🛡️ Trustwise 指标
| 工具名称 | 描述 |
|---|---|
faithfulness_metric | 评估回答对其上下文的忠实度 |
answer_relevancy_metric | 评估回答与查询的相关性 |
context_relevancy_metric | 评估上下文与查询的相关性 |
pii_metric | 检测回答中的 PII |
prompt_injection_metric | 检测提示词注入风险 |
summarization_metric | 评估摘要质量 |
clarity_metric | 评估回答的清晰度 |
formality_metric | 评估回答的正式程度 |
helpfulness_metric | 评估回答的实用性 |
sensitivity_metric | 评估回答的敏感性 |
simplicity_metric | 评估回答的简明程度 |
tone_metric | 评估回答的语气 |
toxicity_metric | 评估回答的毒性 |
refusal_metric | 检测是否拒绝回答查询或遵循查询要求 |
completion_metric | 评估是否完成查询中的指令 |
adherence_metric | 评估是否遵循给定的政策或指令 |
stability_metric | 评估多个回答的稳定性(一致性) |
carbon_metric | 估算回答的碳足迹 |
cost_metric | 估算回答的成本 |
如需查看更多示例和高级用法,请参阅官方 Trustwise SDK。
📄 许可证
本项目采用 MIT 开源许可证。详情请参阅 LICENSE。
🔒 安全
- 请勿提交机密信息或 API 密钥。
- 此代码库是公开的;推送之前,请检查所有代码和文档中是否包含敏感信息。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。