🦉 Trustwise MCP Server について
Trustwise MCP Serverは、LLM応答の品質、安全性、アライメント、性能を評価するツールを開発者に提供します。内容の評価に加え、推論コストと炭素排出量も推定できます。
主な機能
- 01忠実性と関連性の評価
- 02PIIとプロンプトインジェクションリスクの検出
- 03明瞭さ・トーン・有用性の測定
- 04ポリシーと指示への準拠確認
- 05推論コストと炭素排出量の推定
活用シーン
- 01LLM応答の安全性と信頼性の評価
- 02生成コンテンツの明瞭さとアライメントの確認
- 03推論コストと炭素影響の推定
- 04エージェントやAIワークフローへの評価チェック追加
MCP 対応
Trustwiseの評価指標をツールとして公開し、MCPクライアントからモデル応答を評価できるようにします。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
docker run -i --rm -e TW_API_KEY ghcr.io/trustwiseai/trustwise-mcp-server:latestTW_API_KEYシークレットローカルサーバーにはマシン上の実行環境(Node.js 18 以上など)が必要です。設定ファイルの場所はクライアントごとに異なります。
ghcr.io/trustwiseai/trustwise-mcp-server:lateststdioツール
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
🦉 Trustwise MCP サーバー
Trustwise MCP Server は、AI の安全性、アラインメント、パフォーマンスを評価する高度なツール群を提供する Model Context Protocol(MCP) サーバーです。開発者や AI ツールは、Trustwise が業界をリードする指標を使用して、LLM の出力の品質、安全性、コストをプログラムから評価できます。
💡 ユースケース
- LLM の応答の安全性と信頼性を評価します。
- AI 生成コンテンツのアラインメント、明瞭さ、有用性を測定します。
- モデル推論のカーボンフットプリントとコストを推定します。
- 堅牢な評価を AI パイプライン、エージェント、オーケストレーションフレームワークに統合します。
🛠️ 前提条件
📦 インストールと実行
Claude Desktop
Trustwise MCP Server を Claude Desktop に接続するには、次の設定を Claude Desktop の設定に追加します。
{
"mcpServers": {
"trustwise": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"-e",
"TW_API_KEY",
"ghcr.io/trustwiseai/trustwise-mcp-server:latest"
],
"env": {
"TW_API_KEY": "<YOUR_TRUSTWISE_API_KEY>"
}
}
}
}
特定の Trustwise インスタンスを指定するには、env に次のオプションの環境変数も設定します。
TW_BASE_URL: "<YOUR_TRUSTWISE_INSTANCE_URL>"
例:"TW_BASE_URL": "https://api.yourdomain.ai"
Cursor
Trustwise MCP Server を cursor に接続するには、次の設定を cursor の設定に追加します。
{
"mcpServers": {
"trustwise": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"-e",
"TW_API_KEY",
"-e",
"TW_BASE_URL",
"ghcr.io/trustwiseai/trustwise-mcp-server:latest"
],
"env": {
"TW_API_KEY": "<YOUR_TRUSTWISE_API_KEY>"
}
}
}
}
<YOUR_TRUSTWISE_API_KEY> を実際の Trustwise API キーに置き換えてください。
🧰 ツール
Trustwise MCP Server は、次のツール(指標)を公開しています。各ツールは、指定された引数を使用してモデルの応答を評価できます。
🛡️ Trustwise の指標
| ツール名 | 説明 |
|---|---|
faithfulness_metric | 応答がコンテキストに忠実かどうかを評価します |
answer_relevancy_metric | 応答がクエリに関連しているかどうかを評価します |
context_relevancy_metric | コンテキストがクエリに関連しているかどうかを評価します |
pii_metric | 応答内の PII を検出します |
prompt_injection_metric | プロンプトインジェクションのリスクを検出します |
summarization_metric | 要約の品質を評価します |
clarity_metric | 応答の明瞭さを評価します |
formality_metric | 応答のフォーマルさを評価します |
helpfulness_metric | 応答の有用性を評価します |
sensitivity_metric | 応答の配慮度を評価します |
simplicity_metric | 応答のわかりやすさを評価します |
tone_metric | 応答のトーンを評価します |
toxicity_metric | 応答の有害性を評価します |
refusal_metric | クエリへの回答または対応を拒否しているかどうかを検出します |
completion_metric | クエリの指示を完了しているかどうかを評価します |
adherence_metric | 指定されたポリシーまたは指示への準拠を評価します |
stability_metric | 複数の応答の安定性(一貫性)を評価します |
carbon_metric | 応答のカーボンフットプリントを推定します |
cost_metric | 応答のコストを推定します |
使用例や高度な使い方については、公式の Trustwise SDK をご覧ください。
📄 ライセンス
このプロジェクトは、MIT オープンソースライセンスの条件に基づいてライセンスされています。詳細は LICENSE をご覧ください。
🔒 セキュリティ
- シークレットや API キーをコミットしないでください。
- このリポジトリは公開されています。プッシュする前に、機密情報が含まれていないか、すべてのコードとドキュメントを確認してください。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。