Okareo

Okareo MCP サーバー

Okareo MCP サーバーは、Okareo の評価機能を MCP ツールとして公開します。これにより、AI コーディングアシスタントは、エディターから直接シナリオの作成と管理、モデルの登録、評価の実行、複数ターンのシミュレーションの実行を行えます。

詳しいドキュメントについては、Okareo MCP docsをご覧ください。

前提条件

• app.okareo.comの Okareo アカウント
• MCP サーバーに対応するコパイロット（Claude Code、Cursor、VS Code、GitHub Copilot）、または Slack の Slackbot
• Python 3.10～3.12（ローカルインストール方式の場合のみ。リモートでは不要です）

---

リモート MCP（ホスト型） — 推奨

最もすばやく始められる方法です。ローカルへのインストールも Python も不要で、.mcp.jsonに API キーを記載する必要もありません。初回接続時にブラウザーでサインインすることで認証できます。

推奨（OAuth — Claude Code、Claude Desktop、Cursor、VS Code 1.101+）

コパイロットの MCP 設定（通常は.mcp.json）に追加します。

{
  "mcpServers": {
    "okareo": {
      "type": "http",
      "url": "https://tools.okareo.com/mcp"
    }
  }
}

コパイロットを再読み込みします。最初の一度だけ Okareo のサインインページがブラウザーで開きます。その後は、コパイロットがトークンを保存します。.mcp.jsonにシークレットは含まれません。

フォールバック（Bearer ヘッダー — 旧バージョンのクライアント、またはヘッドレス／CI 環境）

MCP OAuth フローがまだ実装されていないクライアントでは、API キーを Bearer ヘッダーとして貼り付けてください。インラインで直接記述するより、環境変数を使う方法を推奨します。

{
  "mcpServers": {
    "okareo": {
      "type": "http",
      "url": "https://tools.okareo.com/mcp",
      "headers": {
        "Authorization": "Bearer ${env:OKAREO_API_KEY}"
      }
    }
  }
}

GitHub Copilot（VS Code および Copilot CLI）、Slackbot、その他すべてのクライアントの設定については、docs.okareo.com/mcp/configurationをご覧ください。

複数の Okareo 組織での作業

複数の Okareo アカウントにアクセスできる場合は、Clear Authenticationを選択してから、使用するアカウントで再認証してください。現在どのアカウントを使用していて、どのアカウントにアクセスできるかは、いつでも確認できます。

---

ローカルインストール（代替方法）

MCP サーバーをお使いのマシンで実行します。オフライン環境やエアギャップ環境、および開発に便利です。

エアギャップ環境、カスタムビルド、このリポジトリでの開発など、ローカルにインストールする特別な理由がない場合は、上記の リモート MCP セクションをおすすめします。リモートエンドポイントはインストール不要で、自動的に最新の状態に保たれます。

複数の組織を利用するユーザーの場合、リモートエンドポイントではテナント管理ツール（list_tenants、switch_tenant）も利用できます。

ステップ 1：API キーを設定する

export OKAREO_API_KEY="your-api-key"

永続的に設定するには、~/.zshrcまたは~/.bash_profileに追加します。

ステップ 2：コパイロットを設定する

Claude Code

.mcp.jsonに追加します。

{
  "mcpServers": {
    "okareo": {
      "command": "uvx",
      "args": ["okareo-mcp"],
      "env": {
        "OKAREO_API_KEY": "${OKAREO_API_KEY}"
      }
    }
  }
}

事前インストールは不要です。uvxが自動的に処理します。

Cursor

.cursor/mcp.jsonに追加します。

{
  "mcpServers": {
    "okareo": {
      "command": "uvx",
      "args": ["okareo-mcp"]
    }
  }
}

Cursor はシェル環境からOKAREO_API_KEYを引き継ぎます。

代替方法：pip install

uvがインストールされていない場合：

pip install okareo-mcp

その後、"command": "uvx"の代わりに"command": "okareo-mcp"を、"args": ["okareo-mcp"]とともに使用します。

---

設定リファレンス

変数	デフォルト	説明
OKAREO_API_KEY	(必須)	Okareo API キー
OKAREO_BASE_URL	https://api.okareo.com	オンプレミスの Okareo バックエンドを指定する場合に設定します
TRANSPORT	stdio	トランスポート：stdio（ローカル）またはsse（Docker）
PORT	8000	SSE トランスポート用のポート

---

利用可能なツール

シナリオ

ツール	説明
save_scenario	入力／結果データの行から名前付きシナリオを保存します（冪等）
list_scenarios	プロジェクト内のすべてのシナリオを、名前、ID、行数とともに一覧表示します
get_scenario	名前または ID を指定して、シナリオのメタデータとすべてのデータ行を取得します
create_scenario_version	既存のシナリオの新しいバージョンを、更新されたデータで作成します
preview_delete_scenario	シナリオを削除する前に、削除される内容をプレビューします
delete_scenario	シナリオと関連するすべてのテストデータを完全に削除します

生成モデル

ツール	説明
list_available_llms	Okareo レジストリから利用可能な LLM を確認します
register_generation_model	レジストリから LLM を選択して、テスト用の生成モデルを登録します
list_generation_models	プロジェクトに登録されているすべての生成モデルを一覧表示します
get_generation_model	登録済み生成モデルの詳細情報を読み取ります
update_generation_model	登録済み生成モデルが参照する LLM を変更します
delete_generation_model	登録済み生成モデルと関連するすべてのテストデータを削除します

テストとチェック

ツール	説明
list_checks	モデルの出力を評価するための、利用可能な品質チェック（組み込みおよびカスタム）を一覧表示します
run_test	指定したチェックを使用して、シナリオに対するモデルの評価を行う品質テストを実行します
list_test_runs	過去のテスト実行を新しい順に検索します。集計指標には detail_level="summary"（デフォルト）または "detailed" を指定します
get_test_run_results	ID または名前で指定した実行結果を、1 ページ分読み込みます。detail_level="summary"（デフォルト）／"detailed"（チェックごとの結果と説明）／"full"（トランスクリプト）を指定できます。会話数のデフォルトは 20 です。このシミュレーションを再実行するための呼び出しと設定を含む rerun ブロックが付属します
get_conversation_transcript	1 つのデータポイントについて、会話のトランスクリプト全体を取得します
reevaluate_test_run	完了したテスト実行を、別のチェックセット（異なる場合）に対して再採点します
create_or_update_check	名前を指定して品質チェックを作成または更新します。モデルベース、コードベース、または音声（アップサート）に対応します
generate_check	自然言語の説明からチェックを生成し、保存します
get_check	プロンプトテンプレートまたはコードを含む、チェックの完全な設定を取得します
delete_check	名前を指定してチェックを完全に削除します
calibrate_check	完了したテスト実行に対してドラフトチェックをドライランします。行ごとの判定と、チェックが受け取った引数を表示します。何も保存しません

シミュレーション（複数ターン）

ツール	説明
create_or_update_target	Target を作成または更新します。生成モデル、カスタムエンドポイント、または音声（OpenAI、Deepgram、Twilio）を指定できます
get_target	名前を指定して Target の設定を取得します（すべての種類に対応）
list_targets	シミュレーションターゲット（voice および custom_endpoint）を検索します。デフォルトでは最大 20 件に制限され、name_contains で絞り込めます
delete_target	シミュレーションターゲットと関連するすべてのテストデータを削除します
create_or_update_driver	Target と対話するシミュレートユーザーのペルソナを定義します
get_driver	ペルソナプロンプトを含む Driver の完全な設定を取得します
list_drivers	Driver のペルソナを検索します。デフォルトでは最大 20 件に制限され、name_contains で絞り込めます
list_driver_voices	音声ドライバーで利用可能な音声、音声プロファイル、言語を確認します
run_simulation	複数ターンの会話評価を実行します。based_on_run_id を指定すると、元の実行の完全な設定を引き継ぎます。渡した引数は、該当するフィールドを上書きします
list_simulations	任意のフィルター（ターゲット、シナリオ、上限）を指定して、過去のシミュレーション実行を一覧表示します

音声モニタリング

ツール	説明
ingest_conversations	完了した音声会話を Okareo に送信してモニタリングします
connect_voice_integration	音声プロバイダーを接続し、そのトラフィックを Okareo のモニタリングに取り込みます
list_voice_integrations	プロジェクト内の音声プロバイダー連携を一覧表示します
get_voice_integration	ステータスを含む音声プロバイダー連携を、ID で指定して取得します
update_voice_integration	音声プロバイダー連携のメタデータを更新します
rotate_voice_integration_secret	音声プロバイダー連携のシークレットをローテーションします
delete_voice_integration	ID を指定して音声プロバイダー連携を削除します
get_voice_webhook_url	音声プロバイダーの受信 Webhook エンドポイントを取得します

プロジェクト

ツール	説明
list_projects	作業可能なすべてのプロジェクトを、ID、名前、タグ、アーカイブ状態とともに一覧表示します。現在アクティブなプロジェクトには印が付きます
select_project	この会話で作業するプロジェクトを選択します
create_project	新しいプロジェクトを作成します
update_project	プロジェクトの名前を変更するか、タグを置き換えます
archive_project	プロジェクトピッカーからプロジェクトを非表示にします。元に戻せます。削除はされません
unarchive_project	アーカイブ済みのプロジェクトをプロジェクトピッカーに戻します
clone_project	既存のプロジェクトのシナリオを新しいプロジェクトにコピーします（まずドライランを実行します）

Okareo には、アプリ、API、ここで使える削除機能はありません。プロジェクトを取り除くにはアーカイブします。アーカイブするとプロジェクトピッカーから非表示になるだけで、シナリオ、実行結果、ダッシュボードはそのまま残り、すべてのツールを引き続き利用できます。

分析とダッシュボード

ツール	説明
query_analytics	Okareo のプロダクト分析データを照会して、評価の傾向を把握します
list_dashboards	プロジェクト内の分析ダッシュボードを一覧表示します
get_dashboard	名前を指定して、ダッシュボードの完全な設定を取得します
save_dashboard	名前を指定して、分析ダッシュボードを作成または更新します（アップサート）
reorder_dashboards	ダッシュボードの表示順を設定します
delete_dashboard	名前を指定して、ダッシュボードを削除します

テナント管理（リモート MCP のみ）

ツール	説明
list_tenants	この MCP セッションでアクセスできる Okareo のすべての組織を一覧表示します
switch_tenant	アクティブな組織は変更しません。サインイン時に再接続して別の組織を選ぶ方法を返します

ドキュメントとテンプレート

ツール	説明
get_docs	Okareo のドキュメントシステムを照会し、概念やユーザー向けの説明を取得します
get_templates	Okareo でよく使われるパターンのプロンプトテンプレートを取得します（オフラインで動作します）
get_reps_baseline	最新のタグ付き okareo-tools リリースから、REPS エージェント評価のベースライン資料（シナリオバンク、ドライバー、チェック、評価設定）を提供します

---

トラブルシューティング

症状	原因	対処方法
okareo-mcp: command not found	インストールされていないか、PATH に含まれていません	pip install -e .（開発用）を実行するか、uvx okareo-mcp（ユーザー用）を使用します
API キーエラーでサーバーが終了する	OKAREO_API_KEY が設定されていません	次のようにエクスポートします：export OKAREO_API_KEY="..."
Python 3.13 以降で pip install が失敗する	Okareo SDK には Python <3.13 が必要です	Python 3.10～3.12 を使用します
Copilot が接続できない（Docker）	URL が正しくありません	URL の末尾が /sse で、ポートが一致していることを確認します
Cursor が API キーを認識しない	ターミナルではなく Dock から Cursor を起動しています	ターミナルから Cursor を起動します：cursor .

---

コントリビューション

このリポジトリは、内容を厳選した公開ミラーです。正規のソースは Okareo が管理しています。問題の報告を歓迎し、コミュニティからのプルリクエストも検討します。提案された変更のレビューと反映方法については、CONTRIBUTING.md をご覧ください。

ライセンスと商標

Okareo MCP サーバーのソースコードは、Apache License 2.0 のもとでライセンスされています（NOTICE もご覧ください）。

「Okareo」、Okareo のロゴ、および Okareo 製品名は Okareo, Inc. の商標であり、Apache 2.0 ライセンスの対象ではありません。許可されている使用方法については、TRADEMARK.md をご覧ください。