Atla MCP Server

Atla MCP サーバー

LLM が Atla SDK を利用して、最先端の評価モデルを使用できるようにする、標準化されたインターフェースを提供する MCP サーバーの実装です。

機能

• Selene 1 で個別の応答を評価します
• Selene 1 で一括評価を実行します
• 利用可能な評価指標を一覧表示し、新しい指標を作成するか、名前で取得します

インストール

1. リポジトリをフォークし、任意のディレクトリにローカルでクローンします。これにより path/to/atla-mcp-server が定義されます

git clone https://github.com/yourusername/atla-mcp-server.git
cd atla-mcp-server
pwd
# /path/to/atla-mcp-server

2. まだインストールしていない場合は、システムの /path/to/uv に uv をインストールします。手順はこちらにあります。たとえば MacOS の場合：

brew install uv
which uv
# /path/to/uv

3. /path/to/atla-mcp-server に仮想環境を作成し、必要なものをインストールします

uv venv
uv sync

4. 環境に ATLA_API_KEY を追加します。キーはこちらで確認できます。たとえば MacOS の場合：

export ATLA_API_KEY=<your-atla-api-key> >> ~/.zshrc
source ~/.zshrc
echo $ATLA_API_KEY
# <your-atla-api-key>

• OpenAI エージェントを使用してビルドする場合は、環境に OPENAI_API_KEY も必要です

使用方法

OpenAI Agents SDK で使用する

atla-mcp-server は、次のように OpenAI agents SDK と組み合わせて使用できます：

from agents import Agent
from agents.mcp import MCPServerStdio
import os
atla_api_key = os.environ.get("ATLA_API_KEY", "<your_atla_api_key>") # You can also manually set your ATLA_API_KEY here

async with MCPServerStdio(
        params={
            "command": "python",
            "args": ["/path/to/atla-mcp-server/atla-mcp-server.py"],
            "env": {"ATLA_API_KEY":atla_api_key}
        }
    ) as atla_mcp_server:
        # Create an agent with the Atla evaluation server
        agent = Agent(
            name="AssistantWithAtlaEval",
            instructions="""
            You are a helpful assistant. Your goal is to provide high-quality responses to user requests.
            You can use the Atla evaluation tool to improve your responses.
            """,
            mcp_servers=[atla_mcp_server], # You can equip any Agent with Atla's MCP server like this
            model="gpt-4o-mini"
        )

例を試すには、/path/to/atla-mcp-server から次を実行します：

uv run examples/agent_with_atla_eval.py "Write a one-line poem about the ocean. Evaluate it with atla for cliche and improve it once using the feedback."

この例のノートブック版も examples/agent_notebook.ipynb で試せます。

Claude Desktop で使用する

• こちらから Claude Desktop をダウンロードします（これはローカルサーバーであり、ウェブ上の claude.ai では動作しません）
• Claude → Settings… → Developer → Edit Config をクリックします
• claude_desktop_config.json ファイルに次を追加します（<your-atla-api-key> を実際の Atla API キーに置き換えてください）：

{
	"mcpServers": {
		"atla-mcp-server": {
			"command": "/path/to/uv",
			"args": [
			"--directory",
			"/path/to/atla-mcp-server",
			"run",
			"atla-mcp-server.py"
			],
			"env": {
			"ATLA_API_KEY": "<your-atla-api-key>"
			}
		}
	}
}

• Claude Desktop を再起動すると、利用可能な MCP サーバーの一覧に atla-mcp-server が表示され、Claude で使用できるツールが 5 つ表示されます。
• Claude へのプロンプトの例：Write a poem, evaluate it with atla for helpfulness

Cursor で使用する

• .cursor/mcp.json に次を追加します：

{
	"mcpServers": {
		"atla-mcp-server": {
			"command": "/path/to/uv",
			"args": [
			"--directory",
			"/path/to/atla-mcp-server",
			"run",
			"atla-mcp-server.py"
			],
			"env": {
			"ATLA_API_KEY": "<your-atla-api-key>"
			}
		}
	}
}