Atla MCP Server

Atla MCP 服务

一种 MCP 服务实现，为大模型提供标准化接口，使其能够与 Atla SDK 交互并使用我们的最先进的评估模型。

功能

• 使用 Selene 1 评估单条回复
• 使用 Selene 1 运行批量评估
• 列出可用的评估指标、创建新指标或按名称获取指标

安装

1. Fork 此仓库，并将其克隆到本地某个目录中。此目录将作为你的 path/to/atla-mcp-server

git clone https://github.com/yourusername/atla-mcp-server.git
cd atla-mcp-server
pwd
# /path/to/atla-mcp-server

2. 如果系统中尚未安装 uv，请将其安装到 /path/to/uv — 你可以在此处找到安装说明。例如，在 MacOS 上：

brew install uv
which uv
# /path/to/uv

3. 将依赖项安装到 /path/to/atla-mcp-server 中的虚拟环境

uv venv
uv sync

4. 将你的 ATLA_API_KEY 添加到环境变量中 — 你可以在此处找到自己的密钥。例如，在 MacOS 上：

export ATLA_API_KEY=<your-atla-api-key> >> ~/.zshrc
source ~/.zshrc
echo $ATLA_API_KEY
# <your-atla-api-key>

• 如果你使用 OpenAI agents 构建，还需要在环境变量中设置 OPENAI_API_KEY

使用方法

与 OpenAI Agents SDK 搭配使用

atla-mcp-server 可按如下方式与 OpenAI agents SDK 搭配使用：

from agents import Agent
from agents.mcp import MCPServerStdio
import os
atla_api_key = os.environ.get("ATLA_API_KEY", "<your_atla_api_key>") # You can also manually set your ATLA_API_KEY here

async with MCPServerStdio(
        params={
            "command": "python",
            "args": ["/path/to/atla-mcp-server/atla-mcp-server.py"],
            "env": {"ATLA_API_KEY":atla_api_key}
        }
    ) as atla_mcp_server:
        # Create an agent with the Atla evaluation server
        agent = Agent(
            name="AssistantWithAtlaEval",
            instructions="""
            You are a helpful assistant. Your goal is to provide high-quality responses to user requests.
            You can use the Atla evaluation tool to improve your responses.
            """,
            mcp_servers=[atla_mcp_server], # You can equip any Agent with Atla's MCP server like this
            model="gpt-4o-mini"
        )

例如，在 /path/to/atla-mcp-server 中运行以下命令：

uv run examples/agent_with_atla_eval.py "Write a one-line poem about the ocean. Evaluate it with atla for cliche and improve it once using the feedback."

你也可以在 examples/agent_notebook.ipynb 中试用此示例的 Notebook 版本。

与 Claude Desktop 搭配使用

• 从此处下载 Claude Desktop（这是本地服务，无法与网页端的 claude.ai 配合使用）
• 点击 Claude → Settings… → Developer → Edit Config
• 将以下内容添加到 claude_desktop_config.json 文件中（确保将 <your-atla-api-key> 替换为你实际的 Atla API 密钥）：

{
	"mcpServers": {
		"atla-mcp-server": {
			"command": "/path/to/uv",
			"args": [
			"--directory",
			"/path/to/atla-mcp-server",
			"run",
			"atla-mcp-server.py"
			],
			"env": {
			"ATLA_API_KEY": "<your-atla-api-key>"
			}
		}
	}
}

• 重启 Claude Desktop 后，你应该会在可用 MCP 服务列表中看到 atla-mcp-server，并且 Claude 可以使用 5 个工具。
• 给 Claude 的提示词示例：Write a poem, evaluate it with atla for helpfulness

与 Cursor 搭配使用

• 将以下内容添加到你的 .cursor/mcp.json 中：

{
	"mcpServers": {
		"atla-mcp-server": {
			"command": "/path/to/uv",
			"args": [
			"--directory",
			"/path/to/atla-mcp-server",
			"run",
			"atla-mcp-server.py"
			],
			"env": {
			"ATLA_API_KEY": "<your-atla-api-key>"
			}
		}
	}
}