mcpField
C
codabench-mcp

codabench-mcp

本地服务
github.com/harshitAgr科研与教育027 周前更新
代码仓库

关于 codabench-mcp

codabench-mcp 是供 AI Agent 参加 Codabench 机器学习基准赛的 MCP 服务，覆盖竞赛发现、数据集下载、结果提交和排行榜查看等参赛流程。

主要功能

  1. 01搜索竞赛并查看规则
  2. 02浏览阶段与任务
  3. 03下载数据集并校验 SHA-256
  4. 04提交文件并跟踪状态
  5. 05查看排行榜和个人资料
  6. 06通过以 GET 为默认的接口访问 REST API

适用场景

  1. 01寻找合适的机器学习基准赛并了解规则
  2. 02下载竞赛数据集以供本地分析
  3. 03提交基准赛结果并查看处理状态
  4. 04查看排行榜及提交日志

MCP 相关

将 Codabench REST API 操作作为工具提供给 MCP 客户端。认证需要 Codabench API token。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "harshitagr-codabench": {
      "command": "uvx",
      "args": [
        "codabench-mcp"
      ],
      "env": {
        "CODABENCH_API_TOKEN": "<CODABENCH_API_TOKEN>"
      }
    }
  }
}
启动命令uvx codabench-mcp
需要配置的环境变量
CODABENCH_API_TOKEN密钥DRF token for Codabench. Obtain via https://www.codabench.org/api/docs/ > api-token-auth > Try it out.

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
pypicodabench-mcp0.1.1

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

codabench-mcp

适用于 Codabench REST API 的 MCP 服务。让 AI agent 执行完整的参赛者机器学习基准测试工作流：发现竞赛、阅读规则、下载数据、提交结果、轮询状态、查看排行榜。

功能

为参赛者流程精选的工具：

  • search_competitions、get_competition、list_competition_phases、 get_phase、get_competition_rules、list_competition_tasks、get_task
  • download_dataset（流式传输 + SHA-256）
  • list_my_submissions、get_submission、get_submission_logs
  • submit_to_phase（处理 Codabench 的三步上传流程）
  • poll_submission（退避 + 超时 + 非错误状态“仍在运行”）
  • get_leaderboard、get_my_profile
  • codabench_request — 通用 REST 备用入口（默认仅支持 GET）

身份验证

你需要 Codabench API 令牌。获取方式有两种：

1. Swagger UI（推荐）
  1. 访问 https://www.codabench.org/api/docs/
  2. 找到 api-token-auth 端点 → Try it out
  3. POST 你的用户名和密码
  4. 从响应中复制 token 值
2. curl
curl -X POST https://www.codabench.org/api/api-token-auth/ \
  -H "Content-Type: application/json" \
  -d '{"username":"YOUR_USERNAME","password":"YOUR_PASSWORD"}'

响应为 {"token": "..."}。

安装

uvx codabench-mcp

若要运行最新的 main 分支，而不是最新发布版本：

uvx --from git+https://github.com/harshitAgr/codabench-mcp codabench-mcp

或用于开发：

git clone https://github.com/harshitAgr/codabench-mcp.git
cd codabench-mcp
uv sync
uv run codabench-mcp  # requires CODABENCH_API_TOKEN

配置 MCP 客户端

Claude Desktop（claude_desktop_config.json）
{
  "mcpServers": {
    "codabench": {
      "command": "uvx",
      "args": ["codabench-mcp"],
      "env": {
        "CODABENCH_API_TOKEN": "paste-your-token-here"
      }
    }
  }
}
Claude Code（插件市场）
/plugin marketplace add harshitAgr/codabench-mcp
/plugin install codabench-mcp@codabench-mcp

然后在启动 Claude Code 的 shell 中导出你的令牌：

export CODABENCH_API_TOKEN=paste-your-token-here
Claude Code（手动配置）

如果你希望跳过插件层：

claude mcp add codabench \
  --env CODABENCH_API_TOKEN=paste-your-token-here \
  -- uvx codabench-mcp

环境变量

变量必填默认值用途
CODABENCH_API_TOKEN是—DRF 令牌，以 Authorization: Token <token> 形式发送
CODABENCH_BASE_URL否https://www.codabench.org测试时使用的覆盖值
CODABENCH_ALLOW_WRITE_RAW否0设置为 1，允许 codabench_request 使用非 GET 方法
CODABENCH_MAX_DOWNLOAD_BYTES否5368709120 (5 GB)download_dataset 的大小上限

开发

uv sync
uv run pytest                              # unit tests, no network
uv run ruff check .                        # lint
uv run ruff format --check .               # format check

许可证

MIT — 参见 LICENSE。

mcp-name: io.github.harshitAgr/codabench-mcp

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。