codabench-mcp

codabench-mcp

Codabench REST API 用の MCP サーバーです。AI エージェントが、コンペティションの検索、ルールの確認、データのダウンロード、提出、提出状況の確認、リーダーボードの閲覧まで、参加者向けの ML ベンチマークワークフローを一通り実行できます。

機能

参加者向けのフローに特化したツールを用意しています。

• search_competitions、get_competition、list_competition_phases、 get_phase、get_competition_rules、list_competition_tasks、get_task
• download_dataset（ストリーミング＋SHA-256）
• list_my_submissions、get_submission、get_submission_logs
• submit_to_phase（Codabench の3段階アップロードフローに対応）
• poll_submission（バックオフ＋タイムアウト＋エラーとして扱わない「still_running」）
• get_leaderboard、get_my_profile
• codabench_request — 汎用 REST API の代替手段（デフォルトは GET のみ）

認証

Codabench API トークンが必要です。取得方法は2つあります。

1. Swagger UI（推奨）

1. https://www.codabench.org/api/docs/ にアクセスします
2. api-token-auth エンドポイントを見つけて → Try it out を選択します
3. ユーザー名とパスワードを POST します
4. レスポンスから token の値をコピーします

2. curl

curl -X POST https://www.codabench.org/api/api-token-auth/ \
  -H "Content-Type: application/json" \
  -d '{"username":"YOUR_USERNAME","password":"YOUR_PASSWORD"}'

レスポンスは {"token": "..."} です。

インストール

uvx codabench-mcp

最新リリースではなく、開発中の main ブランチを実行するには、次のようにします。

uvx --from git+https://github.com/harshitAgr/codabench-mcp codabench-mcp

または、開発用には次のようにします。

git clone https://github.com/harshitAgr/codabench-mcp.git
cd codabench-mcp
uv sync
uv run codabench-mcp  # requires CODABENCH_API_TOKEN

MCP クライアントの設定

Claude Desktop（claude_desktop_config.json）

{
  "mcpServers": {
    "codabench": {
      "command": "uvx",
      "args": ["codabench-mcp"],
      "env": {
        "CODABENCH_API_TOKEN": "paste-your-token-here"
      }
    }
  }
}

Claude Code（プラグインマーケットプレイス）

/plugin marketplace add harshitAgr/codabench-mcp
/plugin install codabench-mcp@codabench-mcp

次に、Claude Code を起動するシェルでトークンをエクスポートします。

export CODABENCH_API_TOKEN=paste-your-token-here

Claude Code（手動）

プラグインレイヤーを使わない場合は、次のようにします。

claude mcp add codabench \
  --env CODABENCH_API_TOKEN=paste-your-token-here \
  -- uvx codabench-mcp

環境変数

変数	必須	デフォルト	目的
CODABENCH_API_TOKEN	はい	—	DRF トークン。Authorization: Token <token> として送信されます
CODABENCH_BASE_URL	いいえ	https://www.codabench.org	テスト用の上書き設定
CODABENCH_ALLOW_WRITE_RAW	いいえ	0	1 に設定すると、codabench_request で GET 以外のメソッドを許可します
CODABENCH_MAX_DOWNLOAD_BYTES	いいえ	5368709120（5 GB）	download_dataset の上限

開発

uv sync
uv run pytest                              # unit tests, no network
uv run ruff check .                        # lint
uv run ruff format --check .               # format check

ライセンス

MIT — LICENSE を参照してください。

_{mcp-name: io.github.harshitAgr/codabench-mcp}