mcp-ml-lab

mcp-ml-lab

让 AI Agent 端到端运行真实的机器学习实验。

一个 MCP 服务，赋予 Claude（或任何支持 MCP 的 AI Agent）以下能力：分析 CSV、定义机器学习任务、使用 Optuna 调优 XGBoost 和 LightGBM，并生成包含特征重要性的 Markdown 报告——所有操作均可通过自然语言完成。

为什么要做这个项目

现有与机器学习相关的 MCP 服务都只是封装 MLflow、ZenML 或 Weights & Biases，并以只读方式提供功能——Agent 可以浏览实验历史，却无法真正运行任何内容。mcp-ml-lab 填补了这一空白：它让 Agent 能够根据用户的自然语言请求，执行完整的实验流程。

用户输入“在 titanic.csv 上训练一个模型来预测生存情况”时，不应该需要了解 XGBoost 是什么、什么是交叉验证，或如何编写超参数搜索。Agent 会处理所有这些事情——mcp-ml-lab 是实现这一目标的工具层。

快速开始

pip install mcp-ml-lab

添加到你的 Claude Desktop 配置中（macOS 上为 ~/Library/Application Support/Claude/claude_desktop_config.json）：

{
  "mcpServers": {
    "ml-lab": {
      "command": "mcp-ml-lab"
    }
  }
}

重启 Claude Desktop。现在即可使用以下五个工具。

示例查询

在已连接 mcp-ml-lab 的 Claude Desktop 中试试这些问题：

• “分析这个 CSV，并告诉我是否存在类别不平衡”
• “用 60 秒调优时间，比较 XGBoost 和 LightGBM 在 titanic.csv 上的表现”
• “告诉我获胜模型使用的排名前 10 的特征”
• “我的最近三次 wine 数据集实验结果如何？”

工具

工具	功能
inspect_data	分析 CSV——形状、数据类型、空值、汇总统计、类别平衡情况
define_task	注册机器学习任务（CSV + 目标列 + 分类/回归）
run_experiment	训练一个或多个模型，可选使用 Optuna 调优
get_results	生成包含指标、超参数和特征重要性的 Markdown 报告
compare_runs	并排比较多个实验

每个工具的完整签名都写在其文档字符串中，并会自动向大模型说明自身功能。

工作原理

Claude Desktop  ───MCP/stdio───  mcp-ml-lab server
                                  │
                                  ├── data.py        CSV loading, schema inference, preprocessor
                                  ├── trainers/      Pluggable XGBoost + LightGBM adapters
                                  ├── search.py      Stratified CV + Optuna TPE tuning
                                  ├── metrics.py     Accuracy, F1, AUC, log loss
                                  ├── storage.py     SQLite via SQLAlchemy 2.0
                                  └── reporting.py   Markdown report generation

所有实验和试验都会保存到 ~/.mcp-ml-lab/store.db，以便 Agent 在不同会话中引用之前的运行记录。

完整的设计说明请参阅 ARCHITECTURE.md。

路线图

v0.1.0 支持使用 XGBoost 和 LightGBM 进行分类。计划在 v0.2.0 及更高版本中推出：

• 回归任务
• 时间序列预测（集成 sktime / darts）
• 深度学习基线（pytorch-tabular）
• Optuna 多目标搜索（准确率 × 延迟 × 模型大小）
• 持久化模型产物，并支持通过 Docker 复现
• 排列特征重要性（相比增益重要性，不存在偏差）
• 导出 Notebook——生成可复现获胜运行的 Jupyter Notebook

欢迎提交问题和 PR。

开发

git clone https://github.com/rohithraju-ops/mcp-ml-lab.git
cd mcp-ml-lab
python -m venv .venv && source .venv/bin/activate
pip install -e ".[dev]"
pytest -v

使用 MCP Inspector 进行本地调试最为方便：

npx @modelcontextprotocol/inspector mcp-ml-lab

许可证

MIT。