Zentrix Agentic Workbench

Kimi 多工具数据集生成流水线

本项目提供了一套完整的流水线，用于生成高质量、均衡的数据集，以训练和评估具备多工具调用与文件访问能力的对话式 AI 模型。该流水线结合了合成数据生成，以及外部数据集的集成与规范化。

最终输出为可直接使用的均衡训练集，位于 final_datasets/training_set.jsonl。

项目结构

• invocation_dataset.py：为多工具软件调用任务生成合成对话。
• file_access.py：为文件访问任务生成合成对话。
• merge_external_datasets.py：从 Hugging Face 下载三个外部工具使用数据集并进行规范化。
• merge_and_unify.py：将合成数据集和外部数据集整合为两个主要文件：multi_tool.jsonl 和 file_access.jsonl。
• validate_datasets.py：验证合并后数据集的架构，并进行最终规范化。
• create_training_set.py：合并两个数据集中的所有记录，生成最终训练集，并保留 100% 的数据。
• main.py：主脚本，提供两种模式：执行完整流水线（从头生成数据），或根据现有数据集快速创建训练集。

运行方法

快速创建训练集

如果 final_datasets/ 中已有处理好的数据集，请使用：

python main.py --merge-only

此命令使用现有数据快速创建训练集，跳过生成和下载步骤。适用于反复调整最终数据集，或确保纳入 100% 数据的场景。

执行完整流水线

若要从头生成所有内容，包括合成数据和外部数据集下载，请运行：

python main.py

此命令按顺序执行完整流水线：

1. 生成合成数据：运行 invocation_dataset.py 和 file_access.py
2. 下载外部数据：运行 merge_external_datasets.py，从 Hugging Face 下载数据到 downloaded_datasets/
3. 合并与整合：运行 merge_and_unify.py，将数据源整合到 final_datasets/multi_tool.jsonl 和 file_access.jsonl
4. 验证：运行 validate_datasets.py，清理并验证合并后的文件
5. 创建训练集：运行 create_training_set.py，生成 final_datasets/training_set.jsonl

其他选项

• --force：跳过文件覆盖提示
• --skip-downloads：跳过外部数据集下载（仅使用合成数据）
• --merge-only：快速模式，仅使用现有数据创建训练集
• --num-samples：控制要生成的合成样本数量

最终输出文件

• final_datasets/training_set.jsonl：可用于模型训练的最终数据集。包含多工具和文件访问任务中的全部记录（100%），并经过合并和随机打乱。
• final_datasets/multi_tool.jsonl：包含所有多工具调用对话的大型未抽样集合。
• final_datasets/file_access.jsonl：包含所有文件访问对话的较小未抽样集合。

数据集评估

本项目包含使用 MCP.so 评估数据集质量的工具：

快速开始

python evaluate_with_mcp.py --input final_datasets/training_set.jsonl \
                           --mcp_url https://your-endpoint.mcp.so/serve \
                           --api_key YOUR_API_KEY \
                           --mode messages \
                           --limit 100

评估流程

1. 初步测试：先使用小规模样本（--limit 100）验证一切正常
2. 分析：检查准确率指标和失败模式
3. 完整评估：运行完整数据集评估
4. 迭代：根据结果微调数据集

选项

• --mode：选择 'messages'（OpenAI 风格）或 'prompt' 格式
• --limit：要评估的样本数量（评估完整数据集时可省略）
• --api_key：你的 MCP.so API 密钥
• --mcp_url：你的 MCP 端点 URL

跟踪的指标

• 精确匹配准确率
• 响应结构一致性
• 工具调用准确率
• 常见失败模式

---

作者： royde 日期： 2025 年 9 月