Zentrix Agentic Workbench

Kimi マルチツールデータセット生成パイプライン

このプロジェクトには、マルチツール機能とファイルアクセス機能を備えた会話型 AI モデルのトレーニングと評価に使用する、高品質でバランスの取れたデータセットを生成するための包括的なパイプラインが含まれています。合成データの生成と、外部データセットの統合・正規化を組み合わせています。

最終出力は、すぐに使用できるバランスの取れたトレーニングセットで、final_datasets/training_set.jsonl にあります。

プロジェクト構成

• invocation_dataset.py：マルチツールソフトウェア呼び出しタスク用の合成ダイアログを生成します。
• file_access.py：ファイルアクセス タスク用の合成ダイアログを生成します。
• merge_external_datasets.py：Hugging Face から3つの外部ツール使用データセットをダウンロードして正規化します。
• merge_and_unify.py：合成データセットと外部データセットを、multi_tool.jsonl と file_access.jsonl の2つのメインファイルに統合します。
• validate_datasets.py：統合したデータセットのスキーマを検証し、最終的な正規化を実行します。
• create_training_set.py：両方のデータセットの全レコードを結合し、データを100％保持した最終トレーニングセットを作成します。
• main.py：2つのモードを備えたメインスクリプトです。パイプライン全体の実行（データを一から生成）と、既存のデータセットからの簡易トレーニングセット作成を選択できます。

実行方法

簡易トレーニングセット作成

処理済みのデータセットがすでに final_datasets/ にある場合は、次を使用します。

python main.py --merge-only

既存のデータを使ってトレーニングセットをすばやく作成し、生成とダウンロードを省略します。最終データセットの反復作業や、データを100％含める必要がある場合に使用してください。

パイプライン全体の実行

合成データの生成や外部データのダウンロードを含め、すべてを一から生成するには、次を実行します。

python main.py

次の順序でパイプライン全体を実行します。

1. 合成データを生成：invocation_dataset.py と file_access.py を実行します
2. 外部データをダウンロード：merge_external_datasets.py を実行し、Hugging Face から downloaded_datasets/ にダウンロードします
3. 統合・一本化：merge_and_unify.py を実行し、各データソースを final_datasets/multi_tool.jsonl と file_access.jsonl にまとめます
4. 検証：validate_datasets.py を実行して、統合したファイルをクリーンアップし、検証します
5. トレーニングセットを作成：create_training_set.py を実行して、final_datasets/training_set.jsonl を生成します

その他のオプション

• --force：ファイルの上書き確認を省略します
• --skip-downloads：外部データセットのダウンロードを省略します（合成データのみを使用）
• --merge-only：簡易モードです。既存のデータからトレーニングセットのみを作成します
• --num-samples：生成する合成サンプル数を指定します

最終出力ファイル

• final_datasets/training_set.jsonl：モデルのトレーニングにすぐに使用できる最終データセットです。マルチツールタスクとファイルアクセス タスクの両方のレコードを100％含み、結合してシャッフルされています。
• final_datasets/multi_tool.jsonl：サンプリングされていない、すべてのマルチツール呼び出しダイアログを含む大規模なコレクションです。
• final_datasets/file_access.jsonl：サンプリングされていない、すべてのファイルアクセス ダイアログを含む小規模なコレクションです。

データセットの評価

このプロジェクトには、MCP.so を使用してデータセットの品質を評価するツールが含まれています。

クイックスタート

python evaluate_with_mcp.py --input final_datasets/training_set.jsonl \
                           --mcp_url https://your-endpoint.mcp.so/serve \
                           --api_key YOUR_API_KEY \
                           --mode messages \
                           --limit 100

評価プロセス

1. 初期テスト：まず少量のサンプル（--limit 100）を使い、すべてが正常に動作することを確認します
2. 分析：精度指標と失敗パターンを確認します
3. 全体評価：データセット全体の評価を実行します
4. 反復：結果に基づいてデータセットを調整します

オプション

• --mode：'messages'（OpenAI 形式）または 'prompt' 形式を選択します
• --limit：評価するサンプル数です（データセット全体を評価する場合は省略します）
• --api_key：お使いの MCP.so API キーです
• --mcp_url：MCP エンドポイントの URL です

測定指標

• 完全一致精度
• 応答構造の一貫性
• ツール呼び出し精度
• 一般的な失敗パターン

---

作成者： royde 日付： 2025年9月