eval-recipes-runner

eval-recipes Runner スキル

目的

Microsoft の eval-recipes ベンチマークを実行し、ベースラインエージェントと比較して amplihack の改善を検証します。

使用するタイミング

• ユーザーが「eval-recipes でテストして」と依頼した場合
• ユーザーが「評価を実行して」または「この変更をベンチマークして」と言った場合
• ユーザーが codex/claude_code と比較して改善を検証したい場合
• スコアの向上を証明するために PR ブランチをテストする場合

機能

eval-recipes ベンチマークを実行して、次のことができます。

1. amplihack の特定のブランチをテストする
2. ベースラインエージェント（codex、claude_code）と比較する
3. 特定のタスク（linkedin_drafting、email_drafting など）を実行する
4. PR の変更前後のスコアを比較する
5. スコアの改善を含むレポートを生成する

仕組み

セットアップ（一度だけ）

# Clone eval-recipes from Microsoft
git clone https://github.com/microsoft/eval-recipes.git ~/eval-recipes
cd ~/eval-recipes

# Copy our agent configs
cp -r $(pwd)/.claude/agents/eval-recipes/* data/agents/

# Install dependencies
uv sync

ベンチマークの実行

特定のブランチをテストする場合：

# Update install.dockerfile to use specific branch
# Then run benchmark
cd ~/eval-recipes
uv run eval_recipes/main.py --agent amplihack --task linkedin_drafting --trials 3

変更前後を比較する場合：

# Test baseline (main)
uv run eval_recipes/main.py --agent amplihack --task linkedin_drafting

# Test PR branch (edit install.dockerfile to checkout PR branch)
uv run eval_recipes/main.py --agent amplihack_pr1443 --task linkedin_drafting

# Compare scores

利用可能なタスク

eval-recipes に含まれる一般的なタスク：

• linkedin_drafting - LinkedIn の投稿を作成するツール（PR #1443 前のスコアは 6.5/100）
• email_drafting - メール用 CLI ツール（変更前のスコアは 26/100）
• arxiv_paper_summarizer - 研究ツール
• github_docs_extractor - ドキュメントツール
• その他多数：~/eval-recipes/data/tasks/

一般的なワークフロー

ユーザーが「eval-recipes でこの変更をテストして」と言った場合：

1. テストするブランチ/PR を特定する
2. そのブランチを使うようエージェント設定を更新する：

   # In .claude/agents/eval-recipes/amplihack/install.dockerfile
   RUN git clone https://github.com/rysweet/...git /tmp/amplihack && \
       cd /tmp/amplihack && \
       git checkout BRANCH_NAME && \
       pip install -e .
   

3. eval-recipes にコピーする：

   cp -r .claude/agents/eval-recipes/* ~/eval-recipes/data/agents/
   

4. ベンチマークを実行する：

   cd ~/eval-recipes
   uv run eval_recipes/main.py --agent amplihack --task TASK_NAME --trials 3
   

5. スコアを報告し、ベースラインと比較する

期待されるスコア

ベースライン（main ブランチ）：

• 全体：40.6/100
• LinkedIn：6.5/100
• メール：26/100

PR #1443（タスク分類）適用後：

• 期待値：55～60/100（+15～20 ポイント）
• LinkedIn：30～40/100（実際のツールを作成）
• メール：45/100（一貫して実行）

使用例

ユーザーの依頼：「eval-recipes で PR #1443 の LinkedIn タスクをテストして」

実行する内容：

1. install.dockerfile を更新して feat/issue-1435-task-classification をチェックアウトする
2. eval-recipes にコピーする：cp -r .claude/agents/eval-recipes/* ~/eval-recipes/data/agents/
3. 実行する：cd ~/eval-recipes && uv run eval_recipes/main.py --agent amplihack --task linkedin_drafting --trials 3
4. 結果を報告する：「スコア：35.2/100（ベースラインの 6.5 から上昇）」

前提条件

• eval-recipes が ~/eval-recipes にクローンされている
• 環境に API キーが設定されている：export ANTHROPIC_API_KEY=sk-ant-...
• Docker がインストールされている（コンテナ化された実行に使用）
• uv がインストールされている：curl -LsSf https://astral.sh/uv/install.sh | sh

注意事項

• ベンチマークの所要時間は、タスクの複雑さに応じて 1 タスクあたり 2～15 分です
• 複数回（3～5 回）実行すると、より信頼性の高い平均値が得られます
• Docker ビルドはキャッシュして高速化できます
• 結果は eval-recipes リポジトリ内の .benchmark_results/ に保存されます

自動化

完全自律型のテストを行う場合：

# Test suite for a PR
tasks="linkedin_drafting email_drafting arxiv_paper_summarizer"
for task in $tasks; do
  uv run eval_recipes/main.py --agent amplihack --task $task --trials 3
done

# Compare results
cat .benchmark_results/*/amplihack/*/score.txt