mcpField
S
skillsbench

skillsbench

github.com/benchflow-aiテスト・品質1.9k48 回インストール2 週間前に更新
リポジトリ

skillsbench について

SkillsBenchは、AIエージェントのスキル活用能力を評価するベンチマークです。タスク設計と検証の要件を定め、BenchFlow CLIを使うワークフローを示します。

主な機能

  1. 01エージェントのスキル活用評価
  2. 02実際のワークフローに基づくタスク設計基準
  3. 03成果ベースの決定的な検証
  4. 04再利用可能なスキルの要件
  5. 05BenchFlowのタスクワークフロー

活用シーン

  1. 01スキル使用時のエージェント性能比較
  2. 02実業務を想定したベンチマークタスク設計
  3. 03タスク結果の決定的な検証

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/benchflow-ai/skillsbench --skill skillsbench

インストール後、Claude Code で/skillsbenchを入力して読み込まれたか確認します。

詳細

SkillsBench

AI エージェントがスキルをどの程度活用できるかを評価するベンチマークです。

公式リソース

クイックワークフロー

# 1. Install and initialize a task
# v1.1 docs target BenchFlow 0.6.2; uv installs the current stable CLI.
uv tool install benchflow
bench tasks init <task-id>

# 2. Write files (see CONTRIBUTING.md for templates)

# 3. Validate
bench tasks check tasks/my-task
bench eval run --tasks-dir tasks/my-task --agent oracle --sandbox docker  # Must pass 100%

# 4. Test with agent (with skills)
bench eval run --tasks-dir tasks/my-task --agent claude-agent-acp \
  --model <model> --skill-mode with-skill \
  --skills-dir tasks/my-task/environment/skills/

# 5. Test WITHOUT skills
bench eval run --tasks-dir tasks/my-task --agent claude-agent-acp \
  --model <model> --skill-mode no-skill

# 6. Submit PR (see PR template)

タスクの要件

  • 実際に人々が行う現実的なワークフローであること
  • スキルを使うことで、使わない場合よりも測定可能なほど簡単になること
  • task.md のプロンプト本文と oracle/solve.sh は人間が作成すること
  • 決定論的で、成果に基づいた検証であること
  • スキルが汎用性を持ち、再利用可能であること

参考資料

コメント

Markdown 対応