mcpField
S
skillsbench

skillsbench

github.com/benchflow-ai测试与质量1.9k48 次安装2 周前更新
代码仓库

关于 skillsbench

SkillsBench 是用于评估 AI Agent 使用技能效果的基准项目，规定了任务设计与验证要求，并介绍使用 BenchFlow CLI 的工作流程。

主要功能

  1. 01评估 Agent 的技能使用效果
  2. 02真实工作流的任务设计标准
  3. 03基于结果的确定性验证
  4. 04可复用技能的要求
  5. 05BenchFlow 任务工作流程

适用场景

  1. 01比较 Agent 使用技能时的表现
  2. 02为真实工作流设计基准任务
  3. 03确定性地验证任务结果

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/benchflow-ai/skillsbench --skill skillsbench

安装后在 Claude Code 中输入/skillsbench确认已加载。

详细介绍

SkillsBench

评估 AI Agent 使用技能效果的基准测试。

官方资源

快速工作流

# 1. Install and initialize a task
# v1.1 docs target BenchFlow 0.6.2; uv installs the current stable CLI.
uv tool install benchflow
bench tasks init <task-id>

# 2. Write files (see CONTRIBUTING.md for templates)

# 3. Validate
bench tasks check tasks/my-task
bench eval run --tasks-dir tasks/my-task --agent oracle --sandbox docker  # Must pass 100%

# 4. Test with agent (with skills)
bench eval run --tasks-dir tasks/my-task --agent claude-agent-acp \
  --model <model> --skill-mode with-skill \
  --skills-dir tasks/my-task/environment/skills/

# 5. Test WITHOUT skills
bench eval run --tasks-dir tasks/my-task --agent claude-agent-acp \
  --model <model> --skill-mode no-skill

# 6. Submit PR (see PR template)

任务要求

  • 符合人们实际操作的真实工作流
  • 与不使用技能相比，使用技能能带来可衡量的便利
  • task.md 提示词正文和 oracle/solve.sh 必须由人工编写
  • 基于结果的验证必须具有确定性
  • 技能必须具备通用性且可重复使用

参考资料

评论

支持 Markdown