关于 setup
面向使用 autoresearch 的开发者或团队的实验配置技能。它收集优化目标、评估命令、指标和优化方向来创建实验，也可列出实验及内置评估器。
主要功能
- 01配置实验参数
- 02支持交互式或参数式设置
- 03列出现有实验
- 04列出内置评估器
适用场景
- 01设置 API 速度实验
- 02定义测试通过率优化任务
- 03设置前查看可用评估器
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/setup确认已加载。
详细介绍
/ar:setup — 创建新实验
使用所有必需配置设置新的 autoresearch 实验。
用法
/ar:setup # Interactive mode
/ar:setup engineering api-speed src/api.py "pytest bench.py" p50_ms lower
/ar:setup --list # Show existing experiments
/ar:setup --list-evaluators # Show available evaluators
功能说明
提供参数时
将参数直接传递给设置脚本：
python {skill_path}/scripts/setup_experiment.py \
--domain {domain} --name {name} \
--target {target} --eval "{eval_cmd}" \
--metric {metric} --direction {direction} \
[--evaluator {evaluator}] [--scope {scope}]
未提供参数时（交互模式）
逐项收集参数：
- 领域 — 询问：“是什么领域？（engineering、marketing、content、prompts、custom）”
- 名称 — 询问：“实验名称是什么？（例如：api-speed、blog-titles）”
- 目标文件 — 询问：“要优化哪个文件？”并验证该文件是否存在。
- 评估命令 — 询问：“如何衡量效果？（例如：pytest bench.py、python evaluate.py）”
- 指标 — 询问：“评估会输出什么指标？（例如：p50_ms、ctr_score）”
- 方向 — 询问：“数值越低越好，还是越高越好？”
- 评估器（可选）— 显示内置评估器。询问：“使用内置评估器，还是使用你自己的？”
- 范围 — 询问：“存储在项目中（.autoresearch/），还是用户目录中（~/.autoresearch/）？”
然后使用收集到的参数运行 setup_experiment.py。
列出实验
# Show existing experiments
python {skill_path}/scripts/setup_experiment.py --list
# Show available evaluators
python {skill_path}/scripts/setup_experiment.py --list-evaluators
内置评估器
| 名称 | 指标 | 适用场景 |
|---|---|---|
benchmark_speed | p50_ms（越低越好） | 函数/API 执行时间 |
benchmark_size | size_bytes（越低越好） | 文件、包、Docker 镜像大小 |
test_pass_rate | pass_rate（越高越好） | 测试套件通过率 |
build_speed | build_seconds（越低越好） | 构建/编译/Docker 构建耗时 |
memory_usage | peak_mb（越低越好） | 执行期间的峰值内存 |
llm_judge_content | ctr_score（越高越好） | 标题、名称、描述 |
llm_judge_prompt | quality_score（越高越好） | 系统提示词、Agent 指令 |
llm_judge_copy | engagement_score（越高越好） | 社交媒体帖子、广告文案、电子邮件 |
设置完成后
向用户报告：
- 实验路径和分支名称
- 评估命令是否运行成功，以及基线指标
- 建议：“运行
/ar:ar-run {domain}/{name}开始迭代，或运行/ar:loop {domain}/{name}进入自主模式。”
评论
支持 Markdown