mcpField
S
setup

setup

github.com/alirezarezvaniエージェントワークフロー29.0k1.5k 回インストール今日更新
リポジトリ

setup について

autoresearch を使う開発者やチーム向けの実験設定スキルです。対象、評価コマンド、指標、最適化の方向を集めて実験を設定し、実験や組み込み評価器の一覧も表示します。

主な機能

  1. 01実験パラメーターの設定
  2. 02対話式と引数指定での設定
  3. 03既存実験の一覧表示
  4. 04組み込み評価器の一覧表示

活用シーン

  1. 01API 速度実験の設定
  2. 02テスト合格率の最適化設定
  3. 03設定前の評価器確認

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/alirezarezvani/claude-skills --skill setup

インストール後、Claude Code で/setupを入力して読み込まれたか確認します。

詳細

/ar:setup — 新しい実験を作成

必要な設定をすべて含む、新しい autoresearch 実験をセットアップします。

使用方法

/ar:setup                                    # Interactive mode
/ar:setup engineering api-speed src/api.py "pytest bench.py" p50_ms lower
/ar:setup --list                             # Show existing experiments
/ar:setup --list-evaluators                  # Show available evaluators

実行内容

引数が指定された場合

引数をそのままセットアップスクリプトに渡します。

python {skill_path}/scripts/setup_experiment.py \
  --domain {domain} --name {name} \
  --target {target} --eval "{eval_cmd}" \
  --metric {metric} --direction {direction} \
  [--evaluator {evaluator}] [--scope {scope}]
引数がない場合（対話モード）

各パラメーターを一つずつ確認します。

  1. ドメイン — 質問：「どのドメインですか？（engineering、marketing、content、prompts、custom）」
  2. 名前 — 質問：「実験名は何ですか？（例：api-speed、blog-titles）」
  3. 対象ファイル — 質問：「最適化するファイルはどれですか？」存在することを確認します。
  4. 評価コマンド — 質問：「どのように測定しますか？（例：pytest bench.py、python evaluate.py）」
  5. メトリクス — 質問：「評価で出力されるメトリクスは何ですか？（例：p50_ms、ctr_score）」
  6. 方向 — 質問：「値は小さいほどよいですか、それとも大きいほどよいですか？」
  7. 評価器（任意）— 組み込みの評価器を表示します。質問：「組み込みの評価器を使いますか、それとも独自のものを使いますか？」
  8. 保存先 — 質問：「プロジェクト（.autoresearch/）とユーザー（~/.autoresearch/）のどちらに保存しますか？」

次に、収集したパラメーターを使って setup_experiment.py を実行します。

一覧表示
# Show existing experiments
python {skill_path}/scripts/setup_experiment.py --list

# Show available evaluators
python {skill_path}/scripts/setup_experiment.py --list-evaluators

組み込み評価器

名前メトリクス用途
benchmark_speedp50_ms（小さいほどよい）関数/API の実行時間
benchmark_sizesize_bytes（小さいほどよい）ファイル、バンドル、Docker イメージのサイズ
test_pass_ratepass_rate（大きいほどよい）テストスイートの合格率
build_speedbuild_seconds（小さいほどよい）ビルド/コンパイル/Docker ビルドの所要時間
memory_usagepeak_mb（小さいほどよい）実行中のピークメモリ使用量
llm_judge_contentctr_score（大きいほどよい）見出し、タイトル、説明文
llm_judge_promptquality_score（大きいほどよい）システムプロンプト、エージェントへの指示
llm_judge_copyengagement_score（大きいほどよい）ソーシャル投稿、広告コピー、メール

セットアップ後

ユーザーに次の内容を報告します。

  • 実験のパスとブランチ名
  • 評価コマンドが動作したかどうか、およびベースラインのメトリクス
  • 次のコマンドを提案します：「反復を開始するには /ar:ar-run {domain}/{name} を実行し、自律モードを使うには /ar:loop {domain}/{name} を実行してください。」

コメント

Markdown 対応