skill-optimizer について
モデルが他のスキルをどれだけ確実に適用するかを評価・改善するスキルです。ベンチマーク比較、失敗分析、狙いを定めた修正、リリース基準を通じて挙動や回帰を追跡します。
主な機能
- 01スキル適用時と基準値の測定
- 02失敗や回帰の分類
- 03トリガーと例の改善
- 04評価結果の比較
- 05リリース時のガードレール設定
活用シーン
- 01モデルが繰り返し見落とす基準の診断
- 02コンテキスト制限下でのスキル検索改善
- 03スキルによる出力品質低下の確認
- 04スキル更新に向けた評価基準の設定
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ mcollina/ skills --skill skill-optimizerインストール後、Claude Code で/skill-optimizerを入力して読み込まれたか確認します。
同梱ファイル
SKILL.md と一緒にインストールされる参考資料やスクリプト。
tile.jsonrules/activation-design.mdbenchmark-loop.mdcontext-budget.mdregression-triage.mdrelease-gates.md詳細
使用する場面
次のような場合にこのスキルを使用します。
- モデルがスキルを実際に適用するかどうかを改善する
- すべてのモデルで一部の基準が失敗する原因を診断する
- スキルによって出力の品質が低下するのを防ぐ
- コンテキストが逼迫している状況でも検索されやすいよう、スキルのテキストをリファクタリングする
- 再現可能なベンチマークの反復実行とリリースゲートを構築する
最適化ループ(デフォルトのワークフロー)
- ベースラインとスキル有効時の動作を測定する(モデルごと、シナリオごと、基準ごと)
- 失敗パターンを特定する:
- 全モデルでの失敗(スキル有効時に 0%)
- 特定モデルの弱点
- リグレッション(差分がマイナス)
- 目立ちやすさを高めるよう編集する:
- 明示的なトリガーを追加する
- 具体的で一体化した例を追加する
- チェックリストと判断ルールを簡潔にする
- 評価を再実行し、差分を比較する
- ガードレールを設けてリリースする(文書化されたゲート+実行履歴+フォローアップ課題)
使用方法
詳しい手順とテンプレートについては、各ルールファイルを参照してください。
- rules/benchmark-loop.md - ベンチマークのエンドツーエンドのループと採点
- rules/activation-design.md - 検索と指示の取り込みを改善する
- rules/context-budget.md - 挙動を損なわずにトークンコストを削減する
- rules/regression-triage.md - スキル有効時のリグレッションを診断して修正する
- rules/release-gates.md - スキルの更新をリリースする前の可否判断基準
実践的なヒューリスティック
- あいまいな推奨事項を多数設けるより、シグナルの強いルールを少数に絞る
- 影響を受けやすく重要性の高い挙動は、最上位のチェックリストに記載する
- よくあるシナリオごとに、少なくとも 1 つの一体化した例を含める
- 省略してはならない内容を明示する
- スキル有効時と無効時の比較で、改善点と悪化点を追跡する
コメント
Markdown 対応