mcpField
S
skill-optimizer

skill-optimizer

github.com/mcollinaエージェントワークフロー2.0k1.4k 回インストール2 週間前に更新
リポジトリ

skill-optimizer について

モデルが他のスキルをどれだけ確実に適用するかを評価・改善するスキルです。ベンチマーク比較、失敗分析、狙いを定めた修正、リリース基準を通じて挙動や回帰を追跡します。

主な機能

  1. 01スキル適用時と基準値の測定
  2. 02失敗や回帰の分類
  3. 03トリガーと例の改善
  4. 04評価結果の比較
  5. 05リリース時のガードレール設定

活用シーン

  1. 01モデルが繰り返し見落とす基準の診断
  2. 02コンテキスト制限下でのスキル検索改善
  3. 03スキルによる出力品質低下の確認
  4. 04スキル更新に向けた評価基準の設定

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/mcollina/skills --skill skill-optimizer

インストール後、Claude Code で/skill-optimizerを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

tile.json
rules/
activation-design.md
benchmark-loop.md
context-budget.md
regression-triage.md
release-gates.md

詳細

使用する場面

次のような場合にこのスキルを使用します。

  • モデルがスキルを実際に適用するかどうかを改善する
  • すべてのモデルで一部の基準が失敗する原因を診断する
  • スキルによって出力の品質が低下するのを防ぐ
  • コンテキストが逼迫している状況でも検索されやすいよう、スキルのテキストをリファクタリングする
  • 再現可能なベンチマークの反復実行とリリースゲートを構築する

最適化ループ(デフォルトのワークフロー)

  1. ベースラインとスキル有効時の動作を測定する(モデルごと、シナリオごと、基準ごと)
  2. 失敗パターンを特定する:
    • 全モデルでの失敗(スキル有効時に 0%)
    • 特定モデルの弱点
    • リグレッション(差分がマイナス)
  3. 目立ちやすさを高めるよう編集する:
    • 明示的なトリガーを追加する
    • 具体的で一体化した例を追加する
    • チェックリストと判断ルールを簡潔にする
  4. 評価を再実行し、差分を比較する
  5. ガードレールを設けてリリースする(文書化されたゲート+実行履歴+フォローアップ課題)

使用方法

詳しい手順とテンプレートについては、各ルールファイルを参照してください。

実践的なヒューリスティック

  • あいまいな推奨事項を多数設けるより、シグナルの強いルールを少数に絞る
  • 影響を受けやすく重要性の高い挙動は、最上位のチェックリストに記載する
  • よくあるシナリオごとに、少なくとも 1 つの一体化した例を含める
  • 省略してはならない内容を明示する
  • スキル有効時と無効時の比較で、改善点と悪化点を追跡する

コメント