mcpField
D
dual-axis-skill-reviewer

dual-axis-skill-reviewer

github.com/mphinanceテスト・品質3284 回インストール5 日前に更新
リポジトリ

dual-axis-skill-reviewer について

dual-axis-skill-reviewerは、再現性のあるスキル評価を行うPythonツールです。決定論的な検査とLLMによる定性的レビューを組み合わせ、重みを設定してスコアを統合します。

主な機能

  1. 01決定論的な軸別採点
  2. 02テストの任意実行
  3. 03LLMレビュープロンプトの生成
  4. 04重み付きレビュー結果の統合
  5. 05プロジェクト横断レビュー

活用シーン

  1. 01個別スキルの採点
  2. 02複数スキルの一括レビュー
  3. 0390点未満の改善点の特定

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/mphinance/alpha-skills --skill dual-axis-skill-reviewer

インストール後、Claude Code で/dual-axis-skill-reviewerを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

README.md
references/
llm_review_schema.md
scoring_rubric.md
scripts/
run_dual_axis_review.py
scripts/tests/
conftest.py
test_run_dual_axis_review.py

詳細

デュアル軸スキルレビュアー

デュアル軸レビュアースクリプトを実行し、レポートを reports/ に保存します。

このスクリプトは以下をサポートします:

  • ランダムまたは固定のスキル選択
  • オプションのテスト実行を伴う自動軸スコアリング
  • LLM プロンプトの生成
  • 重み付き最終スコアによる LLM JSON レビューのマージ
  • --project-root によるプロジェクト横断レビュー

使用する場面

  • skills/*/SKILL.md 内の単一スキルに対して再現可能なスコアリングが必要な場合。
  • 最終スコアが 90 未満の場合に改善項目が必要な場合。
  • 決定論的チェックと定性的な LLM コード/コンテンツレビューの両方が必要な場合。
  • コマンドラインから別のプロジェクトのスキルをレビューする必要がある場合。

前提条件

  • Python 3.9+
  • uv (推奨 — インラインメタデータ経由で pyyaml 依存関係を自動解決します)
  • テストを行う場合: 対象プロジェクトで uv sync --extra dev または同等のコマンド
  • LLM 軸のマージを行う場合: LLM レビュースキーマに準拠した JSON ファイル (Resources を参照)

ワークフロー

コンテキストに基づいて正しいスクリプトパスを決定します:

  • 同一プロジェクト: skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py
  • グローバルインストール: ~/.claude/skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py

以下の例ではプレースホルダーとして REVIEWER を使用します。一度だけ設定してください:

# If reviewing from the same project:
REVIEWER=skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py

# If reviewing another project (global install):
REVIEWER=~/.claude/skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py
ステップ 1: 自動軸の実行 + LLM プロンプトの生成
uv run "$REVIEWER" \
  --project-root . \
  --emit-llm-prompt \
  --output-dir reports/

別のプロジェクトをレビューする場合は、--project-root をそのプロジェクトに向けます:

uv run "$REVIEWER" \
  --project-root /path/to/other/project \
  --emit-llm-prompt \
  --output-dir reports/
ステップ 2: LLM レビューの実行
  • reports/skill_review_prompt_<skill>_<timestamp>.md に生成されたプロンプトファイルを使用します。
  • LLM に厳密な JSON 出力を返すよう指示します。
  • Claude Code 内で実行する場合、Claude をオーケストレーターとして機能させます: 生成されたプロンプトを読み取り、LLM レビュー JSON を生成し、マージステップのために保存します。
ステップ 3: 自動軸 + LLM 軸のマージ
uv run "$REVIEWER" \
  --project-root . \
  --skill <skill-name> \
  --llm-review-json <path-to-llm-review.json> \
  --auto-weight 0.5 \
  --llm-weight 0.5 \
  --output-dir reports/
ステップ 4: オプションの制御
  • 再現性のために選択を固定: --skill <name> または --seed <int>
  • すべてのスキルを一度にレビュー: --all
  • 迅速なトリアージのためにテストをスキップ: --skip-tests
  • レポートの保存先を変更: --output-dir <dir>
  • より厳格な決定論的ゲーティングのために --auto-weight を増やします。
  • 定性的/コードレビューの深さを優先する場合は --llm-weight を増やします。

出力

  • reports/skill_review_<skill>_<timestamp>.json
  • reports/skill_review_<skill>_<timestamp>.md
  • reports/skill_review_prompt_<skill>_<timestamp>.md (--emit-llm-prompt が有効な場合)

インストール (グローバル)

このスキルをどのプロジェクトからでも使用するには、~/.claude/skills/ にシンボリックリンクを作成します:

ln -sfn /path/to/claude-trading-skills/skills/dual-axis-skill-reviewer \
  ~/.claude/skills/dual-axis-skill-reviewer

この後、Claude Code はすべてのプロジェクトでこのスキルを検出し、スクリプトは ~/.claude/skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py からアクセスできるようになります。

リソース

  • 自動軸はメタデータ、ワークフローカバレッジ、実行安全性、成果物の存在、テストの健全性をスコアリングします。
  • 自動軸は knowledge_only スキルを検出し、不当なペナルティを避けるためにスクリプト/テストの期待値を調整します。
  • LLM 軸は深いコンテンツ品質 (正確性、リスク、欠落ロジック、保守性) をスコアリングします。
  • 最終スコアは重み付き平均です。
  • 最終スコアが 90 未満の場合、改善項目が必須となり、Markdown レポートに記載されます。
  • スクリプト: skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py
  • LLM スキーマ: references/llm_review_schema.md
  • ルーブリックの詳細: references/scoring_rubric.md

コメント