evaluation-framework

評価フレームワーク

概要

重み付けスコアリングとしきい値ベースの意思決定を行う汎用フレームワークです。設定可能な基準に照らしてあらゆる成果物を一貫した評価方法で評価するための、再利用可能なパターンを提供します。

このフレームワークは、「基準を定義する → 重みを割り当てる → 基準に照らして採点する → しきい値を適用する → 意思決定を行う」という一般的なパターンを抽象化しています。

使用する場面

• 品質ゲートや評価基準を実装する場合
• 成果物、提案、提出物のスコアリングシステムを構築する場合
• 異なる分野にわたって一貫した評価方法が必要な場合
• しきい値ベースの自動意思決定を行いたい場合
• 重み付け基準を使用する評価ツールを作成する場合

使用しない場面

• スコアリングが不要で、単純な合否判定のみを行う場合

中核となるパターン

1. 基準を定義する

criteria:
  - name: criterion_name
    weight: 0.30          # 30% of total score
    description: What this measures
    scoring_guide:
      90-100: Exceptional
      70-89: Strong
      50-69: Acceptable
      30-49: Weak
      0-29: Poor

検証： --help フラグを付けてコマンドを実行し、利用できることを確認します。

2. 各基準を採点する

scores = {
    "criterion_1": 85,  # Out of 100
    "criterion_2": 92,
    "criterion_3": 78,
}

検証： --help フラグを付けてコマンドを実行し、利用できることを確認します。

3. 重み付け合計を計算する

total = sum(score * weights[criterion] for criterion, score in scores.items())
# Example: (85 × 0.30) + (92 × 0.40) + (78 × 0.30) = 85.5

検証： --help フラグを付けてコマンドを実行し、利用できることを確認します。

4. 意思決定のしきい値を適用する

thresholds:
  80-100: Accept with priority
  60-79: Accept with conditions
  40-59: Review required
  20-39: Reject with feedback
  0-19: Reject

検証： --help フラグを付けてコマンドを実行し、利用できることを確認します。

クイックスタート

評価を定義する

1. 基準を特定する：対象分野ではどのような点が重要ですか？
2. 重みを割り当てる：どの基準が最も重要ですか？（合計を1.0にします）
3. 採点ガイドを作成する：各スコア範囲は何を意味しますか？
4. しきい値を設定する：どの合計スコアで、どのような意思決定を行いますか？

例：コードレビューの評価

criteria:
  correctness: {weight: 0.40, description: Does code work as intended?}
  maintainability: {weight: 0.25, description: Is it readable?}
  performance: {weight: 0.20, description: Meets performance needs?}
  testing: {weight: 0.15, description: Tests detailed?}

thresholds:
  85-100: Approve immediately
  70-84: Approve with minor feedback
  50-69: Request changes
  0-49: Reject, major issues

検証： pytest -v を実行して、テストが成功することを確認します。

評価ワークフロー

**Verification:** Run the command with `--help` flag to verify availability.
1. Review artifact against each criterion
2. Assign 0-100 score for each criterion
3. Calculate: total = Σ(score × weight)
4. Compare total to thresholds
5. Take action based on threshold range

検証： --help フラグを付けてコマンドを実行し、利用できることを確認します。

よくあるユースケース

品質ゲート：コードレビュー、PR の承認、リリース準備状況
コンテンツ評価：ドキュメントの品質、ナレッジの取り込み、スキル評価
リソース配分：バックログの優先順位付け、投資判断、トリアージ

統合パターン

# In your skill's frontmatter
dependencies: [leyline:evaluation-framework]

検証： --help フラグを付けてコマンドを実行し、利用できることを確認します。

その後、対象分野に合わせてフレームワークをカスタマイズします。

• 対象分野に固有の基準を定義する
• 状況に応じた適切な重みを設定する
• 意味のあるしきい値を設定する
• 各スコア範囲の意味を文書化する

詳細なリソース

• スコアリングパターン：詳細な方法については modules/scoring-patterns.md を参照してください
• 意思決定のしきい値：しきい値の設計については modules/decision-thresholds.md を参照してください

終了基準

• 基準が明確な説明とともに定義されている
• 重みが割り当てられ、合計が1.0になっている
• 各基準の採点ガイドが文書化されている
• しきい値が具体的なアクションに対応付けられている
• 評価プロセスが文書化され、再現可能である