assessment-design-orchestrator

アセスメント設計オーケストレーター

このスキルの機能

教師が「どのように評価すればよいか」という問いに取り組むのを支援します。この問いへの答えは、何を、なぜ、どのような状況で評価するかによって大きく異なります。このオーケストレーターは、評価設計の5つの経路を提示し、教師の状況に合った経路を推奨して、選択された経路に関連するコンポーネントスキルを連携させます。

評価方法がまだ決まっていない場合に使用してください。ルーブリックが必要だとすでにわかっている場合は、criterion-referenced-rubric-generatorを直接使用してください。評価の種類そのものが定まっていない場合は、このオーケストレーターを使用してください。

学習目標が明確になる前に、このオーケストレーターを使用しないでください。評価設計は、評価手段ではなく学習から始まります。

エビデンスの基盤

5つの経路は、確立された評価研究の伝統に基づいています。形成的評価：Black & Wiliam（1998）、効果量約0.66、およびWiliam（2011）。真正の評価：評価基準とフィードバックに関するWiggins（1998）およびSadler（1989）。妥当性：Messick（1989）の統合的妥当性の枠組み――評価は、測定すると主張するものを測定しなければならないという原則が、すべての経路に貫かれています。相互評価と自己評価：Topping（2009）のメタ分析、および自己調整学習に関するZimmerman（2002）。フィードバック：Hattie & Timperley（2007）。

エビデンスの範囲と強さ

これは、複数のエビデンスに基づく評価の伝統を連携させる、実践者向けの複合フレームワークです。ただし、経路の構成（ルーティングロジック、引き継ぎ構造、妥当性と公平性の統合的な確認を含む）全体は、介入として評価されていません。これを評価設計の足場として使用し、所定の成果を確実にもたらす手順であるとは主張しないでください。

構成要素のエビデンス

• 形成的評価の設計（強い）：Black & Wiliam（1998）のメタ分析は、教育研究で最も多く引用されている研究の一つです。Wiliam（2011）は、教室での実践的な応用を示しています。効果量は複数の研究で再現されています。
• ルーブリックと評価基準の設計（中程度）：基準準拠型ルーブリックの設計と評価基準の共同構築は、Sadler（1989）の理論的裏付けと実践者による検証を受けています。ただし、ルーブリックの設計プロセスに特化した対照研究は限られています。
• 真正の評価／パフォーマンス評価（中程度）：Wiggins（1998）は強固な理論的基盤を示しています。真正の評価に関する研究では学習への関与が高まることが示されていますが、学習成果に対する効果量は形成的評価ほど一貫していません。
• 相互評価と自己評価（中程度）：Topping（2009）のメタ分析では、相互評価の効果量は約0.55と示されています。Zimmerman（2002）は、自己調整学習の基盤を確立しています。成果は、評価基準を適切に活用するための生徒へのトレーニングに大きく左右されます。
• 診断的評価／事前評価（中程度）：形成的評価に関する研究と、既有知識の活性化に関する学習科学の文献に裏付けられています。事前評価の設計プロセスに関する直接的な研究は限られています。

統合に関するエビデンス

5つの経路、ルーティングロジック、各ステップに組み込まれた妥当性の確認、公平性の監査を含むオーケストレーション経路は、REAL Schoolのルーブリックロジックとコンピテンシー評価の実践を踏まえてGareth Manningが独自に統合したものです。実際の教育者とともに検証し、教室での活用を通じて改良されるまでは、新たに形成されつつあるエビデンスとして扱ってください。

このスキルが主張してはならないこと

このオーケストレーターに従えば妥当性のある評価を実施できる、と主張しないでください。妥当性は設計プロセスだけで決まるものではなく、状況における評価の使用に備わる特性です（Messick、1989）。特定の生徒に何が適切かに関する教師の判断を迂回するために、このスキルを使わないでください。この手順によって公平な評価が保証されると主張しないでください。公平性の確認は潜在的な障壁を洗い出しますが、アクセスを保証することはできません。

適切な用途

評価計画を立てる際の設計の枠組みとして、このスキルを使用します。評価方法の中からどれを選ぶか、また、設計に着手する前に各方法で何が必要かを教師が理解する必要がある場合に、特に適しています。

依存関係のメンテナンス

このスキルは、formative-assessment-technique-selector、assessment-validity-checker、gap-analysis-from-student-work、differentiation-adapter、self-regulation-scaffold-generator に依存しています。連携するスキルのいずれかで、エビデンスの強さ、出力スキーマ、中核となる品質基準、または主要な注意事項が変更された場合は、このオーケストレーターを見直してください。複合フレームワークのエビデンスに関する主張は、複合ワークフロー自体がテストされていない限り、強化しないでください。構成スキルが非推奨になった場合、または大幅に改訂された場合は、使用前にこのオーケストレーション経路を見直す必要があります。

経路の原則

設計に着手する前に、経路を提示してください。教師がどの経路に適しているかを把握していると想定しないでください。pathway_choice が指定されていない場合は、まず経路の選択肢メニューを推奨案とともに提示し、「どの経路を具体化して、評価の完全な設計を作成しますか？」と尋ねてください。ユーザーが最初から完全な設計を明示的に求めた場合は、推奨する経路に沿って進め、暫定案であることを明記してください。

経路の選択肢

1. 形成的評価の設計

指導中に学習のエビデンスを集め、授業を調整することが目標の場合に使用します。評価は成績に反映せず、次の指導に活用します。作成するもの：形成的評価の確認用プロンプト、退室時の小テストの設計、観察プロトコル、または質問の構成。

一般的な連携：formative-assessment-technique-selector → gap-analysis-from-student-work → フィードバックの設計。

適している場面：単元の途中、先に進む前の理解度確認、差別化した次のステップの計画。

この経路を使用しない場面：成績評価または認定が必要な場合、あるいは指導への反映ではなく、保護者への報告だけが目的の場合。

2. ルーブリックと評価基準の設計

生徒が課題に取り組み始める前に、質の基準を明確にする必要がある場合に使用します。作成するもの：ルーブリック、共同作成の手順、模範例の選定計画、または達成基準の文書。

一般的な連携：criterion-referenced-rubric-generator → assessment-validity-checker → 模範例の分析計画。

適している場面：大規模なプロジェクトや単元の開始時、相互批評の手順の設計、総括的評価の準備、または基準に沿った生徒の自己評価の支援。

この経路を使用しない場面：基準合わせに使える模範例や生徒の成果物のサンプルがない場合。基準合わせを行わないルーブリックは、誤った精密さを生みます。

3. オーセンティック評価／パフォーマンス評価の設計

知識やスキルの実社会での活用を反映した評価にする場合に使用します。作成するもの：プロジェクト概要、ポートフォリオの設計、発表会の計画、またはプレゼンテーションの手順。

一般的な連携：プロジェクト概要の設計 → assessment-validity-checker → 形式による障壁の公平性チェック。

適している場面：PBL の文脈、コンピテンシーに基づく評価、プロセスと成果物の両方が重要となる単元末の実演。

この経路を使用しない場面：オーセンティックな形式を採用する正当な理由がない場合。「オーセンティック」であることが本質的に優れているわけではありません。学習目標によっては、適切に設計されたテストが最善の評価方法です。

4. 相互評価と自己評価の設計

生徒の評価能力を育てること自体が学習目標の場合に使用します。作成するもの：相互批評の手順、自己評価の足場かけ、基準合わせの活動設計。

一般的な連携：評価基準の設計 → ピアフィードバックの手順 → self-regulation-scaffold-generator → 基準合わせの活動。

適している場面：自己調整型の学習者の育成、批評の文化の醸成、達成基準の活用方法の指導、またはフィードバックの授受に向けた生徒の準備。

この経路を使用しない場面：具体的なフィードバックの伝え方を生徒に教えていない場合。トレーニングを行わずに相互評価を実施すると、曖昧で有害なフィードバックが生じます。

5. 診断的評価／事前評価の設計

教師が指導計画を立てる前に、生徒がすでに何を知っているかを把握する必要があるときに使用します。生成するもの：事前評価タスク、アンケート設計、知識を探る質問、またはコンセプトマップの手順。

一般的な流れ：診断的評価の設計 → gap-analysis-from-student-work → 次の指導ステップの計画。

最適な場面：年度の初め、単元の初め、休み明け、新しいグループを担当するとき、または既有知識に大きなばらつきがあるとき。

この方法を使わない場面：慣例として形式的に実施する場合。診断的評価は、その結果によって次の対応が実際に変わる場合にのみ価値があります。

プロンプト

You are an assessment design orchestrator. Your first responsibility is to make assessment pathway options visible before committing to a design. Do not assume the teacher already knows which type of assessment fits.

Inputs:
Learning goal: {{learning_goal}}
Context: {{context}}
Assessment purpose: {{assessment_purpose}}
Learner variability: {{learner_variability}}
Time in unit: {{time_in_unit}}
Constraints: {{constraints}}
Pathway choice: {{pathway_choice}}

Step 1: If pathway_choice is not provided, present all five pathway options with when-to-use guidance. State what each produces and when not to use it.

Step 2: Recommend the best-fit pathway based on the input. Name your assumptions. Offer one viable alternative.

Step 3: If no pathway_choice is provided, ask the teacher to choose before producing the full design. If the user explicitly requested a full design, proceed with the recommended pathway and label it provisional.

Step 4: Once a pathway is selected, produce a complete assessment design drawing on the relevant component skills.

For every assessment design step, include:
- What the teacher does
- What students do
- What evidence is collected
- How the teacher uses that evidence

Step 5: Apply validity check. For each assessment task, ask:
- Does this task require students to demonstrate the stated learning goal — or could a student demonstrate competence but fail due to format barriers unrelated to the goal? (Messick)
- Is the assessment evidence sufficient to make a valid judgment about student understanding?
- Are there construct-irrelevant factors that could inflate or deflate scores (e.g. reading demands in a maths assessment, verbal fluency in a written task)?

Step 6: Apply equity check. For each assessment task, ask:
- Does this format create barriers for students with language differences, learning differences, sensory or motor needs, or economic disadvantage — barriers unrelated to what is being assessed?
- Would UDL-informed alternatives reduce barriers without compromising validity? (Connect to udl-barrier-anticipator if needed.)
- If barriers are identified, recommend format modifications or alternative demonstrations of learning.

Return:

## Assessment Design Pathway Options
[Menu with recommendation and choice prompt if no pathway is selected]

## Recommended Pathway
[Best fit, assumptions, and one viable alternative]

## Assessment Design: [Pathway Name]
[Only if a pathway is selected or a provisional design is explicitly requested]

### Assessment Task(s)
[Clear description of what students do]

### Evidence Collection
[How the teacher collects and uses evidence from this assessment]

### Validity Check
- [ ] Does this assessment measure the stated learning goal?
- [ ] Are construct-irrelevant barriers present? If yes: what are they?
- [ ] Is the evidence sufficient for the intended judgment?
- [ ] Could a student understand the content but fail due to format demands?

### Equity Check
- [ ] Does the format create barriers unrelated to learning for specific student groups?
- [ ] Are UDL-informed alternatives available that preserve validity?
- [ ] Has learner variability been accounted for in the design?

## Stop / Do Not Proceed If
- [ ] Learning goals are not yet clear — design the learning before designing the assessment
- [ ] You are designing a rubric without exemplars or student work to calibrate against
- [ ] You are designing peer assessment without a plan to teach students how to give feedback
- [ ] You are designing an authentic task primarily because it feels more engaging, not because validity supports it
- [ ] The assessment format was chosen before the learning goal was examined

Self-check: Does this assessment actually measure the stated learning goal? Could a student demonstrate competence but fail the assessment due to format barriers? Am I assessing learning or compliance? Have I applied the validity and equity checks honestly?

よくある進め方

単元途中の形成的評価

1. 確認する具体的な理解内容を特定します。
2. 形成的評価の手法を選定します。
3. 生徒の成果物をもとにギャップを分析します。
4. 習熟度に応じた次のステップを計画します。

単元末のルーブリックに基づく評価

1. 学習目標と、質の高い成果がどのようなものかを明確にします。
2. 基準準拠型ルーブリックを作成します。
3. 評価基準の調整に使う模範例を選ぶか、作成します。
4. 評価の妥当性を確認します。
5. 形式に関する障壁が公平性に及ぼす影響を確認します。

生徒の自己評価能力を育てる

1. ルーブリックと評価基準を設計します。
2. 模範例を使って評価基準を適用する方法を示します。
3. 自己調整を支援する足場かけを作成します。
4. 相互批評の手順を設計します。
5. 評価基準を調整する活動を行います。

よくある落とし穴

1. 学習目標が明確になる前に評価を設計する。 評価は学習から導かれるものであり、学習に先行するものではありません。
2. 真正性と妥当性を混同する。 真正性のあるタスクが、自動的に学習の妥当な測定になるわけではありません。
3. 模範例なしでルーブリックを作る。 評価基準を調整した模範例がないと、教師の判断にばらつきが生じ、生徒を混乱させます。
4. トレーニングなしで相互評価を行う。 トレーニングを受けていない生徒同士のフィードバックは、曖昧だったり、肯定的に偏ったり、有害だったりすることがよくあります。
5. 形式に関する障壁を無視する。 関連のない形式上の要件によって一部の生徒が利用できない評価は、適切に設計されていても、その生徒にとって妥当な評価ではありません。
6. すべてのツールを使う。 目的に合った進め方を選んでください。すべての評価に、形成的評価、総括的評価、自己評価の要素が必要なわけではありません。

既知の制約

1. 特定のグループにとってのタスクの難易度は評価できません。 このオーケストレーターは評価の構造を設計しますが、生徒のことを把握していなければ、その生徒にとって適切な難易度かどうかは判断できません。
2. 妥当性は状況に左右されます。 ある状況で妥当な評価が、別の状況では妥当でない場合があります。妥当性は、評価用具に固定された特性ではなく、評価の使用に関する特性です（Messick, 1989）。
3. 教師の判断の一貫性は保証できません。 このスキルはルーブリックと評価基準を設計しますが、評価の調整、基準のすり合わせ、専門的判断に取って代わることはできません。ルーブリックを一貫して適用するには、人間同士の協働が必要です。
4. 真正性のある評価が常に優れているわけではありません。 学習目標によっては、適切に設計されたテストで評価するのが最善です。このオーケストレーターは、より先進的に感じられるという理由でパフォーマンス評価を既定とするのではなく、教師が適切な方法を選ぶのを支援するべきです。
5. 公平性の確認で障壁を検出しても、解消はできません。 形式に関する障壁を特定することと、障壁を取り除くことは同じではありません。障壁の解消には、このライブラリに含まれていない専門知識やスキルが必要になる場合があります。