formative-assessment-loop-designer

AI システム向け形成的評価ループの設計

このスキルでできること

AI を活用した学習環境のための、完全な形成的評価ループを設計します。これは、生徒の理解を示す証拠を引き出し、その証拠を解釈し、リアルタイムで指導を調整する継続的なサイクルです。Black と Wiliam（1998）による画期的なメタ分析では、形成的評価が教育において最も強力な介入の一つであることが示されました（効果量は 0.40～0.70）。ただし、評価データによって次に何が起こるかが実際に変わる場合に限ります。指導の調整につながらない評価は、単なるテストです。このスキルでは、ループ全体を設計します。何を評価するか（答えだけでなく、思考も）、どのように評価するか（理解を明らかにする質問、課題、探りの問い）、結果をどのように解釈するか（真の理解と表面的な成果を見分ける）、そして結果をどう活用するか（特定の評価パターンに対する具体的な指導上の対応）を設計します。VanLehn（2006）は、「内側のループ」の評価（各問題の段階でリアルタイムに行う評価）と、「外側のループ」の評価（課題レベルで問題と問題の間に行う評価）を区別しました。AI システムは、内側のループの評価に特に適しています。生徒の推論を段階ごとにモニタリングし、リアルタイムで調整できるからです。最も大きな学習効果が得られるのは、この部分です。

エビデンスの基盤

Black と Wiliam（1998）は、形成的評価に関する研究で最も影響力のあるレビューを行い、250 件を超える研究を分析して、効果量が 0.40～0.70 に及ぶことを明らかにしました。これは、ほとんどの教育介入よりも大きな値です。彼らは形成的評価を、「教師および／または生徒が行い、従事している指導と学習の活動を修正するためのフィードバックとして用いられる情報を提供する、あらゆる活動」と定義しました。重要な洞察は、価値があるのは評価そのものではなく、変更を加えることだという点です。指導を調整せずにデータを収集するのは、別の名前を付けた総括的評価にすぎません。Black と Wiliam（2009）は、より精緻な理論的枠組みを構築し、形成的評価の主要な 5 つの戦略を特定しました。（1）学習目標と成功基準を明確にし、共有する。（2）学習の証拠を引き出す、効果的な教室での議論や課題を設計する。（3）学習者を前進させるフィードバックを提供する。（4）生徒同士が互いの学習を支える指導リソースとなるよう促す。（5）生徒が自らの学習の主体となるよう促す。これら 5 つの戦略はいずれも、引き出す → 解釈する → 行動する、というサイクルを含みます。Wiliam（2011）はこの枠組みを実践的な教室での戦略に落とし込み、形成的評価は指導に組み込まれなければならないと強調しました。つまり、付け足しの活動ではなく、継続的に確認し、調整し、対応するプロセスである必要があります。効果的な形成的評価を妨げる最大の要因はデータ収集ではなく、データの活用だと彼は主張しました。教師はデータを集めても、それに応じて指導を変えないことがよくあります。VanLehn（2006）は、チュータリングシステムの動作を分析し、評価ループを 2 つのレベルに特定しました。「外側のループ」は問題と問題の間で機能します。生徒が問題を解き終えた後、システムが次に何をするか（似た問題をもう一問出す、難易度の高い問題に進む、復習する、または新しいトピックに進む）を決定します。「内側のループ」は問題を解いている間に機能します。各段階でシステムが生徒の回答を評価し、フィードバック、ヒント、または足場かけを提供します。VanLehn は、内側のループが ITS の有効性を左右する、より重要な要因だと明らかにしました。段階ごとに評価して対応するシステムは、問題レベルでのみ評価するシステムを大幅に上回りました。Shute と Zapata-Rivera（2012）は、適応型教育システムをレビューし、最も効果的なシステムでは継続的な評価と即時の指導調整が組み合わされていることを明らかにしました。これにより、評価から対応までの時間が最小化された「密接な」形成的評価ループが実現します。

入力スキーマ

教師が入力する項目：

• 学習目標： 生徒が何を学ぼうとしているか。例：「面積と周の長さの違いを理解する — それぞれをいつ使うか、どう計算するか、なぜそれぞれが独立しているのか（図形は面積が大きくても周の長さが短いことがあり、その逆もある）」／「事実を述べたり、トピックを提示したりするだけではなく、明確な主張を示す効果的なトピックセンテンスを書く」／「需要と供給を理解する — 価格の変化が供給量と需要量にどう影響するか、均衡価格がどのように決まるか」
• 現在の評価方法： 現在、理解度をどのように確認しているか。例：「授業の最後に、3問の退出チケットで確認しています。ほとんどの生徒が正解したら次に進み、そうでなければ次の授業で教え直します」／「週末にエッセイを採点し、文章でフィードバックを返します」／「AI システムは問題を10問解くごとにクイズを出しますが、結果に応じてその後の内容を変更しません」

任意（利用可能な場合、コンテキストエンジンが挿入）：

• 生徒のレベル： 学年と習熟度
• 教科： カリキュラム上の教科
• AI システムの機能： テクノロジーで可能なこと
• クラスの人数： 生徒数
• 評価頻度： データを収集する頻度

プロンプト

You are an expert in formative assessment design for AI-enabled learning environments, with deep knowledge of Black & Wiliam's (1998, 2009) formative assessment framework, Wiliam's (2011) practical implementation strategies, VanLehn's (2006) inner-loop/outer-loop distinction, and Shute & Zapata-Rivera's (2012) adaptive assessment systems. You understand that formative assessment is not a type of test — it is a PROCESS of continuously eliciting evidence of understanding and using that evidence to adjust instruction. You also understand VanLehn's critical finding: assessment and feedback at the STEP level (inner loop) is dramatically more effective than assessment at the TASK level (outer loop).

CRITICAL PRINCIPLES:
- **Assessment must change instruction.** If the assessment data doesn't lead to a different instructional response, it's not formative — it's just a test. For every assessment point, specify WHAT CHANGES based on the result. "If the student gets it right, move on" is insufficient. "If the student gets it right, increase difficulty by X; if wrong in way A, respond with action A; if wrong in way B, respond with action B" — that's formative.
- **Assess THINKING, not just answers.** A correct answer might hide a misconception (right answer, wrong reasoning). An incorrect answer might contain valuable partial understanding. The assessment must probe the reasoning BEHIND the answer. In an AI system: require students to show working, explain their thinking, or select from options that reveal specific reasoning patterns.
- **Inner-loop assessment is more powerful than outer-loop.** VanLehn (2006): assessing at each problem step (and responding immediately) produces better learning than assessing only at the end of a problem. Design the loop to operate at the step level where possible.
- **Use multiple elicitation methods.** Don't rely solely on correct/incorrect. Use: diagnostic questions (MCQs where each wrong answer maps to a specific misconception), explanation prompts ("Why did you choose that?"), confidence ratings ("How sure are you?"), and process observations (how long did they take? did they use a hint?).
- **The assessment loop must be TIGHT.** The shorter the delay between assessment and instructional response, the more effective the formative process. An AI system can respond in seconds. Exploit this advantage — don't collect data now and act on it next week.

Your task is to design a formative assessment loop for:

**Learning objective:** {{learning_objective}}
**Current assessment approach:** {{current_assessment_approach}}

The following optional context may or may not be provided. Use whatever is available; ignore any fields marked "not provided."

**Student level:** {{student_level}} — if not provided, design for a general secondary school context.
**Subject area:** {{subject_area}} — if not provided, infer from the objective.
**AI system capabilities:** {{ai_system_capabilities}} — if not provided, design for an AI system that can present problems, monitor responses, provide feedback, and adapt problem selection in real time.
**Class size:** {{class_size}} — if not provided, assume a class of 30 students working individually on AI-enabled devices.
**Assessment frequency:** {{assessment_frequency}} — if not provided, design for continuous inner-loop assessment with outer-loop checks every 5-10 problems.

Return your output in this exact format:

## Formative Assessment Loop: [Learning Objective]

**Objective:** [What students are learning]
**Current approach:** [How assessment works now]
**Redesigned approach:** [How the formative loop works — one-sentence summary]

### Loop Architecture

[The complete assessment loop structure — inner loop (step-level) and outer loop (task-level)]

**Inner Loop (within each problem):**
[What is assessed at each step, how, and what the response is]

**Outer Loop (between problems):**
[What is assessed after each problem/set of problems, and how it determines what comes next]

### Elicitation Strategies

[The specific methods for surfacing student understanding — not just "quiz them" but the SPECIFIC question designs, process observations, and explanation prompts]

**Strategy [N]: [Name]**
- **What it assesses:** [What aspect of understanding]
- **How it works:** [The specific mechanism]
- **Example:** [A concrete example for this learning objective]
- **What to look for:** [What different responses reveal about understanding]

### Interpretation Framework

[How to interpret student responses — the decision rules that connect assessment evidence to instructional actions]

| Evidence Pattern | What It Probably Means | Confidence | Instructional Response |
|---|---|---|---|
| [Pattern] | [Interpretation] | [High/Moderate/Low] | [What the system does next] |

### Response Actions

[The specific instructional adjustments triggered by different assessment results — not just "reteach" but exactly how to reteach]

### Teacher Dashboard

[What the teacher needs to see — the key metrics and alerts that inform teacher-level decisions, separate from the AI's real-time responses]

### Loop Validation

[How to check that the assessment loop is actually improving learning — the meta-assessment of the assessment]

**Self-check before returning output:** Verify that (a) every assessment point triggers an instructional response, (b) thinking is assessed not just answers, (c) inner-loop assessment is included, (d) multiple elicitation methods are used, and (e) the loop is tight (minimal delay between assessment and response).

出力例

シナリオ： 学習目標：「面積と周の長さの違いを理解する — それぞれをいつ使うか、どう計算するか、なぜそれぞれが独立しているのか（図形は面積が大きくても周の長さが短いことがあり、その逆もある）」／現在の評価方法：「面積と周の長さを別々の授業で教えた後、計算問題20問（面積10問、周の長さ10問）のワークシートを配ります。採点して、クラスの3分の1を超える生徒がいずれかのセクションで10問中7問未満しか正解しなかったら、教え直します。主な問題は、ワークシートでは両方を正しく計算できる生徒が、テストでは混同してしまうことです。面積を尋ねられて周の長さの公式を使ったり、その逆をしたりします。計算が問題なのではなく、どちらの計算を使うべきかを判断することが問題です。」／生徒のレベル：「Year 6」／教科：「数学 — 測定」／AI システムの機能：「問題を提示し、自由記述と多肢選択式の回答を受け付け、生徒の回答時間を計測し、フィードバックを提供し、問題の選択を調整できるAI チュータリングシステム。図形の画像や図も表示できます。」／評価頻度：「継続的」

---

形成的評価のループ：面積と周の長さ

目標： 面積と周の長さのどちらを使うか、それぞれの計算方法、そしてなぜそれぞれが独立しているのかを理解する 現在の方法： 別々に指導 → 計算問題の混合ワークシート → 採点して教え直し 再設計した方法： 計算が正しいかどうかだけでなく、どちらの計算を使うかを確認する継続的な評価ループ。概念的な理解と手続きの習熟度を区別する診断的な質問を使用します

ループアーキテクチャ

内側のループ（各問題内）：

Step 1 — 識別チェック： 生徒が何かを計算する前に、システムは「これは面積を求める問題ですか、それとも周囲の長さを求める問題ですか？ どうしてそうわかりますか？」と尋ねます。これは極めて重要な評価ポイントです。最もよくある間違い（公式の選択ミス）は計算中ではなく、この段階で起こります。システムは、生徒が先に進む前に、概念を正しく識別できているかを評価します。

Step 2 — 解法チェック： 識別の後、システムは「何を計算しますか？ 方法を一文で説明してください」と尋ねます。これにより、生徒が識別した概念に対する手順を理解しているかがわかります。「面積」と正しく識別しても、「すべての辺の長さを足します」と説明する生徒は、識別は正しいものの手順に誤りがあります。

Step 3 — 計算チェック： 生徒が計算します。システムは数値の答えを確認します。正解なら次に進みます。不正解なら、計算の誤り（解法は正しいが計算を間違えた）か、概念上の誤り（間違った解法を適用した）かを判定します。

Step 4 — 単位チェック： システムは、生徒が正しい単位を使っているか（面積は cm²、周囲の長さは cm）を確認します。数値の答えが正しくても、単位が間違っていれば概念の混乱が明らかになることがあります。

外側のループ（5問ごと）：

5問ごとに、システムは内側のループでの回答パターンを確認します。

• 識別の正答率が 80% 以上の場合： 難易度を上げます（より複雑な図形、文章題、比較問題）
• 識別の正答率が 60% 未満の場合： 概念を身につけるための課題に切り替えます（周囲の長さは同じで面積が異なる図形を比較する）
• 識別は正確だが計算を間違えることが多い場合： 正しく識別できた概念について、計算の練習を提供します
• パターンが混在している場合： 混乱の具体的な原因を特定するための診断問題を提示します

引き出しのための戦略

戦略 1：識別を優先する質問

• 評価する内容： 学生が、どの測定値を求められているかを理解しているか
• 方法： 文章題を提示し、計算を求める前に「これは面積を求める問題ですか、それとも周の長さを求める問題ですか？」と尋ねます。これにより、概念の識別と計算手順の実行を切り分けられます。
• 例： 「ある農家の人が、長さ 20m、幅 15m の長方形の畑の周りに柵を作ろうとしています。これは面積を求める問題ですか、それとも周の長さを求める問題ですか？」続けて、別に「答えを計算してください」と尋ねます。
• 注目する点： 「周の長さ」と正しく識別する学生（柵を作る＝外側を囲むこと）と、「面積」と答える学生（「畑」という語や、2 つの寸法に反応している可能性があります）

戦略 2：診断型の選択問題

• 評価する内容： 間違った答えの背景にある、具体的な誤解
• 方法： それぞれの誤答が特定の間違いに対応する問題を提示します。学生の選択から、正誤だけでなく、その考え方も分かります。
• 例： 「長さ 8cm、幅 5cm の長方形があります。その面積はいくつですか？」選択肢：（a）40 cm²［正解］、（b）26 cm［周の長さを計算してしまった］、（c）26 cm²［周の長さを計算したうえ、面積の単位を使ってしまった］、（d）13 cm［半周の長さを計算してしまった］。それぞれの誤答から、異なる問題が分かります。
• 注目する点： （b）＝誤った測定値を計算しています。（c）＝誤った測定値を計算しており、単位の意味も理解していません。（d）＝周の長さについて部分的に理解しています。

戦略 3：概念を比較する課題

• 評価する内容： 面積と周の長さが互いに独立していると理解しているか
• 方法： 2 つの図形を見せ、「面積が大きいのはどちらですか？周の長さが大きいのはどちらですか？」と尋ねます。答えが異なるようにします（一方の面積が大きく、もう一方の周の長さが大きい）。これにより、最も深い概念理解を確かめられます。
• 例： 図形 A：10cm × 2cm の長方形（面積 20、周の長さ 24）。図形 B：5cm × 5cm の正方形（面積 25、周の長さ 20）。「面積が大きいのはどちらですか？周の長さが大きいのはどちらですか？」正解：面積は B のほうが大きく、周の長さは A のほうが大きいです。
• 注目する点： どちらの質問にも同じ図形を答える学生は、面積と周の長さが相関している（「図形が大きいほど、すべてが大きい」）と考えている可能性があります。これは、対処すべき最も重要な誤解です。

戦略 4：確信度を添えた回答

• 評価する内容： メタ認知の正確さ、つまり自分が何を理解しているかを把握しているか
• 方法： 回答後、学生に確信度（自信がある／そう思う／推測）を評価してもらいます。システムは確信度の適切さを追跡します。確信度が高く、回答が誤っている場合は誤解があります（誤ったことを信じています）。確信度が低く、回答が正しい場合は知識が不安定です（運よく正解したか、自信がありません）。
• 例： 柵に関する問題で、学生が自信を持って「周の長さ」と答える → 正解かつ自信あり＝しっかり理解しています。学生が自信なさげに「周の長さ」と答える → 正解だが自信なし＝理解が深まりつつあり、さらなる練習が必要です。
• 注目する点： 確信度の高い誤答が繰り返される場合、根強い誤解があることを示しています。こうした誤解には、単に練習を増やすのではなく、正面から向き合う必要があります。

解釈の枠組み

証拠のパターン	考えられる意味	確信度	指導上の対応
正しく見分け、正しく計算し、単位も正しい	このタイプの問題をしっかり理解しています	高	難易度を上げます。より複雑な図形、複数の手順を要する問題、比較問題などを出します
正しく見分けているが、計算が間違っている	概念の混乱ではなく、手順に課題があります	高	計算の足場かけを行います。生徒は何をすべきかは分かっていますが、算術で間違えています
見分け方が間違っている（面積と周の長さの混同）	中心的な概念が混乱しており、2つの概念を確実に区別できていません	高	計算練習を中止します。比較、定義、視覚的な実演、現実世界の状況を使った概念構築に切り替えます
簡単な問題では正しく見分けられるが、文章題では間違える	概念の理解が不安定で、明示的な状況では見分けられても、応用場面では見分けられません	中	「これは表面を覆うことと、縁に沿って一周することのどちらですか？」など、見分け方を明示的に尋ねる文章題を増やします
答えは正しいが、単位が間違っている（例：40 cm²ではなく40 cm）	概念は理解していても、寸法の数学的な表し方を理解していない可能性があります	中	面積が平方単位を使う理由（単位正方形の数を測るため）を直接教えます
「面積が大きい」と「周の長さが大きい」の比較で同じ答えをする	面積と周の長さは相関すると考えています	高	重要な介入：面積が大きくなる一方で周の長さが短くなる（またはその逆になる）図形を、複数の例で示します
確信度が高いのに、間違いが続く	強固な誤解を抱いています	高	認知的な葛藤を促します。その考えに反する例を示し、矛盾を説明するよう促します
確信度は低いが、答えは正しい	理解が深まりつつありますが、まだ不安定です	中	即座に肯定的なフィードバックを返しながら練習を増やし、能力とともに自信も育てます

対応策

対応策1：概念構築モード（見分け方の誤りをきっかけに開始） AI は計算練習から、概念を構築するアクティビティに切り替えます。

• 長方形を見せて、「この図形の面積とは何ですか？　周の長さとは何ですか？　指差すか、色を付けて見せてください」と尋ねます。（面積＝内側の表面、周の長さ＝外側の縁）
• 現実世界の状況を示します。「壁にペンキを塗りたい場合、面積と周の長さのどちらですか？　絵の周りに額縁を付けたい場合は、面積と周の長さのどちらですか？　部屋に敷くカーペットを買いたい場合は、面積と周の長さのどちらですか？」
• 「周の長さは同じでも面積は異なる」実演を使います。周の長さがすべて24cmで、面積が大きく異なる3つの図形（1×11、4×8、6×6）を示します。「周の長さは同じなのに、面積が異なるのはなぜでしょう？」と尋ねます。

対応策2：手順の定着モード（正しく見分けているが、計算を間違えることをきっかけに開始） AI は、正しく見分けた概念に基づいて、足場かけを行いながら計算練習を提供します。

• 面積：計算する前に正方形を数えられるよう、方眼を重ねて表示します。その後、方眼を徐々に消します。
• 周の長さ：生徒が足し算をする前に、図形の外側に沿った矢印を表示します。その後、矢印を徐々に消します。
• 両方：計算への即時フィードバックを行い、修正手順も示します。

対応策3：統合モード（継続して正解していることをきっかけに開始） AI は複数の手順を要する問題や比較問題を出します。

• 「この図形の面積と周の長さを両方求めてください。どちらが大きいですか？　意外でしたか？」
• 「面積が24cm²の長方形を設計してください。その周の長さはいくつですか？　同じ面積で周の長さが異なる別の長方形も設計できますか？」
• 状況から必要な測定値を生徒が判断する必要がある文章題。

教師ダッシュボード

教師が確認する必要があるもの:

クラス全体の概要:

• 各モード(概念構築 / 手続き / 統合)の生徒の割合
• クラス全体で最も一般的なエラーパターン(60% が面積と周囲長を混同している場合、クラス全体での介入が必要です)
• 行き詰まっている生徒(概念構築モードで 10 問以上解いても改善が見られない場合、教師による介入が必要になることがあります)

個別アラート:

• 「生徒 X は自信が高いものの、識別精度が 40% です — 強固に保持された誤概念であり、教師との対話が有効かもしれません」
• 「生徒 Y は手続きモードに 15 分間留まっています — 計算精度が改善していないため、根底にある数感覚のギャップを確認してください」
• 「生徒 Z はすべての統合タスクを完了しました — 発展学習(複合図形、円、表面積)に進む準備ができています」

重要な指標: 識別精度と計算精度の比較。 クラスの識別精度が 70% 未満である一方で、計算精度が 80% を超えている場合、現在の評価方法(計算ワークシート)が本当の問題を覆い隠しています。教師はさらなる計算練習よりも、概念的な取り組みを優先すべきです。

ループの検証

評価ループが機能していることを確認する方法:

1. 識別タスクにおける事前・事後比較。 AI ループを開始する前に、識別のみの 5 問クイズ(計算なし)を実施します。AI ループによる 2 セッションの後、同じクイズを再度実施します。識別精度が向上していない場合、ループの概念構築レスポンスを再設計する必要があります。

2. 転移テスト。 AI シーケンスの後に、AI が使用しなかった新しい問題タイプを出題します(例: 包装紙がプレゼントに足りる大きさかどうかを見積もる — なじみのない文脈で面積の理解が必要です)。生徒が転移できれば、ループはなじみのある問題形式のトレーニングだけでなく、理解を構築しているといえます。

3. 遅延テスト。 AI シーケンスの 2 週間後に、同じ識別クイズを実施します。スコアが大幅に低下している場合、ループは短期的なパフォーマンスを生み出したものの、長期的な学習にはつながっていません。ループに間隔を空けた検索を取り入れることを検討してください(生徒が次に進んだ後も、面積 / 周囲長の識別に時折立ち返る)。

---

既知の制約

1. 形成的評価のループには、継続的なデータフローが必要です。 上記の設計は、AI システムが生徒の回答をリアルタイムで評価し、すぐに適応できることを前提としています。バッチ処理（データを収集し、夜間に分析して、翌日に調整する）を行うシステムでは、内側のループを実装できません。外側のループは引き続き実現可能であり、価値もありますが、内側のループによる評価がもたらす学習効果（VanLehn, 2006）には、リアルタイム処理が必要です。

2. 解釈の枠組みは確率的なものです。 周長を問う問題で生徒が「面積」を選んだ場合、概念の混同がある可能性は高いものの、問題を読み間違えた、誤った選択肢をクリックした、または「周長」という言葉を理解していなかった可能性もあります。システムは、単一の回答から決定的な診断を下してはなりません。上記の解釈の枠組みでは、回答のパターン（複数の問題）を使って診断の確度を高めます。

3. Black & Wiliam（1998）のメタ分析には、幅広い形成的評価の実践が含まれています。 効果量（0.40～0.70）は形成的評価全般に当てはまるものであり、AI によって実施される形成的評価に特化したものではありません。原則には妥当性がありますが、この文脈における AI 形成的評価ループの具体的な効果量は、実証的に測定されていません。この設計はエビデンスを参考にしていますが、エビデンスによって効果が証明されているわけではありません。

4. 教師用ダッシュボードのデータは、情報過多になるおそれがあります。 上記のダッシュボードでは、生徒一人ひとりの詳細情報とクラス全体の傾向を確認できます。30 人のクラスであれば管理可能ですが、学年に 120 人いる場合、データ量が多すぎる可能性があります。より大規模な範囲で使うダッシュボードを設計するには、より積極的なフィルタリングと要約が必要です。

5. 評価ループによって、意図せずカリキュラムの範囲が狭まる可能性があります。 AI ループが面積と周長の識別および計算だけに焦点を当てると、生徒はその特定の技能を身につけても、より広い数学的理解（概念としての測定、他のトピックとのつながり）を習得できないおそれがあります。Wiliam（2011）は、形成的評価は学習を支援するものであり、学習内容を規定するものではないと警告しています。