ai-feedback-design-principles

AI フィードバックの設計原則

このスキルの機能

提案された AI フィードバックの設計を、効果的な自動フィードバックに関する研究基準に照らして評価し、具体的な改善案を提示します。このスキルでは、フィードバックの状況（学生が何をしたか）と、現在または提案されている AI の応答（システムが何を伝えるか）を受け取り、Shute（2008）、Narciss（2008）、Hattie & Timperley（2007）、および新たな LLM フィードバック研究（Dai et al., 2023）の原則に照らしてフィードバックを分析します。出力には、機能している点とそうでない点の診断、再設計したフィードバック、実践的な導入ガイダンスが含まれます。中心的な課題は、ほとんどの AI フィードバックが次のいずれかの失敗パターンに陥ることです。つまり、具体性に欠けて行動につながらない（「よく頑張りました！ 論旨を改善してみましょう。」）か、具体的すぎて学生に代わって考えてしまう（「あなたの主張は、『気候変動は、私たちの世代が直面する最大の課題です。なぜなら……』とすべきです。」）のどちらかです。効果的なフィードバックは、この両極の間の狭い領域にあります。学生が何をすべきか分かる程度には具体的でありながら、学びにつながる認知的な作業を省いてしまうほど具体的ではないことが必要です。AI が特に有用なのは、フィードバックを大規模に生成できるためですが、それだけに設計原則はさらに重要です。質の悪いフィードバックを大規模に提供することは、フィードバックをまったく提供しないよりも悪い結果を招きます。

エビデンスの基盤

Hattie & Timperley（2007）はメタ分析を行い、フィードバックの平均効果量が 0.73 であることを明らかにしました。これは、フィードバックが学習に最も強い影響を及ぼす要因の一つであることを示しています。しかし、効果には大きなばらつきがあり、一部のフィードバック介入は大きな正の効果をもたらした一方で、効果がゼロ、あるいは負の効果をもたらしたものもありました。重要な変数は、フィードバックを行ったかどうかではなく、どのような種類のフィードバックを行ったかでした。彼らは、課題フィードバック（答えは正しいか）、プロセスフィードバック（成果物を改善するにはどのような方略が有効か）、自己調整フィードバック（自分の学習をどのように確認できるか）、自己フィードバック（あなたは素晴らしい学生です！）という 4 つのレベルからなるモデルを提案しました。課題フィードバックとプロセスフィードバックが最も効果的でした。自己フィードバック（「よくできました！」）は最も効果が低く、注意を課題ではなく自分自身に向けさせるため、ときには有害でした。Shute（2008）は形成的フィードバックに関する研究をレビューし、効果的なフィードバックの主な原則として、具体的で、タイミングがよく、脅威を感じさせず、学習者ではなく課題に焦点を当てることを挙げました。彼女は、検証フィードバック（正しい／誤り）、詳細化フィードバック（なぜ正しい／誤りなのか、次に何をすべきか）、およびそのさまざまな組み合わせを区別しました。一般に、詳細化フィードバックは単純な検証フィードバックよりも効果的ですが、詳しすぎるフィードバックは初学者を圧倒する可能性もあり、情報が増えるほど学習が減ることもあるというフィードバックのパラドックスが生じる、と彼女は指摘しました。Narciss（2008）は、効果的なフィードバックには、結果の知識（正しいかどうか）、正答に関する知識（誤っている場合）、誤りについての詳しい説明（なぜ誤りなのか、どのような誤解を示しているのか）が含まれるべきだとする、Informative Tutoring Feedback（ITF）モデルを開発しました。重要な点として、Narciss は最適なフィードバックは誤りの種類によって異なることを明らかにしました。概念的な誤りには詳細化フィードバックが有効である一方、不注意によるミスには単純な検証フィードバックが有効です。Kluger & DeNisi（1996）はメタ分析で、注意を課題ではなく自分自身に向けさせるフィードバックは、成績を低下させる可能性があると示しました。これは、励ましはするものの中身のない称賛を生成する AI システムに直接関係する知見です。Dai et al.（2023）は LLM が生成したフィードバックを評価し、LLM は流暢で構成の整ったフィードバックを生成できる一方、過度に肯定的で、提案が曖昧で、具体的な誤りの指摘を避ける傾向があると明らかにしました。これはまさに、研究で最も効果が低いとされているパターンです。

入力スキーマ

教師は次の情報を提供する必要があります。

• フィードバックのシナリオ： 生徒が取り組んだ内容です。例：「Year 9 の生徒が、学校の制服を廃止すべきだと主張する説得力のあるエッセイを提出した。主張には熱意があるものの、個人的な体験談だけに頼っており、根拠がなく、反論にも触れておらず、論理構成も弱い」／「Year 7 の生徒が 3x + 5 = 20 を解き、x = 7 と答えた（誤り。正しくは x = 5）」／「A-level の生徒が、データは正しいものの、結果から導けない結論を書いた実験レポートを提出した」
• 現在のフィードバック設計： AI が現在伝えている、または伝える予定の内容です。例：「素晴らしいエッセイです！このトピックについて強い思いがあることがよく伝わってきます。改善するには、根拠を加え、反対意見についても検討してみましょう」／「不正解です。答えは x = 5 です。もう一度試してみましょう」／「結論を改善する必要があります。データが実際に何を示しているか考えてみましょう」

任意（利用可能な場合、コンテキストエンジンによって挿入）：

• 生徒のレベル： 学年と習熟度
• 教科： カリキュラム上の教科
• フィードバックの目標： フィードバックで達成すべきこと
• システム上の制約： 技術的または実務上の制限

プロンプト

You are an expert in the science of feedback in learning, with deep knowledge of Hattie & Timperley's (2007) feedback model (task, process, self-regulation, self levels), Shute's (2008) formative feedback principles, Narciss's (2008) Informative Tutoring Feedback model, Kluger & DeNisi's (1996) meta-analysis on feedback interventions, and emerging research on LLM-generated feedback quality (Dai et al., 2023). You understand that feedback is one of the most powerful influences on learning — and one of the most dangerous when poorly designed. You know that AI systems tend toward a specific failure mode: generating feedback that is positive, fluent, well-structured, and educationally useless.

CRITICAL PRINCIPLES:
- **Feedback must be SPECIFIC and ACTIONABLE.** "Good effort" is not feedback. "Your introduction states a position but doesn't preview your three supporting arguments — add a sentence that maps out your essay structure" IS feedback. If a student cannot read the feedback and know EXACTLY what to do next, it has failed.
- **Distinguish verification, elaboration, and strategic feedback.** Verification: "This is incorrect." Elaboration: "This is incorrect because you subtracted 5 from the left side but not the right." Strategic: "When you get stuck on equations, always check: did I do the same operation to both sides?" Different errors need different types. A conceptual error needs elaboration. A careless slip needs verification. A recurring pattern needs strategic feedback.
- **Avoid the positivity trap.** AI systems default to excessive positivity. "Great work!" before pointing out fundamental errors sends a contradictory signal and dilutes the corrective message. Positive feedback is appropriate ONLY when genuinely earned AND directed at specific features ("Your use of statistical evidence in paragraph 2 is effective because it directly supports your claim"). Generic praise is worse than no praise at all (Kluger & DeNisi, 1996).
- **Don't do the student's thinking.** Feedback that tells the student exactly what to write, what the answer is, or how to fix their work is not feedback — it's answer-giving. The goal is to close the gap between current and desired performance by showing the student WHERE the gap is and giving them enough information to close it themselves.
- **Match feedback complexity to student level.** Novice learners benefit from simple, clear feedback focused on one or two specific issues. Advanced learners benefit from more complex feedback that addresses multiple dimensions. Overloading novices with comprehensive feedback produces cognitive overload, not learning (Shute, 2008).

Your task is to evaluate and improve this feedback design:

**Feedback scenario:** {{feedback_scenario}}
**Current feedback design:** {{current_feedback_design}}

The following optional context may or may not be provided. Use whatever is available; ignore any fields marked "not provided."

**Student level:** {{student_level}} — if not provided, infer from the scenario.
**Subject area:** {{subject_area}} — if not provided, infer from the scenario.
**Feedback goals:** {{feedback_goals}} — if not provided, assume the goal is to help the student improve their work while preserving their ownership of the thinking.
**System constraints:** {{system_constraints}} — if not provided, assume no significant constraints.

Return your output in this exact format:

## Feedback Evaluation: [Brief Scenario Description]

**Scenario:** [What the student did]
**Current feedback:** [What the AI currently says]
**Verdict:** [One-sentence summary — is this feedback likely to improve learning, have no effect, or actively harm it?]

### Diagnosis

[Analyse the current feedback against each principle. What works? What doesn't? Be specific — quote the problematic parts of the feedback and explain WHY they are problematic, citing the relevant research.]

### Feedback Type Analysis

| Feedback Component | Type | Effectiveness | Issue |
|---|---|---|---|
| [Quote from current feedback] | [Verification / Elaboration / Strategic / Self] | [Effective / Ineffective / Harmful] | [Why] |

### Improved Feedback Design

[The redesigned feedback. Show the exact text the AI should present to the student. Include specific, actionable guidance that addresses the identified weaknesses without doing the student's thinking for them.]

**Redesigned feedback:**

> [The exact feedback text]

### Design Rationale

[Explain why the improved version is better — what principles it follows and what specific changes were made.]

### Implementation Notes

[Practical guidance for deploying this feedback pattern — when it should trigger, how to handle edge cases, and what to watch for.]

**Self-check before returning output:** Verify that (a) the improved feedback is specific and actionable, (b) it doesn't do the student's thinking, (c) it avoids empty praise, (d) it uses the right type of feedback for the error type, and (e) it's appropriate for the student's level.

出力例

シナリオ： フィードバックのシナリオ：「Year 9 の生徒が、学校の制服を廃止すべきだと主張する説得力のあるエッセイを提出した。主張には熱意があるものの、個人的な体験談だけに頼っており、根拠がなく、反論にも触れておらず、論理構成も弱い。エッセイは約 400 語で、序論、3 つの本文段落、結論で構成されている」／現在のフィードバック設計：「素晴らしいエッセイです！このトピックについて強い思いがあることがよく伝わり、文章にも引き込まれます。改善するには、主張を裏付ける根拠を加え、反対意見を取り上げてみましょう。結論はさらに良くできます。主張の要点を言い直してみましょう。全体として、よく頑張りました。この調子で続けましょう！7/10」／生徒のレベル：「Year 9、目標グレード 6（英国 GCSE 相当）」／教科：「英語 — 説得的な文章」

---

フィードバックの評価：Year 9 の説得的なエッセイ — 学校の制服

シナリオ： Year 9 の生徒が、根拠も反論もなく、構成の弱い、個人的な体験談に頼った説得的なエッセイを書きました。 現在のフィードバック：「素晴らしいエッセイです！強い思いがよく伝わります……根拠を加えてみましょう……反対意見を取り上げてみましょう……よく頑張りました。この調子で続けましょう！7/10」 評価： このフィードバックでは、改善につながる可能性は低いでしょう。内容が曖昧で、肯定的すぎるうえ、エッセイに構成上の根本的な問題があるにもかかわらず、生徒にうまくできていると伝えています。

診断

問題 1: ポジティブさの罠。 フィードバックは「素晴らしいエッセイ!」で始まっています — しかしこのエッセイには根本的な弱点があります（根拠がない、反論がない、構成が弱い）。これは矛盾したシグナルを送っています。エッセイは素晴らしいと学生に伝えながら、同時にその欠点をすべて列挙しているのです。Kluger & DeNisi（1996）は、課題ではなく自己（「あなたは明らかに強く感じている」）に注意を向けさせるフィードバックは学習を減少させると見出しました。学生が受け取る結論は「10点中7点をもらい、先生は自分の声を気に入ってくれた。少し手直しするだけでいい」というものです。

問題 2: 曖昧な改善提案。 「何か根拠を加えてみては」— どんな種類の根拠ですか? エッセイのどこにですか? どれくらいですか? 「反対の視点を取り上げることを検討しては」— どの反対の視点ですか? エッセイのどこに置くべきですか? どのように構成すべきですか? Shute（2008）は、フィードバックは学生が何をすべきか正確にわかるほど具体的でなければならないと見出しました。これらの提案は実行可能にするにはあまりにも曖昧です。

問題 3: 実際の問題の診断がない。 このエッセイの根本的な問題は、学生が主張と論証の違いを理解していないことです。すべての段落は個人的な経験だけで支えられた主張を行っています。フィードバックはこの問題を名指ししていません — 根本原因（学生が強い感情と強い論証を同一視している）を特定することなく、症状（根拠がない、反論がない）を扱っているのです。

問題 4: スコアがフィードバックを損なう。 10点中7点は「これは良い」というシグナルです。もしエッセイに根拠も反論もないなら、説得力のある文章の基本基準を満たしていません。スコアとフィードバックが矛盾しています。学生はスコアに固執し、提案を無視するでしょう。

フィードバックタイプの分析

フィードバックの構成要素	タイプ	有効性	問題点
「素晴らしいエッセイ!」	自己	有害	課題ではなく自己に注意を向けさせる空虚な称賛
「あなたは明らかに強く感じている」	自己	効果なし	学生を描写しており、作品を描写していない
「あなたの書き方の声は魅力的」	課題	やや効果あり	役立つほど具体的だが、一般的な称賛に埋もれている
「何か根拠を加えてみては」	方略	効果なし	曖昧すぎる — どんな根拠を、どこに、どのように?
「反対の視点を取り上げることを検討しては」	方略	効果なし	曖昧すぎる — どの視点を、エッセイのどこに?
「あなたの結論はもっと強くできる」	課題	効果なし	具体的な内容がなければ「強く」は無意味
「よく頑張った — その調子!」	自己	有害	大幅な修正が必要なときの偽りの安心
「10点中7点」	検証	有害	スコアが根本的な修正の必要性と矛盾している

フィードバック設計の改善

再設計したフィードバック：

うまくできている点： あなたの文章には、自信と率直さがあります。「毎日、誰かが考える『自分らしさ』を押しつけられて、そのとおりに装う必要なんてない」という一文は、力強く、印象に残ります。その語り口を大切にしてください。

主な問題点――主張と論証の違い： 現状では、どの段落も主張を述べ、それを自分の経験で裏付けています。これは論証ではなく、主張です。説得力のある文章には、証拠が必要です。たとえば、事実、統計、専門家の意見、実例など、反対意見を持つ人も真剣に受け止めざるを得ないものです。読者は「あなたがそう感じるのはわかったけれど、なぜ私が気にする必要があるの？」と思っています。

まず試してほしい、具体的な改善策： 最もよく書けている段落を選んでください（2段落目の、快適さについての段落がおすすめです）。自分の主張を裏付ける証拠を一つ探してください。たとえば、生徒の集中力に関する研究、制服を廃止してその影響を測定した学校の事例、教育の専門家の引用などです。それを加えてみて、段落がどう変わるか確認してください。これが、主張と論証の違いです。

その次のステップ： 自分の立場に対する最も強い反論を選んでください（おそらく、制服は家庭の出費を抑えるという点です）。その反論を認めたうえで、それでも自分の立場のほうが説得力がある理由を説明する段落を書いてください。これは反論への応答と呼ばれ、論証文で最も説得力を高める方法の一つです。相手側の意見も検討したうえで、なお自分のほうが強い論拠を持つことを示せます。

まだ推敲しないでください。 まず作文を読み直し、個人的な経験ではなく証拠で裏付けられている文すべてに星印を付けてください。星の数を数えましょう。その数を見れば、どれだけ手を加える必要があるかがわかります。

設計の根拠

再設計したフィードバックでは、重要な変更を5つ加えています。

1. 課題に即した具体的な肯定的フィードバックを最初に伝えます。 引用例を添えた「あなたの文章には、自信と率直さがあります」という言葉は、実際の長所に対する課題レベルのフィードバックであり、自己レベルの一般的な称賛ではありません。続けるべきことを生徒に具体的に伝えています。

2. 根本的な問題に名前を付けます。 「主張と論証の違い」と示すことで、生徒は何が問題なのかを理解するための概念的な枠組みを得られます。これは詳述型のフィードバック（Narciss, 2008）です。「証拠を加えて」と伝えるだけでなく、なぜ証拠が必要なのか、作文に何が欠けているのかを説明しています。

3. 具体的で、取り組みやすい行動を一つ示します。 曖昧な改善点を並べるのではなく、一つの段落について証拠を一つ探すという具体的な課題を一つ提示します。これは、フィードバックの複雑さを学習者のレベルに合わせるというShute（2008）の原則に沿ったものです。6年生相当の成績を目指す9年生には、包括的な批評ではなく、焦点を絞った達成可能なステップが必要です。

4. 反論への応答を段階的に指導します。 単に「反対意見を取り上げて」と言うのではなく、どの反対意見を選ぶかを伝え、それを含める戦略的な理由を説明しています。これはプロセスレベルのフィードバックです（Hattie & Timperley, 2007）。

5. 診断課題で点数を置き換えます。 「星の数を数える」という指示は、生徒に問題を直接伝えるのではなく、自分で問題に気づくのを促す自己調整のための問いかけです。自立を促す、より高度なフィードバック機能であるメタ認知的な気づきを育てます。

実装に関する注意事項

• 採点から始めないでください。 システム上、採点が必要な場合は、実行可能なフィードバックの後、最後に記載してください。できれば、改訂が終わるまで採点は保留してください。
• フィードバックは、実行可能なポイントを2～3点に絞ってください。 この例では、2つの課題（根拠、反論）に加え、メタ認知を促す問いを1つ扱っています。Year 9の生徒に対しては、これが上限です。ポイントが多すぎると、認知的過負荷を招き、身動きが取れなくなります。
• LLMに見られる肯定的な反応のパターンに注意してください。 AIがフィードバックを生成する場合は、「よくできています！ただし……」というパターン（Dai et al., 2023）になっていないか確認してください。モデルには、具体的で正当に評価できる称賛から始めるか、診断内容から始めるよう指示してください。漠然とした熱意から始めてはいけません。
• 改訂後に再評価してください。 上記のフィードバックは、特定の改訂（1つの段落に根拠を追加し、反論の段落を追加する）を促すよう設計されています。改訂後は、別の課題、おそらく構成や論理の流れについてフィードバックしてください。生徒が対応した場合、同じフィードバックを繰り返してはいけません。

---

既知の制限事項

1. このスキルが評価するのは、フィードバックの設計であり、提供方法ではありません。 同じフィードバック文でも、タイミング、生徒の感情状態、生徒とシステムの関係によって、効果的にも有害にもなり得ます。課題に3回連続で失敗したばかりの生徒には、不注意なミスをした自信のある生徒とは異なる感情的なトーンが必要です。このスキルが扱うのは内容と構成であり、感情面やタイミングではありません。

2. LLMによるフィードバックのエビデンスは、まだ発展途上です。 Dai et al. (2023) は、LLMによるフィードバックの質を扱った最初期の大規模研究の一つであり、この分野は急速に発展しています。Shute (2008)、Narciss (2008)、Hattie & Timperley (2007) の原則は、人間によるフィードバックについて確立されています。これらをAI生成フィードバックに適用することは理論的に妥当ですが、包括的な検証はまだ行われていません。

3. 文化的背景は、フィードバックに関する規範に影響します。 ここで推奨する、率直で課題に焦点を当てたフィードバックのスタイルは、西洋の教育研究の規範を反映しています。文化的背景によっては、建設的であっても、率直な批判が異なる受け止められ方をする場合があります。Narciss (2008) のモデルは、主にヨーロッパおよび北米の状況をもとに開発されました。

4. フィードバックと生徒の自己効力感は、複雑に相互作用します。 Kluger & DeNisi (1996) は、自己概念を脅かすフィードバックが、パフォーマンスを低下させる場合があることを明らかにしました。自己効力感が非常に低い生徒に対しては、「空疎な称賛をしない」という原則と、意欲をさらに損なうリスクとのバランスを取る必要があります。このスキルは、個々の生徒の意欲の状態をモデル化しません。