assessment-validity-checker

アセスメント妥当性チェッカー

このスキルでできること

提案されたアセスメントを、妥当性（主張するものを測定しているか）、信頼性（異なる採点者が同じスコアをつけるか）、真正性（課題に意義があり、意図した学習を真に実証する必要があるか）という3つの側面から評価します。出力では、妥当性に対する具体的な脅威――構成概念に無関係な分散（主張するものとは異なるものをアセスメントが測定している）、構成概念の過少代表（測定すると主張する内容を十分に網羅していない）、結果的妥当性の問題（アセスメントが意図しない悪影響をもたらす）――を特定し、それぞれの脅威に対する具体的で実行可能な推奨事項を提示します。AIが特に役立つのは、明示的な分析フレームワークなしでは見えにくい妥当性への脅威が、教師が作成するアセスメントの多くに含まれているためです。たとえば、教師が作成した「読解力」テストが、意図せず作文力を測っていたり、「理科の理解度」アセスメントが実際には読解力を測っていたりすることがあります。

エビデンスの基盤

Messick（1989）は、妥当性の概念を単一のフレームワークに統合しました。妥当性はテストそのものの特性ではなく、テストスコアの解釈と使用に関するものです。テストは抽象的に「妥当」または「妥当でない」のではなく、特定の集団に対する特定の目的において妥当なのです。つまり、すべてのアセスメントを意図された用途に照らして評価する必要があります。Wiliam（2011）はこのフレームワークを教室でのアセスメントに適用し、教師が作成するアセスメントで最もよく見られる妥当性への脅威が、構成概念に無関係な分散であることを示しました。これは、アセスメントが意図した構成概念とは異なるものを測定している状態です。たとえば、「気候変動の理解度」を評価するグループ発表では、気候変動の理解度よりも、人前で話す自信、グループ内の力学、テクノロジーのスキルが実際には測定されているかもしれません。Kane（2006）は、妥当性を論証として捉えるアプローチを提唱しました。アセスメントの妥当性は、課題 → 回答 → スコア → 解釈 → 判断という推論の連鎖の強さによって決まります。この連鎖に弱い部分があれば、妥当性への脅威となります。Brookhart（2003）は測定理論を教室の文脈に応用し、教室でのアセスメントは標準化テストと同じ心理測定基準を満たす必要はないものの、主張するものを測定していることを示さなければならないと論じました。Stobart（2008）は、アセスメントが学習に及ぼす影響である結果的妥当性に注目しました。アセスメントによって、生徒が真剣に取り組むのではなく、表面的な学習やテスト不安、戦略的な行動に向かうなら、その結果的妥当性は損なわれています。

入力スキーマ

教師は以下を提供する必要があります。

• アセスメントの説明： 生徒が行うことと、採点方法。例：「生徒は第一次世界大戦の原因について500語のエッセイを書き、歴史的知識、分析的な論述、証拠の活用、文章表現という4つの基準を設けたルーブリックに沿って採点されます」／「生徒は光合成に関する30問の多肢選択テストに回答します」／「生徒は健康的な食生活についてポスターを作成し、クラスで発表します」
• 意図した学習： アセスメントで測定すると主張する内容。例：「第一次世界大戦の原因に関する理解と、歴史的な論述を組み立てる力」／「光合成に関する知識と理解」／「栄養と健康的な食生活に関する理解」
• 生徒のレベル： 学年。例：「Year 10」

任意項目（利用可能な場合、コンテキストエンジンによって注入されます）：

• 教科領域： カリキュラムの教科
• アセスメントの目的： 形成的、総括的、診断的、または評価的
• 採点方法： 採点方法
• 重要度： アセスメントの結果

プロンプト

You are an expert in educational assessment and measurement, with deep knowledge of Messick's (1989) unified validity framework, Wiliam's (2011) approach to classroom assessment validity, Kane's (2006) argument-based validation, and Stobart's (2008) work on consequential validity. You understand that validity is not a property of the test itself but of the interpretation and use of the scores — an assessment is valid FOR a specific purpose, and the same assessment may be valid for one purpose but invalid for another.

Your task is to evaluate the validity of:

**Assessment description:** {{assessment_description}}
**Intended learning:** {{intended_learning}}
**Student level:** {{student_level}}

The following optional context may or may not be provided. Use whatever is available; ignore any fields marked "not provided."

**Subject area:** {{subject_area}} — if not provided, infer from the assessment description.
**Assessment purpose:** {{assessment_purpose}} — if not provided, infer from the description and stakes.
**Marking approach:** {{marking_approach}} — if not provided, note that marking approach affects reliability and recommend one.
**Stakes:** {{stakes}} — if not provided, analyse for both low-stakes and high-stakes use.

Analyse across these dimensions:

1. **Construct validity (Messick, 1989):**
   - Does the assessment task actually require demonstration of the intended learning?
   - **Construct-irrelevant variance:** Does the assessment inadvertently measure something ELSE? (E.g., a science assessment that requires essay writing also measures literacy; a group project also measures collaboration and social dynamics.)
   - **Construct underrepresentation:** Does the assessment cover enough of the intended construct? (E.g., a test on "understanding photosynthesis" that only asks factual recall questions doesn't assess understanding — it assesses memorisation.)

2. **Content validity:**
   - Does the assessment sample appropriately from the domain of intended learning?
   - Are important aspects of the learning missing from the assessment?
   - Are there aspects of the assessment that go beyond the intended learning?

3. **Reliability (Brookhart, 2003):**
   - Would different markers give the same score? (Inter-rater reliability)
   - Would the same student get a similar score on a different day? (Test-retest)
   - Is the marking scheme clear enough to be applied consistently?

4. **Consequential validity (Stobart, 2008):**
   - What behaviours will this assessment drive? Will students engage in genuine learning or strategic/surface-level preparation?
   - Does the assessment create unfair barriers for specific groups (EAL students, students with learning differences)?
   - Does the assessment format match the learning it claims to measure?

5. **Authenticity:**
   - Does the task require genuine demonstration of the learning, or can a student perform well without actually having learned the intended content?
   - Can the task be completed through memorisation, copying, or procedural compliance without understanding?

Return your output in this exact format:

## Assessment Validity Analysis

**Assessment:** [Brief description]
**Claims to measure:** [Intended learning]
**For:** [Student level]

### Validity Analysis

**Construct validity:** [Analysis of whether the assessment measures what it claims]
**Construct-irrelevant variance:** [What ELSE the assessment measures that isn't intended]
**Construct underrepresentation:** [What aspects of the intended learning are NOT assessed]

### Reliability Analysis

[Analysis of marking consistency and specific reliability concerns]

### Consequential Validity

[What learning behaviours the assessment is likely to drive]

### Threats Identified

[Numbered list of specific validity threats, each with an explanation]

### Recommendations

[Specific, actionable modifications to address each identified threat]

### Overall Verdict

[Summary judgement: is this assessment fit for its stated purpose? What is the single most important modification?]

**Self-check before returning output:** Verify that (a) the analysis addresses construct validity, reliability, and consequential validity, (b) each threat is specific and explained, (c) each recommendation directly addresses an identified threat, (d) the analysis considers the assessment's purpose and stakes, and (e) the verdict is constructive — identifying what to fix, not just what's wrong.

出力例

シナリオ： 評価の説明：「生徒は気候変動の原因についてポスターを作成し、クラスで発表します。ポスターには、少なくとも3つの原因、視覚的な要素（グラフまたは図）、そして『見た目の魅力』を盛り込む必要があります。20点満点で評価します：内容（8点）、ビジュアルデザイン（6点）、発表（6点）。」／学習目標：「生徒は気候変動の原因と影響を理解します。」／生徒の学年：「9年生」／教科：「地理」

---

評価の妥当性分析

評価課題： 気候変動の原因に関するポスター発表
測定対象の主張： 気候変動の原因と影響の理解
対象： 9年生の地理

妥当性分析

構成概念妥当性： 懸念は中程度です。この評価は気候変動の原因と影響の理解を測定するとしていますが、課題と採点基準では、地理の知識（20点中8点＝40％）、ビジュアルデザインのスキル（6点＝30％）、人前で話すスキル（6点＝30％）という3つの構成概念を同時に評価しています。気候変動を深く理解していても、絵を描くことや自信を持って話すことが苦手な生徒は、知識が表面的でも、美しくデザインされたポスターを自信を持って発表する生徒より低い点数になります。この評価は、うたわれている能力を主に測定していません。

構成概念と無関係な分散：

• ビジュアルデザイン（6点）： 「見た目の魅力」があるポスターを作る能力は、気候変動の理解とは無関係です。これは美術やデザインのスキルに加え、色ペン、プリンター、工作材料を利用できるかどうかを測っています。こうした資源は地理の理解ではなく、社会経済的背景と相関します。見た目はよくなくても科学的に正確なポスターを作った生徒は減点されます。これは最も重大な妥当性への脅威です。
• 発表スキル（6点）： 人前で話す自信は、地理の理解とは別のスキルです。EALの生徒、発話に困難のある生徒、社交不安のある生徒は、この要素によって不利になります。発表から理解度が分かることはありますが、20点中6点が話し方に割り当てられているため、発表の仕方が科学的な正確さと同じ重みで評価されています。
• 教材へのアクセス： 色付きの画像を印刷したり、自宅のコンピューターを使ったり、ポスターの材料を購入したりできる生徒は、学習とは無関係な点で有利になります。

構成概念の過少代表：

• 評価では「少なくとも3つの原因」が求められていますが、学習目標には「影響」も含まれています。影響は明記された学習目標の一部であるにもかかわらず、評価されていません。
• 原因を「説明」することは求められず、列挙するだけで構いません。説明なしに「化石燃料の燃焼、森林破壊、農業」と列挙したポスターでも、内容の満点を取れます。列挙は想起であり、説明は理解です。この評価では「理解」の要素が十分に扱われていません。
• 原因同士の関係、相対的な重要性、証拠の評価は測定されません。しかし、これらは学習目標が示唆する地理的思考スキルです。

信頼性分析

• **「見た目の魅力」**は主観的で、基準が明確ではありません。何が見た目の魅力にあたるかについて、採点者間で大きく意見が分かれる可能性があります。この基準は、どの評価項目よりも評価者間信頼性が低くなるでしょう。
• **内容の採点（8点）**は、採点基準で「原因」とは何か、どの程度の説明に何点を与えるかを定めれば、信頼性を高められる可能性があります。しかし、説明されているとおり「少なくとも3つの原因」は、質を段階的に評価する基準ではなく、二者択一のしきい値です。基本的な原因を3つ列挙した生徒と、5つの原因について証拠を挙げて詳しく説明した生徒が、同程度の点数になる可能性があります。
• **発表（6点）**には、基準の説明がありません。採点者によって、流暢さ、自信、アイコンタクト、声量、内容の正確さのどれを重視するかが異なる可能性があります。ルーブリックがなければ、信頼性は低くなるでしょう。

結果的妥当性

• 評価が理解よりも装飾を重視するよう促しています。 20点中12点（60％）がデザインと発表に左右されると分かれば、生徒が内容の学習よりも、ビジュアルの作成や発表の練習に多くの時間を費やすのは合理的です。これにより、表面的な学習行動が促されます。
• 評価がEALの生徒や内気な生徒に不利に働きます。 発表に6点を割り当てることで、地理とは関係のない障壁が生じます。気候変動を深く理解していても、発表に不安を感じる生徒は、実際の理解度に見合わない低い成績になります。
• 評価が社会経済的な優位性を後押しします。 プリンター、色紙、マーカー、デザイン用のコンピューターを使えることにより、30％の配点で一部の生徒が大きな優位に立ちます。これは不公平です。

特定された脅威

1. 重大：視覚的なデザインに起因する構成概念と無関係な分散。 配点の30％が地理ではなくデザインの技能を評価しています。つまり、評価スコアが、評価対象として掲げられているものを反映していません。
2. 重大：発表に起因する構成概念と無関係な分散。 配点の30％が人前で話す能力を評価し、EALの生徒、不安を感じる生徒、発話に困難のある生徒に不利に働きます。
3. 中程度：構成概念の過少代表。 学習目標に含まれているにもかかわらず、気候変動の影響が評価されていません。原因の説明は求められず、列挙するだけで十分です。
4. 中程度：信頼性が低いこと。 「視覚的に魅力的」は主観的です。発表にはルーブリックがありません。内容の採点では、説明の質が区別されていません。
5. 軽微：結果的妥当性。 配点が学習よりも装飾を重視するよう促しています。

推奨事項

1. 配点を再構成します。 内容を全体の少なくとも70％にします。視覚的デザインは0点にして評価基準から完全に削除するか、「視覚的な情報伝達の明瞭さ」に上限2点を割り当てます（図やグラフが情報を効果的に伝えているかを評価し、見栄えの良さは評価しません）。発表は最大4点に減らし、自信のある話し方ではなく、説明の明瞭さに焦点を当てたルーブリックを用います。

2. 列挙だけでなく説明を求めます。 「原因を少なくとも3つ挙げる」を「気候変動の原因を3つ説明し、それぞれの原因が温室効果ガス濃度の上昇にどのように寄与するかを含める」に変更します。これにより、暗記ではなく理解が求められます。

3. 欠けている構成概念を加えます。 原因だけでなく影響にも触れる要件を加えるか、評価に合うように学習目標を変更します。両者の整合性を確保する必要があります。

4. 「視覚的に魅力的」を「明瞭で、情報を効果的に伝える」に置き換えます。 視覚要素を残す場合は、グラフや図が地理情報を正確に伝えているかを評価し、見た目の魅力は評価しません。

5. 対面での発表に代わる選択肢を用意します。 クラスで発表する代わりに、録画した説明、文章による段落、または教師への個別説明を提出できるようにします。これにより、人前で話すことの障壁を取り除きながら、生徒が自分の理解を説明できるかどうかは引き続き評価できます。

6. 内容のルーブリックを作成します。 内容の8点満点の採点を、原因の列挙（低い段階）、原因の説明（中間の段階）、原因同士の関係や相対的な重要性の分析（高い段階）を区別する記述式のルーブリックに置き換えます。

総合評価

現在の設計では、この評価は目的に適していません。気候変動の理解を測るとうたっていますが、実際には地理の知識（40％）、美術の技能（30％）、人前で話す能力（30％）を組み合わせて測っています。最も重要な変更は、内容の理解が評価の中心となるように配点を再構成することです。気候変動の原因と影響を深く理解している生徒は、ポスターのデザインや発表への自信にかかわらず、高い点数を取れるべきです。

---

既知の制限事項

1. この分析では、評価の説明に記載された内容を評価しており、実際の実施方法とは異なる場合があります。 デザインには寛大に、内容には厳しく採点する教師であれば、実際には配点の問題を部分的に補える可能性があります。しかし、構造上の問題は残ります。妥当であるべきなのは評価の実施方法だけでなく、評価の設計そのものです。

2. 妥当性は常に目的との関係で決まります。 この分析では、明示された目的（気候変動への理解を測定すること）に対する妥当性を評価しています。評価の実際の目的にプレゼンテーションスキルの育成が含まれる場合、妥当性の分析は異なります。ただし、その場合は複数の構成概念を測定する評価として明示する必要があります。

3. 妥当性を脅かす要因のなかには、誤りではなくトレードオフとなるものもあります。 プレゼンテーションの要素を含めることには、話す力の育成や自信の向上といった、正当な教育上の理由があるかもしれません。この分析では、こうした設計上の選択による妥当性への影響を示しています。教育上の利点が妥当性を損なうことを正当化するかどうかは、教師が判断する必要があります。重要なのは、評価が実際に何を測定しているのかを明確にすることです。