mandela

漏洩の有無について検証を監査してください。外部の正解データは実際に入っていますか。それとも、誰も独立して導き出していない結果を、全員が追認しているだけですか。

目標

これはマンデラ効果と呼ばれます。集団全体が、実際には独立して起きていないことを自信たっぷりに記憶している現象です。漏洩のある検証も同じ構図です。以下の8つのパターンを確認してください。mandela が調べるのは一点だけです。検証が独立しているのか、それとも設計者、モデル、スコアラーが互いを追認しているだけなのか、という点です。

ワークフロー

1. 検証対象（評価／指標／実験／ホールドアウト／「どうなれば分かるか」）を特定します。その構成要素、つまりモデル、スコアラー、設計者、データセットに該当するものを明示します。
2. 核心となる問いを確認します。外部の正解データが独立して入っていますか。
3. 検証対象を、以下の8つのパターンすべてに照らして確認します（人間の被験者やスコアラーなど、特定の構成要素にのみ当てはまるものもあります）。該当したものだけを、それぞれ名前を挙げて報告します。
4. 該当するものごとに、独立した正解データを用いるための修正策を示します。

8つの漏洩パターン

1. 推論ではなく想起 — 実際に導き出した答えではなく、記憶していた答えを繰り返すこと。システムは、本来計算するはずの結果をすでに知っています。
2. 誤った帰無仮説 — 表面的なラベルは取り除いても、システムが実際に利用する根本的な信号は残っているアブレーション。そのため、「対照群」にも漏洩が残ります。
3. 共有された幻覚 — 2つの構成要素が互いを検証し、循環性が数値として報告されます。
4. 同語反復 — スコアラーが自ら作成した分類を採点します。
5. 検証者＝設計者 — ホールドアウトを装った、非公開で再現不能な手順です。
6. 共有プールのバイアス — 学習用データとホールドアウトが同じラベラー集団から抽出され、同じバイアスが両方に入り込みます。
7. フレームの注入 — 仮説を被験者に与えてしまう質問です。
8. 要求特性 — 測定されている被験者が、自分たちが測定対象であると知っています。

ルール

• 二重に影響する微妙な点：出力値を伏せても、収集手順から漏洩する可能性があります。
• 読み取り専用です。漏洩と独立性を確保するための修正策を示し、実験を書き換えないでください。
• 重大な検証の場合は、検証設計のみを渡され、このセッションでの推論を見せられていない、独立した新しいコンテキストの監査者を1名（N=1）追加し、8パターンの分類をブラインドで再実施しても構いません。デフォルトは、同一セッション内での読み取り専用監査です。

検証

この監査にmandelaを適用します。

1. 自分自身についてパターン#3～#5を実行します。自分で作成した分類を自分で採点していませんか（同語反復、#4）。検証者は設計者と同一ではありませんか（#5）。あなたの判定は、設計自身の主張との共有された幻覚ではありませんか（#3）。
2. 監査を実施していない読者でも、引用された証拠だけからあなたの判定にたどり着けますか。つまり、独立した正解データがありますか。
3. レポートでは、根本原因を挙げます。該当項目を手当たり次第に列挙してはいけません。