representation-probe-designer

表現プローブ設計

出力だけでなく、構造をプローブします。

情報の確認

次の点を明確にします。

• プローブ対象となる層／埋め込み／状態
• 表現されるべき特性
• 利用可能なラベルまたは代理ラベル
• 想定される失敗モード
• プローブの目的が診断、論文での根拠提示、デバッグのいずれか

ワークフロー

1. 表現と対象特性を定義します。
2. 最小限のプローブを選択します：線形プローブ、最近傍法、クラスタリング、検索、または崩壊の診断。
3. 自明な手がかりに対する対照を追加します。
4. 負の対照と、ランダム化またはラベルをシャッフルしたベースラインを選びます。
5. 何をもって意味のある構造とみなすかを定義します。
6. 最小限で有益なプローブのセットを推奨します。

ルール

• プローブは根拠であり、完全な説明ではありません。
• モデルの容量と情報漏洩を考慮します。
• 単に興味深く見えるだけのプローブより、2つの仮説を区別できるプローブを優先します。
• 容量の大きいプローブの結果を、ベース表現に単純な特徴が含まれている証拠として過剰に解釈しないでください。

出力

次の内容を返します。

• 対象とする表現と特性
• プローブ計画
• 対照
• 解釈のルール
• 失敗モードと限界
• 次に行う最小限の診断