alterlab-results-transparency

結果の透明性 — 報告規律のゲート

スキルの種類：規律を徹底するスキル。 このスキルは、統計分析の実行方法を説明するものではありません。実施した分析と、結果セクションにこれから書こうとしている文の間に立つゲートです。これは、定量的な報告で最もよく起きる、研究公正上の問題を防ぐためにあります。すなわち、「うまくいった」分析だけを報告し、残りをひそかに省いてしまうことです。

このスキルはオーケストレーションを行いますが、再実装はしません。

• 必須の背景スキル — alterlab-statistical-analysis は検定を実行し、前提を確認し（alterlab-statistical-analysis/scripts/assumption_checks.py）、効果量と信頼区間を計算し、APA 形式の数値を出力します。このスキルは、主張を書く前に、それらの出力がすべて揃っており、開示されていることを確認します。
• 必須の背景スキル — alterlab-preregistration-discipline は凍結済みの計画を管理します。このスキルは、確証的な主張がその計画に沿っていること、および逸脱が明記されていることを確認します。
• alterlab-open-science は開示の仕組み（TOP ガイドライン、事前登録へのリンク、データ／コードの利用可能性）を管理します。
• alterlab-scientific-thinking はエビデンスの質の判断を担います。このスキルが徹底するのは、報告の完全性のみです。

---

絶対原則

NO RESULTS CLAIM WITHOUT REPORTING EVERY ANALYSIS RUN

完全な報告の文面に違反することは、科学の精神に違反することです。「すべての分析を報告する」とは、この仮説についてデータに対して実際に実行したすべての検定を意味します。p > .05 となったもの、取りやめた仕様、最初に試した外れ値のルールも含みます。結果セクションは、自分の主張を裏付けた内容のハイライト集ではなく、実施したことの全件一覧です。

---

このスキルを使うタイミング

結果についての主張を書いたり、擁護したりする時点で呼び出します。

• 結果／所見セクションに文を書こうとしている。
• 「…がわかった」「X は Y を有意に予測した」「効果はなかった」と述べる。
• p 値、係数、群間差、相関を報告する。
• 実施した分析の一部だけから導いた知見を擁護する。
• 結果を見た後で外れ値を除外したり、検定を切り替えたり、共変量を追加したりしたくなっている。
• アブストラクトの結果に関する文や、知見を主張する図のキャプションを書く。

検定を選んでいる、前提を確認している、または効果量を計算している場合は、alterlab-statistical-analysis の担当です。数値の計算から知見の主張に移る段階で、ここに戻ってください。

該当しない場合 — 次のスキルに振り分けてください

依頼の本当の内容…	振り分け先
検定の選択／実行、前提の確認、効果量または信頼区間の計算	alterlab-statistical-analysis
データを見る前に分析計画が凍結されていたかどうか、HARKing／任意停止	alterlab-preregistration-discipline
p 値を見る前に適切な検定を選ぶこと（検定の選り好みを防ぐ）	alterlab-test-selection-guard
開示の場所や方法：TOP ガイドライン、事前登録へのリンク、データ／コードの利用可能性	alterlab-open-science
エビデンスの質の判断（GRADE、バイアスのリスク、交絡、研究デザインの妥当性）	alterlab-scientific-thinking
引用文献が実在し、捏造されていないことの確認	alterlab-citation-verifier
セクションごとの査読と、採択／修正／却下の判定	alterlab-paper-reviewer
完成した統合結果から IMRaD 原稿全体を起草すること	alterlab-paper-writer
助成金の最終報告書／技術報告書の文章を執筆すること	alterlab-grant-reporting

ゲート機能

結果に関する主張を書く前に、以下の手順を順番に実行してください。これは verification-before-completion ゲート（obra/superpowers）に倣ったもので、常に主張より先に証拠を確認します。

1. 特定 — 書こうとしている主張の文を正確に示します。
2. 列挙 — この仮説に対して実際に実行したテストを、「うまくいかなかった」もの（p > .05、放棄した仕様、代替の除外ルール）も含めてすべて列挙します。列挙した項目が論文に記載した項目より多い場合は、停止してください。その差は選択的報告です。
3. 報告された仮定を確認 — 報告する各テストについて、alterlab-statistical-analysis/scripts/assumption_checks.py による仮定の検証結果（正規性、等分散性、線形性、外れ値）を論文に記載し、違反があった場合は取った対処も記載してください。
4. 効果量と信頼区間の記載を確認 — 主張には、単独の p 値ではなく、95％信頼区間付きの効果量を含めます。p 値だけではゲートを通過できません（十分性の表を参照）。
5. 事前登録計画からの逸脱の開示を確認 — 凍結済みの計画（alterlab-preregistration-discipline）との相違はすべて明記し、確認的か探索的かを示します。
6. その後に限り — テスト名、統計量、df、正確な p 値、効果量と信頼区間、確認的／探索的の区分を含めて文を記載します。

主張の小規模な JSON マニフェストに対して手順 2～5 を強制する、自己完結型のチェッカーは scripts/reporting_gate.py です（標準ライブラリのみを使用。クイックスタートを参照）。

十分なものと不十分なもの

検証ギャップの表と同様に、左列の内容ではゲートを通過できません。右列がゲート通過に必要な要件です。

十分に見えるもの（不十分）	ゲート通過に必要な要件
「p < .05」	テスト名、統計量、df、正確な p 値、効果量 と 95％信頼区間
「効果は有意だった」	方向、効果量と信頼区間による大きさ、およびその根拠となる n
有意なテストのみを掲載	有意かどうかにかかわらず、この仮説に対して実行したすべてのテスト
「仮定に問題はなかった」	報告した正規性／等分散性／線形性／外れ値の結果
結果が論文の筋書きと一致している	結果が凍結済みの計画と一致しており、逸脱には探索的と明記されている
「外れ値を除外した」	事前に指定したルール、または外れ値あり／なしの感度分析

---

言い訳と現実

選択的報告に先立つ正当化をもとに作成されています。左の列の考えが頭に浮かんだら、真実は右の列にあります。

言い訳	現実
"うまくいった分析だけ報告すればいい。"	うまくいかなかった分析もデータです。それを省くのは選択的報告です。有意かどうかにかかわらず、計画した分析をすべて報告してください。
"p 値だけで十分です。効果量は明らかです。"	p 値だけでは解釈できません。効果量と 95% CI は必須です。効果の存在と大きさは別のものです。
"検定が通るように、外れ値を 3 件除外しました。"	外れ値のルールは事前に指定するか、感度分析として報告する必要があります。有意性の有無が変わるからといって選んではいけません。
"この共変量をモデルに含めるのは明らかです。"	結果を見た後で追加した共変量は、研究者の自由度に当たります。事前に指定するか、モデルを探索的と明記してください。
"ノンパラメトリック検定に切り替えました。こちらのほうが適切です。"	パラメトリック検定で有意でなかった後に切り替えたのであれば、それは検定のつまみ食いです。alterlab-test-selection-guard を使い、事前に決めてください。
"このサブグループは興味深いです（予測していませんでした）。"	計画していなかったサブグループは探索的なものです。仮説生成として報告し、確認的な結果として扱ってはいけません。
"失敗した分析まで報告すると、読者が混乱します。"	実施したすべての分析を補足表で示すのは、透明性に関する標準的な方法です（TOP）。明確さは、情報を隠す口実にはなりません。
"事前登録の条件が厳しすぎたので、科学の精神に沿って進めています。"	探索的セクションで反復してください。確認的な主張には、固定された計画が必要です。

---

危険信号 — 停止

以下のいずれかを考えていることに気づいたら、停止してください。研究者の自由度を利用しようとしています。すべてを完全に報告するか、探索的と明記してください。

• "うまくいった分析だけ報告すればいい。"
• "これらの外れ値を除外して、原稿を書く前に再実行しよう。"
• "この共変量を 1 つ追加すれば、効果が現れる。"
• "別の検定を試そう。この結果は有意とは言い切れない。"
• "有意でないモデルは結果から省いてもいい。"
• "このサブグループは興味深い。発見として書こう。"
• "p < .05 に近いから、傾向があると言って先に進もう。"
• "主要評価項目を変更したことに触れる必要はない。"
• "p 値を切り下げて、効果量はとりあえず省略しよう。"

これらはすべて、停止を意味します。ゲート関数を実行してください。すべてを報告するか、探索的と明記してください。

---

エスカレーションゲート（多重比較／検定のつまみ食い）

systematic-debugging の「3 回失敗したら、アプローチが間違っている」というルールに対応します。

有意性を探すために、同じ仮説に対して 3 回以上の検定 を実施しましたか？停止してください。これは多重比較／検定のつまみ食いです。すべての検定について補正する（Bonferroni／FDR — alterlab-statistical-analysis を使用）か、分析を探索的と明記してください。p < .05 を見つけるために、検定 #4 を実施してはいけません。

---

クイックスタート

# 1. Build a tiny manifest of the claim and what was actually run (see references).
# 2. Run the gate; non-zero exit = claim is not clear to write.
uv run python skills/methodology/alterlab-results-transparency/scripts/reporting_gate.py claim.json

このスクリプトは統計エンジンではなく、決定論的な透明性リンターです。マニフェストにすべての実行が記載されていること、報告する各主張に効果量と CI が添えられていること、仮定の検定結果が含まれていること、逸脱が明記されていることを確認します。p 値や効果量を計算することはありません。それは alterlab-statistical-analysis の役割です。

---

詳細

• references/gate_function.md — ゲートの全手順、主張マニフェストのスキーマ、合格／不合格の例。
• references/transparency_standards.md — 完全な結果報告に含まれる内容（CONSORT 2025／STROBE の結果項目、TOP 2025 の結果の透明性チェック、APA の結果報告要件）と、このスキルが関連スキルにどう対応するか。

報告前のセルフチェック

• 実施したテストをすべて列挙しましたか。それとも、草稿に記載したものだけですか？
• すべての主張に、単独の p 値ではなく、効果量 + 95% CI を記載していますか？
• 前提条件チェックの結果を alterlab-statistical-analysis から報告していますか？
• 凍結した計画からの逸脱にはすべて、確認的か探索的かを明記していますか？
• 1 つの仮説に対して 3 件以上のテストを実施しましたか？補正しましたか。それとも探索的と明記しましたか？

AlterLab Academic Skills スイートの一部です。