design-study

Design-Study スキル

中核となるレビューの質問

必ず確認します：

1. 正確な研究課題。
2. 分析単位：患者、病変、検査、研究、フェーズ、レポート。
3. インデックス日または意思決定時点。
4. 選択基準と除外基準の適用方法。
5. 情報漏洩の有無。
6. 参照基準またはエンドポイントの定義。
7. 臨床的に意味のある比較対象。
8. 検証戦略。
9. 必要な不確実性の報告。
10. 最適な報告ガイドライン。
11. 曝露／アウトカム／共変量の定義が文献に基づいているか、それともデータ辞書からその場で作られたものか。その場で作られたものであれば、Methods の草案作成前に /define-variables に進みます。

---

標準出力

## Study Design Review
Question: ...
Study type: ...
Analysis unit: ...
Index date / prediction timepoint: ...

### Strengths
- ...

### Major validity risks
1. ...
2. ...

### Minimal fixes
- ...

### Reporting fit
- Recommended guideline: ...

### Decision
- Ready for analysis / Needs redesign / Drafting can proceed with limitations

参照文献を引用するのは、/search-lit で確認済みの DOI または PMID がある場合に限ります。それ以外はすべて [UNVERIFIED - NEEDS MANUAL CHECK] と明記します。臨床的定義、診断基準、ガイドラインの推奨を決して捏造せず、未確認のものには [VERIFY] と明記してユーザーに確認を求めます。

---

ワークフロー

フェーズ 1：研究を再構成する

プロトコル、草案、スライド、表、メモから、臨床的課題、想定される使用事例、 対象集団、入力、出力、アウトカムの定義、変数が利用可能になるタイミングを抽出します。

ゲート： 次に進む前に、再構成した研究の概要（研究課題、分析単位、想定される使用目的）をユーザーに提示し、確認を得ます。誤った再構成は、妥当性レビュー全体の方向を誤らせます。

フェーズ 2：構造的妥当性を確認する

条件に該当する場合にのみ、参照資料を読みます：

ファイル	読む条件
references/dag_adjustment.md	交絡の制御に明示的な調整セットが必要な場合
references/target_trial_emulation.md	デザインがターゲット試験をエミュレートする場合
references/venue_accept_recipe.md	臨床 DL／AI 検証研究で、達成可能なデザインがどの段階の投稿先で採択され得るか、また一段上の段階に到達するためのデザイン上の工夫を1つ判断する必要がある場合（/find-journal への橋渡し）。投稿先の段階を決める必要がない場合はスキップします
references/combine_models_ablation_design.md	モデルが既存モデル（nnU-Net、TotalSegmentator、SAM/MedSAM、事前学習済みバックボーン）の組み合わせ／適応／ファインチューニングによって構築され、比較対象をアブレーションとして設計する必要がある場合。モデルをゼロから学習する場合はスキップします
references/multi_model_comparison_design.md	研究の貢献が複数のモデル／アーキテクチャを直接比較することであり、公平な比較が必要な場合。単一モデルの研究ではスキップします（単一モデルのアブレーション → 上の行、AI 対人間 → /design-ai-benchmarking）
references/segmentation_failure_characterization_design.md	主張が、セグメンテーションモデルのスコアの高さではなく、臨床的に使用可能であることを示す場合。エンドポイントがベンチマーク精度であればスキップします（指標の選択 → /model-assessment、棄権／リスク・カバレッジ → /model-assessment）

A. 分析単位

不一致がないか確認します。病変レベルの分析から患者レベルの主張を導く場合、患者の重複がある検査レベルの分割、フェーズレベルのサンプルを独立サンプルとして扱う場合などです。

B. 漏洩

次の点を確認してください：

• 術後の特徴が術前予測に使われている
• データ分割前に正規化またはしきい値処理が行われている
• 同じ検査が訓練データとテストデータの両方に含まれている
• 評価者のアノテーションがアウトカム情報に基づいている
• NLP／LLM 抽出タスクにおける入力テキストの汚染：入力に病歴、 適応、所見、過去の診断、または紹介文が含まれる場合、その中でターゲットラベルが明示されたり、強く示唆されたりしていないことを確認してください。該当する場合、 そのタスクはラベル漏洩を伴う情報検索であり、表現型の推論ではありません。入力マスクを再設計する、 それらのフィールドを除外した感度分析を報告する、またはタスクの位置づけを変更してください。
• 構成概念への依存（予測因子がアウトカムの定義上の構成要素である場合）：（i）アウトカムを 算出する入力（アウトカムが HOMA-IR の場合の空腹時インスリンとグルコース）、または（ii）アウトカムを 定義する構成要素を使った、ほぼ同語反復的な複合指標（関連が過大評価され、ほぼ循環論法になる）。確認方法： 「この予測因子は、アウトカムの定義、または同じ測定値から、全部または一部を導き出せるか？」 導き出せる場合は除外するか、ラベル付きの較正用プローブとしてのみ使用してください。

F. 起点と生存者バイアス（発生／遷移モデル）

時間イベント解析または発生／遷移デザインでは、執筆前に次を確認してください：

• モデルごとの起点。 各発生モデルでは、適切な起点からリスク期間を開始します。 不死時間バイアス（イベントが発生し得ない期間を、ある群に誤って帰属させること）と 左切断／エントリー遅延に注意してください。
• 媒介因子の判定期間における生存者バイアス。 後の判定（2回目のスキャン、フォローアップ受診など）まで 生存したことを条件とする「進行」／遷移ラベルには、生存者バイアスが生じます。ランドマーク時点、 または明示的な中間状態（マルチステート／疾病・死亡）モデルを計画してください。
• 主要解析対象集団の選択。 主要解析の対象がコホート全体でない場合、アウトカムに対する欠測メカニズムを踏まえ、その理由を事前に規定してください。共変量で条件付けたときに欠測がアウトカムと独立であれば、完全症例回帰は不偏です（共変量が MNAR の場合も同様です）。アウトカムに依存する場合、MAR の場合も含め、一般にバイアスが生じます。この場合、通常は多重代入が主要解析となります（Hughes et al., Int J Epidemiol 2019。欠測がアウトカムのみに依存する場合は、ロジスティック回帰のオッズ比が例外です）。有意差を理由に解析対象集団を選んではいけません。
• これらにまだ回答できないデザインでは、その旨を記載してください。ただし、レビュー時に Methods／Limitations で *「正式には評価していない」*と述べると、生存性プローブ（S1）によって MAJOR にエスカレーションされます。

C. 参照基準

グラウンドトゥルースを誰がいつ確立したのか、盲検化が可能だったか、ゴールドスタンダードによる検証を受けた対象が一部に限られていたかを確認してください。そのうえで、次を確認してください：

• 構成概念と名目上の定義との一致。 各構成概念の名目上の定義を改めて示し、対象に含めたすべての症例がその定義を満たすことを確認してください。判定困難な所見として定義された「偶発腫」は、明らかな悪性所見の症例を含んではいけません。定義の範囲を超えたラベルはコホートを過大にし、κ を損ないます。
• フラグごとの参照基準との一致。 全体のみでなく、フラグカテゴリーごとに一致度を報告してください。大半のフラグ（例：約86％）が参照基準と一致しない構成概念では、別のものを測定していることになります。
• 論文の定義と variable_operationalization.md との一致。 Methods の定義は、 /define-variables の操作的定義表と一語一句一致している必要があります。また、盲検下での再分類フォームには、 解析プロトコルの定義を一語一句そのまま記載する必要があります。フォーム内の言い換えや「常識的な拡張」が原因で κ が低くなった場合、それは実際の不一致ではなく、記録された定義の不一致です。

D. 検証

見かけ上のみ、内部データ分割、交差検証、時間的検証、外部検証、または多施設外部検証に分類してください。

E. 読者／専門家 elicitation 研究

研究で専門家による評価を収集する場合（読者研究、アノテーションパネル、AI 出力の評価など）は、データ収集の前に references/reader_elicitation_design.md を読んでください。知覚／読者 AI 研究の採択上限は設計時に決まります。比較対象、推定対象、または読者コホートに組み込まれた上限を、実施の質によって引き上げることはできません。AI システムと人間の専門家を比較するベンチマークでは、/design-ai-benchmarking に進んでください（群の定義、LLM-as-judge と human-as-judge による判定、構造化エクスポートスキーマ）。

フェーズ 3：臨床的な位置付け

比較対象とエンドポイントが、主張を裏付けているか確認します。

• モデルは現在の診療より優れているのでしょうか。それとも別のモデルにすぎないのでしょうか。
• エンドポイントは臨床的に意味がありますか。
• 性能は実際の対応につながりますか。
• 上乗せ価値：モデル／マーカーが既存のツール（臨床スコア、通常の検査、ベースラインモデル）に「追加の価値をもたらす」「上乗せする」「付加的な価値をもたらす」と位置付けられている場合、通常の診療で使用される予測因子から構成したベースラインの比較対象と、追加価値を示す方法を事前に規定してください。開発データで新しい項の尤度比検定（または Wald 検定）を行い、改善の大きさとして、対応のある CI とともに ΔC-index／ΔAUC を報告してください。これらを二つ目の検定として扱ってはいけません（同じデータで適合・評価した入れ子モデルに対する DeLong 検定は無効です。DeLong 検定は、保留評価の前に固定した二つのモデルに用います）。事前に規定した閾値での意思決定曲線の純便益の変化を優先してください。NRI を用いる場合は、事前に規定したカテゴリ NRI のみとし、イベントと非イベントを分けて報告してください。連続 NRI は決して用いないでください（analyze-stats incremental_value.md；Kerr et al., Epidemiology 2014）。単独の識別能の数値だけでは「X を超える」という主張を裏付けられません。また、ベースラインモデルがない場合、入れ子モデルの比較を事後的に追加することはできません。
• ファインチューニングの寄与を評価するベースライン：NLP／LLM 研究で、ファインチューニング、LoRA、プロンプトエンジニアリング、またはマルチエージェントのラッパーによって抽出／分類が改善すると主張する場合、同一の入力、出力スキーマ、テスト分割を用いた、同一バックボーンのゼロショットまたは少数ショットの比較対象を事前に規定してください。より弱い、または無関係なベースラインでは、適応による価値の上乗せを示せません。画像解析の場合：
  • 既存モデルを組み合わせる／適応させる／ファインチューニングして構築したモデル → references/combine_models_ablation_design.md に従い、アブレーションの全段階（未適応のベースモデル、最良の単一コンポーネント、直接学習と転移学習）を評価します。
  • 複数モデルの直接比較 → 比較の公平性を確保します。すべてのモデルに同じ分割／前処理を適用し、強力で公平に調整したベースラインを用い、計算予算を揃える（または開示する）とともに、references/multi_model_comparison_design.md に従って対応のある差の検定を行います。
  • セグメンテーションモデルが臨床で使用可能だと主張する場合 → references/segmentation_failure_characterization_design.md に従い、事前に規定した失敗分類、明示した判定者と判定ルールを伴う許容可能性エンドポイント、平均値と併せた分布の裾、手作業で一から行う場合と比較した編集作業量を含めます。平均 DSC から事後的に使用可能性を主張することはできません。
• エンドポイントと結論の範囲：設計によってどのような種類の結論を裏付けられるか、事前に決めてください。横断的／単一受診／有病率の設計では、予後またはサーベイランスに関する主張（再スクリーニング間隔、疾患の進行）を裏付けられません。そのためには縦断的な追跡調査が必要です。二値の代理エンドポイント（あり／なし、>0、二分化）はリスク層別化であり、患者ケアに関する指示（治療を延期する／見送る／開始する）ではありません。レビュー時には、/self-review §D と check_scope_coherence.py が、結論に対して CROSS_SECTIONAL_PROGNOSTIC／SURROGATE_CARE_DIRECTIVE を検出します。

フェーズ 4：報告ガイドラインとの適合

主要なガイドラインとして、TRIPOD+AI、CLAIM、STARD、STROBE（ターゲットトライアルのエミュレーションでは TARGET）、PRISMA、CARE、ARRIVE のいずれかを推奨し、必要に応じてジャーナル固有の追加要件も提示してください。

---

よくある失敗パターン

診断 AI

臨床的に妥当な比較対象がない。患者単位ではなく試験単位で分割している。参照基準が不明確。しきい値指標を示さず、AUROC のみを報告している。

予後モデリング

time zero が不明確。不死時間バイアス。特徴量の時点が不一致。キャリブレーションがない。

後ろ向きコホート／スクリーニングデータベース

• time zero の不整合：コホートへの組み入れ時点 ≠ 追跡開始時点 → 不死時間バイアス。
• 区間打ち切りされた転帰を正確な時点として扱う → イベント発生時点を過小評価。
• 健康ボランティアバイアスを認識していない → 外的妥当性に関する主張が過大になる。
• 群間で追跡頻度が不均等なことによるサーベイランスバイアス。
• 各脅威を、3 つのバイアスクラス（Hernán/Robins）のいずれかに明確に対応付けます（選択バイアス：誰が対象に入るか、情報バイアス：どのように測定されるか、交絡：ほかに何が異なるか）。
• 比較／因果に関する問い → ターゲット試験をエミュレートします。 日常診療で収集されたデータを用いて、治療対治療、スクリーニング対非スクリーニング、または薬剤 A 対薬剤 B の問いに取り組む場合は、データ抽出前にターゲット試験の 7 つの構成要素（適格基準、介入戦略、割り付け、time zero、転帰、因果コントラスト、解析計画）を明示します。これにより、不死時間バイアス、既存使用者バイアス、適応による交絡を防ぎ、単なる関連を、妥当性を説明できる因果コントラストにできます。新規使用者＋実薬対照デザイン、猶予期間を設けたクローン化・打ち切り・重み付け、およびネガティブコントロールについては、references/target_trial_emulation.md を参照してください。
• 交絡因子の網羅性：DAG に基づいて調整セットを事前指定し（Table 1 の p < 0.05 ルールではなく）、曝露群間で不均衡であることが判明したものの調整セットに含まれていない測定済み共変量が、主要推定値の頑健性を損なわないかを示す拡張調整感度分析モデルを計画します。提案する共変量を scripts/adjustment_set_helper.py で事前スクリーニングします（媒介変数／コライダー／子孫変数の調整や、交絡因子の除外にフラグを立て、候補となるバックドアセットを提案します）。その後、dagitty で最小の十分なセットを導きます。references/dag_adjustment.md を参照してください。レビュー時には、/self-review の Phase 2.5e と observational_confounding.md の O プローブ（O1–O18）で、Table 1 と照合して確認します。これには、O7 の過剰調整、O10 の重複サブセット勾配の扱い、O11 の複雑な標本調査データに対するデザインベースの重み付け、O12 のデータ駆動型しきい値の探索、O13（横断研究では X→M→Y の順序を確立できないため、媒介に関する主張はできない）、および O14（相乗効果／同時効果に関する主張には、乗法尺度のみの検定ではなく、加法的交互作用尺度（RERI/AP/S）が必要）が含まれます。

マルチモーダル LLM／レポート生成

臨床的正確性を評価する明確な基準がない。判定者による確認なしに、ノイズを含むレポートからベンチマークのラベルを作成している。安全性やワークフロー上の利点について、裏付けのない主張がある。入力テキストに予測対象のラベルや診断が含まれている。ファインチューニングやプロンプトエンジニアリングに関する主張に、同じバックボーンを用いたゼロショット／少数ショットのベースラインがない。

画像メタアナリシス

コホートが重複している。対応のあるモダリティを独立したものとして解析している。異質性指標が欠けている。ゼロセルの扱いが明記されていない。

---

最小修正の原則

まず、実行可能な範囲で最小限の修正を提案します。主張を明確にする、対象集団を絞る、限界についての記述を追加する、臨床的に妥当なベースラインを追加する、重要な感度分析を 1 つ再実行する、または評価項目をより明確に定義し直す、といった方法です。それ以外では中心的な主張を擁護できない場合に限り、研究計画の再設計を検討します。

---

引き継ぎルール

• 研究デザインはおおむね妥当だが、解析の詳細を調整する必要がある場合は、analyze-stats に引き継ぎます。
• 研究デザインが確定した後は、check-reporting に引き継ぎます。
• ユーザーが自身の原稿について投稿前の品質チェックを希望する場合は、self-review に引き継ぎます。
• 主な妥当性リスクを記録した後に限り、write-paper に差し戻します。

このスキルは、統計量の計算、原稿全体の文章作成、生データのエンジニアリング上の問題の解決、またはジャーナル向けの文体が求められる場合の本格的な査読の代替を行いません。