results-writeup

結果の記述

結果について、最も強く、かつ正直な記述をしてください。自信に満ちた文章より、適切に調整された文章のほうが、査読者との議論で説得力を発揮します。

このスキルが解決する中心的な課題

科学的な結果の記述でよく見られる失敗は、次の2つです。優れた文章では、どちらも避ける必要があります。

1. 過大な主張。 相関をメカニズムとして扱う、単一のデータセットを一般法則として扱う、p < 0.05 を真実と見なす、あるいは効果が見られないことを効果がない証拠として扱うことです。査読者はこれを見抜き、論文の評価を下げます。
2. 過小な主張／曖昧さ。 あらゆる表現に留保を付けて役に立たない記述にする（「結果は潜在的な傾向を示唆する可能性があります」）、実際の発見を但し書きの下に埋もれさせる、あるいはどんな解釈にも踏み込まないことです。これは読者の時間を無駄にし、著者自身が自分たちの研究を信じていない印象を与えます。

目指すべきはその中間です。何が見つかったのか、それが何を意味するのか、そしてどこまで言えるのかを、この順に正確に述べます。1つの文で「可能性がある」や「おそらく」を2回使いたくなったら、その主張が誤っているか、実際に何を主張したいのかをまだ整理できていないということです。

ワークフロー

1. 出典を明確にして結果を集める

何かを書く前に、記述に含めるすべての定量的な主張を列挙し、それぞれの出典（具体的な表、記録された実験、ノートブックのセル、スクリプトの出力など）を記してください。追跡可能な出典がない数値は、記述に含めてはいけません。これが最も重要なステップであり、それ以外のすべてはこのステップに基づきます。

ユーザーが一部の数値の出典を示しておらず、それが必要な場合は、草案を書く前に尋ねてください。もっともらしい数値で不足を取り繕ってはいけません。

2. 観察と解釈を分ける

査読者から最もよく指摘されるのは、著者が「測定したこと」と「その意味」を混同している点です。これらは別の文に、できれば別の段落に分けてください。

• 観察：「手法 A はテストセットで F1 が 0.84 となり、ベースラインの 0.79 を上回りました（シード数 n=3、±0.01）。」
• 解釈：「これは という仮説と整合していますが、差は小さいため、 も依然として考えられます。」

有用な内部チェックとして、懐疑的な読者が観察の文には同意しつつ、解釈の文には同意しないことがあり得るかを考えてください。そうでなければ、2つが絡み合っています。

3. 根拠に合わせて主張の強さを調整する

表現の強さを、根拠の強さに合わせてください。強いものから弱いものへの大まかな目安は次のとおりです。

• 「X です」／「X が Y を引き起こします」— 確立されたメカニズムや定理に限って使用します
• 「X は Y を改善します」／「X が見つかりました」— 効果が明確で、直接的かつ再現された実証結果に使用します
• 「X は Y と整合しています」／「データは Y を支持しています」— 仮説と一致する観察的根拠に使用します
• 「X は Y を示唆しています」／「これは Y を示唆するものです」— 弱いシグナルや探索的分析に使用します
• 「X は Y を支持する予備的な根拠です」— 単一の実験、少ない n、未再現の場合に使用します

留保を示す表現（「可能性がある」「あり得る」「潜在的に」）を使う場合は、情報を伝えるものでなければなりません。主張に留保が付くのはなぜでしょうか。サンプルサイズでしょうか。交絡因子でしょうか。単一のデータセットでしょうか。その理由を、セクション内で少なくとも一度は明示してください。

4. 検証していないことを述べる

論文の多くは、主張した内容ではなく、認めるべき限界を認めていないために却下されます。限界のセクションに入る前に、次の点を列挙してください。

• 実験範囲外の条件（他のデータセット、尺度、分布）
• 実施していないアブレーション
• 比較していないベースライン（およびその理由）
• 検証していない失敗モード

これは正直なだけでなく、戦略的にも賢明です。査読者の懸念に先回りして答えるほうが、避けて通るより説得力があります。

5. 不整合や弱い根拠を明らかにする

結果がシードを変えると再現されなかった場合、ある指標は改善した一方で別の指標は悪化した場合、あるいは1つのデータセットが他と一致しなかった場合は、そのことを明記してください。不整合を隠すと、たいてい逆効果になります。査読者はそれを見つけ、隠蔽は元の不一致より悪い印象を与えます。「結果 X は設定 Y には転移しませんでした。この理由は だと考えますが、 も否定できません」と短く記すほうが、何も述べないよりはるかに優れています。

6. 具体的な次のステップで締めくくる

曖昧な今後の課題（「この手法を他の領域にも拡張する予定です」など）は内容のない文言です。具体的な次のステップでは、未解決の疑問を解消するための特定の実験、データセット、分析を示します。一般論を並べた段落より、具体的な項目が1つか2つあるほうが有用です。

避けるべき、よくある認識上の落とし穴

• 相関関係 → メカニズム。「パラメーター数が多いモデルほど損失が低かった」という結果だけでは、パラメーターが何らかの意味で損失を引き起こすことは証明されません。相関関係を述べ、観測されていない交絡因子（学習計算量、データ規模、ハイパーパラメーター調整にかけた労力）を明記してください。
• 単一のデータセット → 一般法則。「CIFAR-10で私たちの手法はXを上回った」は、「私たちの手法はXを上回る」という意味ではありません。主張の範囲を、検証した条件に限定してください。
• 効果が見られない → 効果がないことの証明。「有意差は観測されませんでした」は、「差はありません」という意味ではありません。使用したサンプルで検出可能な検出力／効果量を示してください。
• **p < 0.05 → 真実。**p値に加えて（またはその代わりに）、効果量と信頼区間を報告してください。実用上の有意性 ≠ 統計的有意性です。
• **都合のよいシードや指標だけを選ぶこと。**最良のシードのみを報告する場合は、その旨を記載してください。結果を見た後に指標を選んだ場合は、その旨を記載してください。
• 最良ケースだけを強調すること。「最大30％の改善」は通常、「中央値で4％の改善」を隠しています。典型的なケースを報告し、最良のケースは別の詳細として記載してください。

数値、単位、図表

• 出典を示せる場合に限り、数値を使用してください。記憶を頼りに数値を書きたくなった場合は、代わりにプレースホルダー（[XX]）を使い、ユーザーが記入する必要があることを明記してください。
• 複数回の実行結果を集約する場合は、必ず不確実性（標準偏差、信頼区間、IQRなど、適切なもの）を含めてください。点推定値だけでは報告として不十分です。
• 精度をノイズの大きさに合わせてください。標準偏差が±2％なのに84.27％と報告するのは、見せかけの精度です。84％ ± 2％と記載してください。
• 図や表に言及する際は、何を示しているのかを本文で簡潔に説明してください。読者が図表を見ることを前提にしてはいけません。

出力の構成

デフォルトのセクションは、次の順序です。

• 設定 — 何を、どのデータで、どのような設定で実行したか。原理的に結果を再現するのに十分な情報を示します。
• 主な知見 — 主要な結果を、裏付けとなる数値を添えて、それぞれ正確な主張として示します。
• 解釈 — 根拠の強さに応じて調整した形で知見の意味を説明し、別の説明も認めます。
• 限界 — 検証していないこと、主張を揺るがしうる要因、結果が適用されない範囲を示します。
• 次のステップ — 知見をさらに発展させたり、ストレステストしたりするための具体的な実験や分析を示します。

状況に応じて構成を調整してください。

• 論文の結果セクション：設定 + 主な知見のみ。解釈は考察に移します。
• 論文の考察：解釈 + 限界 + 今後に向けた締めくくり。
• 学会の査読への反論：査読者が指摘した最も重大な点から始め、新たな証拠または明確な譲歩によって対処してから、次の点に進みます。#2と同様に、観察と解釈を分けてください。査読者は反論における過剰な主張に特に注意を払います。
• ラボノート／内部報告書：構成は柔軟でもかまいませんが、出典の厳密さは保ってください。こうした資料は次の論文の信頼できる情報源になることが多いため、出典のない数値は後々問題になります。
• 助成金／進捗報告書：資金提供者はこの違いを特に重視するため、実証されたことと、今後計画されていることを明確にしてください。

例

例1：曖昧な主張を引き締める

修正前：私たちのモデルはベースラインを大幅に上回る性能を示しており、このタスクではアテンションが重要であることが示唆されます。

修正後：私たちのモデルのF1スコアは0.84（±0.01、3つのシード）で、ベースラインの0.79（±0.02）と比べて5ポイント上回りました。この結果は、アテンションがこのタスクの性能に寄与しているという見方と一致します。ただし、§4.3のアブレーションでは、位置エンコーディングを取り除くと差が1ポイントに縮まっており、改善をアテンションだけがもたらしたのではなく、2つの仕組みが相互作用していることが示唆されます。

修正後の文章は、より踏み込んでいると同時に、より誠実です。実際の数値を示し、仕組みに関する主張を限定し、単純な説明に疑問を投げかけるアブレーション結果を示しています。

例2：都合の悪い結果を扱う

修正前（失敗を省略）：私たちの手法はすべてのベンチマークでベースラインを上回ります。

修正後（認めたうえで文脈を説明）：私たちの手法は5つのベンチマークのうち4つでベースラインを上回りました。残る1つ（LongDocQA）では2ポイント下回っています。この原因は§3.2の切り詰め戦略にあると考えています。この戦略では、8kトークンを超える文書から関連するコンテキストが破棄されます。これは現在の実装の限界であり、手法に本質的に備わる性質ではありません。

2つ目の文章のほうが説得力があるのは、失敗を自ら明らかにして誠実さを示すと同時に、その影響を限定する仕組み上の説明をしているからです。

例3：適切に調整された否定的結果

修正前：がに影響しないことがわかりました。

修正後：がに与える統計的に有意な影響は観察されませんでした（Δ = 0.3%、95% CI [-1.1%, 1.7%]、n=200）。この信頼区間から、約2%を超える影響は除外されますが、それより小さい影響が存在する可能性は残っており、検出にはより大きなサンプルが必要です。

2つ目の文章では、曖昧な帰無結果が有益な結果に変わっています。どの程度の大きさの影響を除外できたかという、読者にとって実際に役立つ情報が示されています。

ユーザーがより強い表現を求めた場合

研究者が、証拠で裏付けられる以上に断定的な主張を求めることがあります。通常、締め切りが迫っている場合や、査読者やアドバイザーから異議を受けた場合に起こります。その際は、次のように対応します。

1. どの主張が、なぜ証拠の範囲を超えているのかを具体的にはっきり伝えます。
2. 証拠が誠実に裏付けられる範囲で、できる限り強い表現を提示します。
3. それでもユーザーがより強い表現を望む場合は、その表現を書きます。ただし、具体的なリスクを示し、ユーザーが十分に理解したうえで選べるようにします。最終的な主張を決めるのはユーザーです。このスキルの役割は、ユーザーが誤って過大な主張をしてしまわないようにすることです。