research-idea-validator

Research Idea Validator

粗い研究アイデアを、「進める」「見直す」「保留する」「打ち切る」という判断につなげます。このスキルは、実装や大規模な実験に着手する前の、プロジェクト初期の方向性決定を支援します。

次のような場合に、このスキルを使用します。

• ユーザーが研究アイデアを持っていて、取り組む価値があるか知りたい
• プロジェクトの方向性について、進めるかどうかの判断が必要
• 新規性、実現可能性、評価、査読者からのリスクが不明確
• 複数のアイデアから選ぼうとしている
• 指導教員への提案やプロジェクト提案書を準備したい
• 初期の結果から、プロジェクトの位置づけを見直す必要がありそう

一般的なブレインストーミングとして扱わないでください。目的は、アイデアを研究可能なプロジェクト、そして論文として発表可能な成果にできるか判断することです。

このスキルは、次と組み合わせて使用します。

• 判断をプロジェクトレベルの主張、リスク、アクション、または判断ボードに残す必要がある場合は、research-project-memory
• 関連性の高い研究や新規性のリスクが不明確な場合は、literature-review-sprint
• アイデアは有望だが、手法の形が十分に定まっていない場合は、algorithm-design-planner
• 主張が明確で、最小限の検証計画が必要な場合は、experiment-design-planner
• 原稿、提案書、またはエビデンス一式ができてから、paper-reviewer-simulator
• 論文としてまとめるのに十分な内容が揃ってから、投稿先に合わせて調整する conference-writing-adapter

スキルのディレクトリ構成

<installed-skill-dir>/
├── SKILL.md
└── references/
    ├── decision-rules.md
    ├── five-plus-c-rubric.md
    ├── memory-guidelines.md
    ├── paper-shapes.md
    └── reviewer-risk-patterns.md

段階的な読み込み

• 必ず references/five-plus-c-rubric.md と references/decision-rules.md を読みます。
• 貢献の種類や論文の形式を判断する場合は、references/paper-shapes.md を読みます。
• 不採択のリスクや指導教員からの異議を予測する場合は、references/reviewer-risk-patterns.md を読みます。
• アイデアやプロジェクトに関する知識を保存または再利用する場合は、references/memory-guidelines.md を読みます。
• 対象リポジトリに memory/ がある場合、またはユーザーがプロジェクトの記憶を求める場合は、判断、リスク、アクションの記録に research-project-memory の書き込み規約を使用します。
• 新規性や現在の競争状況が重要な場合は、ウェブ検索またはユーザーから提供された論文を用いて、最新の情報を確認します。

基本原則

• 興味深いアイデアと、研究可能なプロジェクト、発表可能な論文を区別します。
• 励ましの言葉を並べるのではなく、判断を示します。
• アイデアを評価する前に、成立しうる最良の論文の主張を明示します。
• 関連性の高い研究に関するリスクを早い段階で特定します。
• 大規模で曖昧な実装より、小規模で反証可能な検証を優先します。
• 実現可能性も科学的に評価します。必要なエビデンスを得られないのであれば、そのアイデアは準備が整っていません。
• 変更が容易な段階で、査読者からの異議を表面化させます。
• 判断が kill であっても、役に立つ出力を維持します。

ステップ 1 - アイデアを整理する

次の情報を抽出するか、質問して集めます。

• 1 文でまとめたアイデア
• 対象分野と読者層
• 想定する貢献の種類（分かっている場合）
• 現在の動機または解決したい課題
• 提案する技術的なアプローチ
• 利用可能なコード、データ、計算資源、協力者、時間
• 既知の関連研究
• 希望する投稿先または論文の種類（ある場合）
• 現在のエビデンス（ある場合）

アイデアが曖昧な場合は、次の形に書き直します。

We want to solve [problem] for [setting] by [technical move], expecting [measurable benefit] over [baseline/previous approach].

この文を書けない場合、判断はおそらく revise です。

ステップ 2 - FIVE+C を適用する

references/five-plus-c-rubric.md を読みます。

次の項目を評価します。

• Framing：アイデアが解決する問題と、裏付けられる可能性のある主張
• Importance：その問題が分野や対象の投稿先にとって重要である理由
• Validity：中心的な仮定が妥当で、反証可能かどうか
• Evidence：懐疑的な査読者を納得させるエビデンス
• Execution：利用可能なリソースで、そのエビデンスを得られるかどうか
• Competition：最も近い古典的研究、最近の研究、並行して進む研究

各項目を定性的に評価します。

strong / medium / weak / unknown

不明であることはリスクであり、中立を意味するものではありません。

ステップ 3 - 論文の形式を選ぶ

貢献の種類が明確でない場合は、references/paper-shapes.md を読んでください。

最適な論文形式を分類します。

• 理論
• 手法
• ベンチマーク
• データセット
• 実証分析
• システム
• 応用
• 否定的な結果
• 見解／解釈
• ハイブリッド

続いて、次の点を明示します。

• 実現可能な最も強い論文の主張
• 避けられない最も弱い主張
• 論文で証明、測定、または実証すべきこと
• 避けるべき主張

アイデアが弱い主張しか裏付けられない場合は、無理に手法論文に仕立てるのではなく、revise または park を選んでください。

ステップ 4 - 査読者からの批判を予測する

references/reviewer-risk-patterns.md を読んでください。

査読者から寄せられる可能性が最も高い異議を列挙します。

• 新規性が小さすぎる
• 問題の重要性が低い
• 最も関連性の高い既存研究ですでに扱われている
• 手法が小さなエンジニアリング上の変更にすぎない
• 評価が主張に合致していない
• ベースラインが弱い、または十分に調整されていない
• エビデンスの取得コストが高すぎる
• 仮定が現実的でない
• 失敗モードに対処していない
• 貢献の種類が投稿先の会議やジャーナルに適していない

主要な異議ごとに、次のいずれに該当するかを示します。

• 解決しない限り致命的
• フレーミングの見直しで解決可能
• 文献調査で解決可能
• アルゴリズム設計で解決可能
• 実験設計で解決可能
• 許容できる制約

ステップ 5 - 決定する

references/decision-rules.md を読んでください。

次から必ず 1 つだけ選んでください。

• pursue：今すぐプロジェクトの構築を始める
• revise：有望だが、まずフレーミング、手法、評価、または位置づけを変更する必要がある
• park：価値が見込めるが、タイミング、リソース、文献の明確さ不足、または前提条件の不足により保留する
• kill：価値あるプロジェクトや論文になる可能性が低い

実行可能な最小限のプロジェクトと、明確な反証方法が見込めない限り、pursue を選ばないでください。

ステップ 6 - 実行可能な最小限のプロジェクトを定義する

pursue または revise の場合、次を定義します。

• アイデアの最小限の実装
• 決定的な実験、定理、分析、またはプロトタイプ
• 主なベースラインまたは比較対象
• 最初の反証テスト
• 有意な結果が得られるまでの想定時間
• 必要なリソース
• 中止基準

park または kill の場合、どのような新しい情報があれば決定を変更するかを示します。

ステップ 7 - 次のスキルにつなげる

次に使うスキルを推奨します。

• literature-review-sprint：最も関連性の高い既存研究や新規性が不確かな場合
• algorithm-design-planner：手法の形式、仮定、またはメカニズムが不明確な場合
• experiment-design-planner：主張が明確で、検証計画が必要な場合
• paper-positioning-planner：エビデンスはあるが、貢献の説明が不明確な場合
• run-experiment：検証実験の内容がすでに明確に定まっている場合のみ

次のスキルがこのリポジトリにまだ存在しない場合も、意図する役割を挙げ、すぐに実行できる手動の次のステップを示してください。

ステップ 8 - 検証レポートを書く

次の内容を含む簡潔なレポートを返すか、保存してください。

# Research Idea Validation

## One-Sentence Idea

## Intended Contribution Type

## Decision
Decision: pursue / revise / park / kill
Confidence: low / medium / high

## Why This Decision

## FIVE+C Assessment
| Dimension | Rating | Evidence | Risk |
|---|---|---|---|

## Best Possible Paper Claim

## Main Novelty Hypothesis

## Closest Work to Check

## Minimum Viable Project

## Killer Experiment or Analysis

## Reviewer Attack Forecast

## Kill Criteria

## Next 3 Actions

## Recommended Next Skill

## Memory Update

プロジェクトに保存する際、保存先の指定がなければ次を使用してください。

docs/ideas/idea_validation_YYYY-MM-DD_<short-name>.md

ステップ 9 - プロジェクトのメモリに書き戻す

プロジェクトで research-project-memory を使用している場合は、必要最小限の項目を更新してください。

• memory/decision-log.md：アイデアに関する決定、その理由、代替案、および再検討のきっかけ
• memory/claim-board.md：論文で実現可能な最善の主張を planned、active、revised、parked、または cut として記録
• memory/risk-board.md：新規性、実現可能性、評価、および査読者のリスク
• memory/action-board.md：次の 3 つのアクションと、推奨する次のスキル
• memory/current-status.md：アイデアによってプロジェクトの方向性が変わる場合は、現在の重点項目

確実性のラベルを使用してください。

• user-stated：ユーザーのアイデアと制約
• inferred：査読者のリスクと論文形式の診断
• needs-verification：確認が必要な、最も関連性の高い既存研究や実現可能性に関する仮定

過去のアイデアに関する決定を上書きしないでください。アイデアが変わった場合は、以前の決定に取って代わる新しい決定項目を追加してください。

最終確認

仕上げる前に、次の点を確認してください。

• アイデアが、検証可能なプロジェクトの一文として書き直されている
• 決定が1つだけ選ばれている
• 決定が明示的なルールに従っている
• 新規性に関するリスクと、最も近い既存研究に関するリスクが明記されている
• 最小限の実用可能なプロジェクトが、多大な投資を行う前に実行できる規模になっている
• 査読者からの批判が具体的で、一般論にとどまっていない
• 中止基準が具体的である
• 次のアクションが実行可能な形で示されている