extract-methodology

Extract Methodology

概要

このスキルは、学術論文を詳細に分析し、実験手法、アルゴリズム／システムの流れ、使用データセット、ハイパーパラメーター、性能評価の結果を、構造化された形式で100％の精度で抽出することを目的としています。研究者が先行研究を再現したり、ベースラインを比較したりする際に非常に役立ちます。

依存関係

• literature-search-openalex
• literature-search-arxiv
• pubmed-database

クイックスタート

使用例： 「extract-methodology スキルを使って、GPT-3 の論文からモデルアーキテクチャ、データセット、ハイパーパラメーターを抽出してください。」

ワークフロー

1. 抽出対象の決定

• 抽出する技術要素（例：モデル名、データセット、F1-score／Accuracy 指標、オプティマイザー、学習率、使用ハードウェア）を決定します。

2. 論文の取得と事前解析（必須セクションのフィルタリング）

• 文献検索ツールを使用して、論文 ID または論文 URL を検索します。
• プログラムによるヘルパーの実行（必須）：手動で抽出する前に、LLM の コンテキスト過負荷 を防ぐため、セクションパーサースクリプトを実行して「手法」「設定」「結果」の各セクションをフィルタリングします（このスキルのインストールディレクトリにある parse_sections.py の絶対パスを使用してください）：

  python "<PATH_KE_SKILL>/scripts/parse_sections.py" --input paper_text.md --output sections.json
  

• sections.json のセクション抜粋を詳しく評価します。要旨だけから推測しないでください。

3. 構造化された情報の抽出（必須10項目）

以下の項目を含む Markdown テーブルまたは JSON スキーマに、情報を正確に抽出します。

1. 論文の目的：著者が解決しようとしている具体的な問題。
2. データセット：データセット名、規模、出典、ラベル、データ期間、train／val／test の分割、データ拡張の手法（該当する場合）。
3. 前処理：クリーニング、正規化、トークン化、特徴抽出の手順。
4. モデル／手法：使用された主要なアルゴリズムと、比較対象のベースライン。
5. アーキテクチャ：モデルアーキテクチャの詳細、ネットワーク構造、活性化関数、パラメーター数、またはシステムのフローチャート。
6. パラメーター：ハイパーパラメーター、学習率、オプティマイザー（例：AdamW）、バッチサイズ、エポック数、損失関数、ハードウェア／ソフトウェア環境の詳細。
7. 評価：評価指標（例：Accuracy、F1-Score、RMSE）、テストシナリオ、交差検証（cross-validation）。
8. 主な結果：論文の実験結果の表または本文に明示されたモデルの性能値。
9. 制約事項：著者が認めている課題や制約、またはエージェントが批判的に見出した手法上の制約。
10. 再現可能性：ソースコードリポジトリの公開状況（GitHub／GitLab のリンク）、インストール手順、データセットへのアクセス可否（公開または非公開）。

4. 再現可能性の分析（再現可能性の確認）

• 論文に、再実装するのに十分な情報が記載されているか評価します。

5. 抽出結果の報告

• 構造化された箇条書きとデータテーブルを使い、簡潔で要点を押さえた技術的な要約を作成します。不必要に長い説明は避けてください。

Few-Shot ガイダンス（正しい例と誤った例）

❌ ［誤り］根拠のない推測や捏造

学習率：通常は Adam を使用し、0.001 です。
データセットの規模：記載はありませんが、大規模に見えます。

✅ ［正解］事実に基づいた正確な抽出

学習率：記載なし
データセットの規模：取引サンプル50,000件（表1、4ページ）

よくある間違いと重要なルール（ハルシネーション防止）

• 要旨しか読まない：要旨に技術的な詳細が含まれることはほとんどありません。エージェントは必ず論文の本文を確認する必要があります。
• 根拠のない主張とパラメーターのハルシネーション（致命的）：技術的な値をでっち上げることは固く禁じられています！
  • ハイパーパラメーターが論文に記載されていない場合、必ず**「報告されていない」**と記載してください（値をでっち上げたり、一般的なデフォルト値を使ったりしないでください）。
  • データセットが明確でない場合、必ず**「明示的に説明されていない」**と記載してください。
  • 性能結果が明確な数値の表ではなくグラフで示されている場合、その値はグラフから視覚的に推定したものであることを明記し、推定範囲を示してください。
• リンゴとオレンジの比較（誤った同等視）：データセット、実験設定、またはテストシナリオが異なる論文間で、性能を同等視したり直接比較したりすることは禁止されています。
• 出典の引用：抽出したすべての数値やパラメーターには、元の論文内の具体的な箇所（例：表2、5ページ、2段目）を示す必要があります。