literature-review

文献レビュー

このスキルを使うと、AI エージェントは確立された学術的手法に従って、厳密で体系的な文献レビューを実施できます。エージェントは検索キーワードを絞り込んで検索戦略を定め、明示的な採用基準と除外基準を適用して結果を絞り込み、選定した論文から主要なデータを抽出し、要約表と参考文献一覧を含むテーマ別の解説として知見を統合します。このワークフローは、システマティックレビューの手法（PRISMA 形式の報告を含む）を参考にしており、学術研究、技術動向の分析、エビデンスに基づく意思決定に適しています。

ワークフロー

1. 研究課題と範囲を定める： PICO（対象者、介入、比較、結果）などのフレームワークや、分野に適した同等の枠組みを用いて、ユーザーとともに明確な研究課題を策定します。レビューの対象範囲として、期間、言語、情報源の種類（学術誌論文、会議論文、プレプリント）、および分野に関する制約を定めます。

2. 検索戦略を策定する： 主要なキーワード、同義語、ブール演算子を組み合わせて検索クエリを作成します。検索対象のデータベースや情報源（例：Google Scholar、Semantic Scholar、arXiv、PubMed、ACM Digital Library、IEEE Xplore）を特定します。再現性を確保するため、検索戦略の全容を記録します。

3. 結果をスクリーニングして絞り込む： 事前に定めた採用基準と除外基準を検索結果に適用します。採用基準では通常、トピックとの関連性、発表日、研究の種類、言語を考慮します。除外基準では、重複、査読を受けていない意見記事、撤回された論文、対象外の結果を除外します。PRISMA 形式のフローを作成するため、各段階の論文数を記録します。

4. 主要なデータを抽出する： 採用した各論文から、タイトル、著者、発表年、掲載先、研究課題、方法論、主な知見、限界、レビューの研究課題との関連性など、構造化された情報を抽出します。論文間の比較に備えて、これらのデータを一貫した形式（表または構造化されたメモ）で保存します。

5. テーマと知見を統合する： 論文間に見られるテーマやカテゴリに沿って、抽出したデータを整理します。文献における合意点、議論のある点、ギャップを特定します。個々の知見を一貫した内容につなげ、要約比較表で裏付けたナラティブな統合結果をまとめます。

6. レビュー文書を作成する： 以下のセクションからなる最終的な文献レビューを作成します。序論と研究課題、方法論（検索戦略、基準、PRISMA フロー）、テーマ別の統合、ギャップと今後の方向性に関する考察、標準的な引用形式による完全な参考文献一覧です。

使用方法

研究テーマまたは研究課題をエージェントに提示してください。必要に応じて、希望する対象範囲（期間、情報源の種類）、含める論文数、特定の統合形式を指定します。

Conduct a literature review on LLM evaluation benchmarks published between 2022-2025.

Focus: What benchmarks exist, what do they measure, and what gaps remain
in evaluating reasoning, safety, and real-world task completion?

例

例 1：LLM 評価ベンチマークに関する文献レビュー

ユーザーの依頼：

2022～2025年のLLM評価ベンチマークに関する文献をレビューし、推論、安全性、タスク完了に焦点を当ててください。

検索戦略：

データベース	検索クエリ
Semantic Scholar	"large language model evaluation benchmark" AND (reasoning OR safety OR "task completion")
arXiv	"LLM benchmark" AND ("2023" OR "2024" OR "2025")
ACM DL	"language model assessment" AND "benchmark suite"
Google Scholar	"LLM evaluation" survey OR "systematic review" 2023..2025

採択・除外基準：

基準	種別	条件
2022～2025年に公開	採択	対象期間内であること
査読済み、または主要なプレプリント	採択	トップカンファレンスで採択されているか、arXivで引用数が10件以上であること
ベンチマークを提案または調査	採択	具体的な評価フレームワークについて論じていること
ブログ記事／意見記事	除外	学術的でない情報源は含めないこと
英語以外	除外	英語の文献のみを対象とすること
重複／旧版	除外	最新版のみを残すこと

PRISMA形式のフロー：

Records identified through search: 847
After duplicate removal:           612
After title/abstract screening:    148
After full-text assessment:         42
Final papers included:              42

統合表（一部）：

ベンチマーク	年	焦点領域	主な指標	限界
MMLU	2023	知識と推論	57のタスクにおける正解率	静的で、複数ステップの推論は扱わない
HumanEval+	2023	コード生成	pass@k	対象範囲が狭い（Python関数）
AgentBench	2023	現実世界のタスク完了	8つの環境における成功率	実行コストが高く、環境に依存する
TrustLLM	2024	安全性と信頼性	公平性を含む6つの側面	自己申告に基づき、人による検証が必要
GPQA	2024	大学院レベルの推論	専門家が作成した問題の正解率	データセットが小さく、特定の分野に限定される
SWE-bench	2024	ソフトウェアエンジニアリングのタスク	実際のGitHub課題の解決率	実行基盤が必要

統合した知見（一部）：

文献からは、静的な知識テスト（MMLU）から、現実的な環境で行動するLLMの能力を測定する動的なエージェント型評価（AgentBench、SWE-bench）へと明確に移行していることが分かります。しかし、重大な課題が残っています。推論、安全性、タスク完了をまとめて包括的に評価できる単一のベンチマークスイートはありません。ほとんどのベンチマークは1つの側面を最適化しているため、評価環境は断片化しています。その結果、モデルが推論ベンチマークでは優れた成績を示す一方、安全性指標では低い成績となる場合があります。

---

例 2：PRISMA形式のフローを用いたシステマティックレビューのプロトコル

ユーザーの依頼：

LLMのハルシネーションを減らすうえでの検索拡張生成（RAG）の有効性を調査するための、システマティックレビューのプロトコルを作成してください。

研究課題（PICO形式）：

• 対象集団： 大規模言語モデル（GPT-4クラス以上）
• 介入： 検索拡張生成（RAG）
• 比較対象： RAGを用いないベースライン（標準的なプロンプト）
• アウトカム： ハルシネーション率の低下（事実の正確性に関する指標で測定）

検索戦略：

("retrieval-augmented generation" OR "RAG") AND
("hallucination" OR "factual accuracy" OR "faithfulness") AND
("large language model" OR "LLM" OR "GPT" OR "Claude")

データベース：Semantic Scholar、arXiv、ACM Digital Library、Google Scholar 対象期間：2023年1月～2025年12月

スクリーニング手順：

Phase 1 — Title/Abstract Screening:
  Include if: Empirically measures hallucination with and without RAG
  Exclude if: Theoretical only, no quantitative results, not LLM-focused

Phase 2 — Full-Text Review:
  Include if: Reports specific hallucination metrics (FActScore, ROUGE-L
              against ground truth, human evaluation scores)
  Exclude if: RAG used for non-factual tasks (creative writing, code gen)

データ抽出テンプレート：

項目	説明
論文ID	一意の識別子
評価対象のモデル	評価したLLM
RAGアーキテクチャ	検索方法、チャンクサイズ、top-k
ベースライン	比較対象となるRAGなしの設定
ハルシネーション指標	FActScore、人による評価、正解率など
結果	ハルシネーション率の変化率
分野	一般知識、医療、法律など

想定されるPRISMA図：

Identification:  ~1,200 records from 4 databases
Screening:       ~400 after title/abstract review
Eligibility:     ~80 after full-text assessment
Included:        ~35 meeting all criteria

ベストプラクティス

• 再現性を確保できるよう、すべての判断を記録します。 別の研究者がレビューを再現できるように、検索クエリ、データベースの検索日、採用・除外基準の詳細を記録します。
• 構造化されたデータ抽出を行います。 一貫した抽出テンプレートを使うと、すべての論文から同じ項目を収集でき、研究間の比較が可能になります。
• エビデンスの量と質を区別します。 20件のブログ記事に裏付けられたテーマは、質の高いRCT 3件に裏付けられたテーマより根拠が弱いものです。それに応じて統合結果の重み付けを行います。
• 見つからなかったことも報告します。 文献の空白は、得られた知見と同じくらい重要です。十分に研究されていない領域、対象に含まれていない集団、検証されていない条件を明記します。
• 論文ごとではなく、テーマごとに統合します。 論文の要約を並べたような文献レビューよりも、知見を関連付けながらテーマごとにまとめたレビューのほうが有用です。
• 最終版を作成する前に検索を更新します。 レビューの執筆に数週間かかる場合は、提出前に再検索し、新たに公開された研究を見落とさないようにします。

エッジケース

• 関連文献が不足している場合： 関連論文が5件未満なら、その旨を明記し、包括的な文献レビューではなく「スコーピングレビュー」または「研究ギャップ分析」として位置付け直します。
• プレプリントが多い分野： AI/MLのように変化の速い分野では、関連研究の多くが査読を受けずにarXivで公開されている場合があります。プレプリントも含めますが、査読状況を明記し、エビデンスベースの限界としてその点を記載します。
• 研究結果が一致しない場合： 研究間で正反対の結論に至っている場合は、研究方法、サンプルサイズ、条件を比較します。いずれかの研究を恣意的に支持せず、対立を明確に示します。
• 学際的なトピック： 複数分野にまたがるレビュー（例：AI＋ヘルスケア）では、コンピューターサイエンス分野のデータベースに加え、専門分野のデータベース（PubMed）も検索する必要がある場合があります。それに応じて検索戦略を調整し、分野間で用語が異なる場合はその点を記載します。
• 英語以外の情報源： そのトピックに他言語の重要な文献がある場合、英語の文献に限定するなら、その制限を記載し、引用文献リストに見つかった主要な英語以外の文献にも言及します。