source-quality-appraiser

ソース品質評価ツール

概要

このスキルは、理論的な主要根拠として使用する予定の参考論文について、信頼性、科学的品質、バイアスのリスクを検証することを目的としています。国際的な索引（Scopus、Web of Science）や国内の索引（SINTA）を活用し、方法論が脆弱な論文、捕食的ジャーナルや低品質なジャーナルに掲載された論文、実験上の欠陥がある論文を、研究の主要な参考文献として使用することを防ぎます。

依存関係

• literature-search-openalex
• pubmed-database

クイックスタート

使用例： 「source-quality-appraiser スキルを使って、以下の5件の論文参考文献について、掲載先の評判、Scopus／WoS／SINTAのランキング、バイアスのリスク、方法論の品質を評価してください。」

ワークフロー

1. 掲載先の評判と索引登録の確認

論文の掲載先（venue）を確認し、信頼性のレベルを段階的に判断します：

• 国際ジャーナル：
  • デフォルトでは、設定不要で利用できるオープンデータベースの OpenAlex を使い、索引登録状況とジャーナル指標（Scopusの四分位ランクQ1/Q2/Q3/Q4、SJRスコア、Clarivate Web of Science [WoS] のメタデータなど）を確認します。
  • SCOPUS_API_KEY または機関のClarivate認証情報が利用できる場合は、追加検証のために公式APIを使用します。
• 国内ジャーナル（インドネシア）：
  • 論文がインドネシアのジャーナルに掲載されている場合は、公式ポータル SINTA Kemdikbud（sinta.kemdikbud.go.id）を対象に情報を検索し、ジャーナルの認定ランク（SINTA 1（S1）からSINTA 6（S6））を取得します。
• 評判の高い会議：会議のランクを確認します（例：コンピューターサイエンス分野のCORE Ranking A*/A/B/C）。
• プレプリント：文書が、査読（peer-review）を経ていないプレプリントの草稿（arXiv、bioRxiv、medRxiv）かどうかを特定します。慎重に評価してください。
• 捕食的／低品質な掲載先：評判が悪い、信頼できる索引に登録されていない、またはBeall's Listに掲載されているジャーナルに注意してください。

2. 論文の方法論の強さを評価

本文を分析し、著者が用いた手法の品質を確認します：

• 結論を導くために十分なサンプルサイズですか？
• 対照群（control group）があり、公平な無作為化試験が行われていますか？
• 実験の設計は透明性をもって詳細に説明されていますか？
• 測定手段（質問票／測定機器）は適切に検証されていますか？

3. バイアスのリスクと利益相反の評価

• 研究結果の結論に影響を与える可能性がある、特定の業界からの資金提供など、潜在的な利益相反（conflict of interest）がないか確認します。
• データ選択バイアス（selection bias）や、不自然なほど単純化された検証方法（cherry-picked setup）を分析します。

4. 信頼性と適格性スコアの判定

分析結果に基づいて、参考文献としての適格性を分類します：

• 非常に適格（高品質）：堅牢な手法が用いられ、上位ランクのジャーナル／会議（Scopus／WoS Q1/Q2、SINTA 1/2、CORE A*/A）に掲載されており、利益相反がありません。理論の主要な柱として強く推奨されます。
• 適格（中品質）：手法はおおむね良好ですが、データ／評価に小さな制約があります。中位ランクの掲載先（Scopus／WoS Q3/Q4、SINTA 3/4、CORE B/C）に掲載されているか、評判の高い著者によるプレプリントです。
• 不適格（低品質）：方法論が不明確、バイアスが大きい、捕食的または評判の低い出版社から刊行されている（強固な方法論を伴わないSINTA 5/6）、または具体的なデータに裏付けられていない主張があります。中核となる参考文献としての使用は避けるべきです。

5. ソース品質評価レポートの形式

以下の必須表形式で評価結果を提示します：

参考文献	掲載先とランク（Q1/Q2/WoS/SINTA/CORE/プレプリント）	方法論の強み	バイアスのリスクと制約	適格性の判定と利用に関する推奨

よくある間違いと重要なルール

• API キーがないことを理由にジャーナルを拒否する：Scopus／WoS の API キーが利用できない場合でも、エラーメッセージを表示することは厳禁です。エージェントは OpenAlex のオープンデータベースからジャーナルの評判を抽出し、自動的にフォールバックする必要があります。
• SINTA のローカルインデックスを無視する：インドネシアの論文を国際的な指標だけで評価すると、質の高い SINTA 認定ジャーナルを「インデックス未登録」と誤って判定することになります。インドネシア国内の出版物については、必ず SINTA の認定を確認してください。
• プレプリントの信頼性を査読済み論文と同等に扱う：著者の評判を確認したり、方法論を独自に批判的に検討したりせずに、プレプリントの草稿（例：arXiv）を使用すること。
• インパクトファクターやランキングだけを信頼する：Q1／S1 ジャーナルに掲載された論文なら、方法論に誤りがないと決めつけること。すべての論文を、個別に批判的に評価する必要があります。
• サンプルサイズと対照条件を無視する：ごく少数のサンプルでしか実験していない事実を見落としながら、広範な一般化を行うこと。
• 利益相反の透明性が欠如している：商業的な主張に偏りをもたらす可能性のある、産業界からの研究資金によるバイアスを無視すること。