mcpField
A
academic-verify

academic-verify

github.com/garrytan生産性31.3k213 回インストール今日更新
リポジトリ

academic-verify について

academic-verify は、学術・研究上の主張を検証するワークフロー型スキルです。論文から方法、元データ、独立検証まで追跡し、判定を再利用可能な brain ページに記録します。

主な機能

  1. 01主張を元データまで追跡
  2. 02既存の brain ページを先に確認
  3. 03perplexity-research 経由で検索
  4. 04根拠に基づく判定
  5. 05再利用可能な brain ページを保存

活用シーン

  1. 01書籍が引用する研究や数値の確認
  2. 02記事の定量的な主張の追跡
  3. 03執筆の根拠となる論文の評価
  4. 04brain ページの検証状況の更新

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/garrytan/gbrain --skill academic-verify

インストール後、Claude Code で/academic-verifyを入力して読み込まれたか確認します。

同梱ファイルrouting-eval.jsonl

詳細

academic-verify — 主張をソースデータまでたどる

規約: 引用ルールについては、conventions/quality.md を参照してください。すべての判定では、ソースデータに関する著者の主張だけでなく、ソースデータそのものを引用します。

規約: 検索チェーンについては、conventions/brain-first.md を参照してください。このスキルは、新たにウェブ検索を行う前に既存の brain ページを確認することで、brain-first を徹底します。

これは何か

学術・研究に関する主張を検証するワークフローです。本、記事、または講演者が研究を引用したり、数値を挙げたりした場合、このスキルは主張を次のようにたどります。

claim → publication → methodology section → raw data source → independent verification

各ステップで、次の点に答えます。

  • この数値はどこから来たのか?(独自に生成したものか? 調査か? 政府データか?)
  • ベースラインは何か?(何からの削減か? どの期間を対象にしているか?)
  • 生データは利用可能か?(公開されているか? 独自データか? 「要請に応じて利用可能」か?)
  • 誰かが独立して検証したか?(再現研究か? 政府による監査か?)
  • 交絡要因はあるか?(他の介入、政策変更、COVID、サンプリングバイアスなど)
  • 比較は妥当か?(恣意的に選ばれた比較群か? 生存者バイアスか?)

出力は concepts/<claim-slug>.md に作成する brain ページです。主張、追跡結果、判定を記録するため、今後同じ主張が参照された際に、検証済みの分析を再利用できます。

使用する場面

  • 本が研究を引用しており、それが実在し、誤って引用されていないか確認したい場合
  • 記事が数値を伴う主張(「X により Y が 40% 減少した」など)をしており、ソースデータまでたどりたい場合
  • 研究に基づく内容を執筆しており、根拠となる論文が妥当か検証したい場合
  • 研究に関する主張を引用している brain ページを更新しており、検証状況もあわせて記録したい場合

このスキルで行わないこと

  • 敵対的な調査や攻撃目的の調査ではありません。目的は厳密さであり、論破ではありません。
  • 一般的なウェブ調査ではありません。自由形式のトピック調査には、直接 perplexity-research を使ってください。
  • brain だけを使った検索ではありません。それには gbrain query を使ってください。

動作の仕組み(D7/α:perplexity-research を介した純粋なルーティング)

academic-verify は薄いオーケストレーターです。実際のウェブ検索は perplexity-research が行います。academic-verify の役割はワークフローです。主張の範囲を正確に定め、引用モードを使って perplexity-research に渡し、応答を判定形式の brain ページに整えます。

Step 1: Scope the claim
  Pin down EXACTLY what's being claimed:
    • Quote: who said what?
    • Source: which paper / dataset / survey?
    • Number: what specific quantity is claimed?
    • Period: over what time range?

Step 2: Brain-first lookup
  gbrain query "<paper title> OR <author name> OR <claim keywords>"
  If the brain has prior verification of this claim, reuse it.

Step 3: Invoke perplexity-research with citation-mode prompt
  Send the claim + brain context to perplexity-research with a prompt
  that explicitly asks for:
    • Original publication (title, authors, journal, year, DOI)
    • Methodology section summary
    • Raw data availability (public repo? proprietary?)
    • Independent replication status (Retraction Watch / PubPeer hits)
    • Citations of the paper that critique or contextualize it

Step 4: Format the verdict
  Write the result to concepts/<claim-slug>.md. The verdict is one of:
    • Verified — claim is accurate; raw data available; replication exists
    • Partially verified — claim correct on the underlying paper but
      methodology has known limits; record limits explicitly
    • Unverifiable — no public data, no replication; not enough to act
    • Misattributed — the claim cites a paper but the paper doesn't say that
    • Retracted / disputed — paper has known retraction or
      well-documented critique

Step 5: Cross-link to original sources
  Add the paper authors to people/ if they have brain pages, or create
  one if notable. Iron Law per conventions/quality.md.

出力:brain ページの形式

---
title: "[Claim summary] — Verified"
type: research
date: YYYY-MM-DD
verdict: "verified|partial|unverifiable|misattributed|retracted"
brain_context_slugs: ["pages cited as context"]
---

# [Claim summary] — Verified

> One-line: the verdict + the bottom-line reason.

## The Claim

> Exact quote, exactly as stated, with source attribution.

## Trace

| Step | Finding | Source |
|------|---------|--------|
| Original publication | [Title, authors, year, DOI] | [URL] |
| Methodology | [1-line summary; flag obvious limits] | [URL] |
| Raw data | [Public repo / proprietary / available-on-request] | [URL] |
| Independent replication | [Replication studies and their results] | [URL] |
| Critical citations | [Papers that critique this work] | [URL] |

## Verdict

[Verified / Partially verified / Unverifiable / Misattributed / Retracted]

[1-2 paragraphs explaining WHY the verdict, with specific evidence.]

## Caveats

[Honest limits: what we couldn't verify, what would change the verdict.]

## See Also

- Original paper: [Title](DOI URL)
- Authors' brain pages: [Author 1](people/author-1.md), ...
- Related claims (verified or otherwise): [...]

便利なデータベース(エージェントは perplexity-research 経由で利用します)

データベース内容URL パターン
Retraction Watch撤回、訂正、懸念表明retractionwatch.com/?s=NAME
PubPeer匿名の出版後査読pubpeer.com/search?q=NAME
OSF事前登録、オープンデータ、オープン資料osf.io/search/?q=QUERY
Semantic Scholar引用分析、論文メタデータapi.semanticscholar.org
OpenAlexオープンな引用データ、所属機関情報api.openalex.org
Many Labs社会心理学の再現結果osf.io/wx7ck/

基準(厳格な判定基準)

  • 検証済み — 元となる論文が実在し、生データが公開されているか、独立した研究機関が結果を確認しており、引用元が主張を正確に表現している場合に限ります。
  • 一部確認済み — 論文は実在し、知見も妥当ですが、引用の文脈で誇張されています(例:「XがYを引き起こす」とあるが、論文が示しているのは相関関係である場合や、「すべての研究でXが示されている」とあるが、検出力が不十分な単一の研究しかない場合)。
  • 検証不能 — 元データから数値をたどれず、再現研究も独立した確認も行われていません。「誤り」と同じ意味ではありません。「検証できませんでした」と伝えてください。
  • 誤帰属 — 引用は論文を指していますが、その論文は引用された主張の内容を実際には述べていません。政策概要でよく見られます。
  • 撤回済み/異議あり — 論文が撤回されている、重大な懸念表明が出されている、または見出しとなる知見と矛盾する十分に文書化された批判がある場合。

証拠なしに問題があると主張してはいけません。検証文書そのものが成果物です。主張が裏付けられるなら、はっきりそう述べてください。裏付けられないなら、調査の記録がそれを示します。

失敗した場合

gbrain のエラー code、終了コード、[AGENT] ブロック、または通知ブロックが発生した場合は、エージェント運用者プロトコルに従ってください。このスキルに固有の事項は次のとおりです。

  • brain の処理(gbrain query)で結果が空になり、劣化通知(キーワードのみ、埋め込み無効)が返された場合:言い換えられた研究のタイトルはキーワード検索に引っかからないため、brain にその主張に関する過去のメモがないと述べる前に、著者、ジャーナル、または年を使って再試行してください。
  • perplexity-research 経由のウェブ検索で失敗した場合(PERPLEXITY_API_KEY がない、rate_limited):その主張を未検証とし、「誤り」とは決して判定せず、実行できなかった手順をユーザーに伝えてください。rate_limited の場合は、指定された待機時間後に一度だけ再試行してください。
  • 判定の保存時に write_pending(終了コード 10)が返された場合:書き込みは受け付けられています。2つ目の判定ページを書き込むのではなく、gbrain write-request <request_id> をポーリングしてください。

アンチパターン

  • ❌ brain を最初に検索する手順を省略する。すでに行った検証をやり直すのは、Perplexity の無駄な使用です。
  • ❌ perplexity-research を迂回し、検索したことにする。Perplexity の引用が証拠です。引用がなければ、判定は単なる意見にすぎません。
  • ❌ 生データが利用可能であることを確認せずに「検証済み」と述べる。再現研究は単一の論文より優先されます。
  • ❌ 十分に調べなかっただけなのに「検証不能」と述べる。判定対象は情報源であり、検索の努力ではありません。

関連スキル

  • skills/perplexity-research/SKILL.md — このスキルが経由する実際のウェブ検索エンジン(D7/α:純粋なルーティングで、新たなインフラはありません)
  • skills/citation-fixer/SKILL.md — 引用の書式を修正します。このスキルは、引用された主張が事実かどうかを確認します
  • skills/conventions/quality.md — 引用とバックリンクのルール

契約

このスキルは、次の事項を保証します。

  • ルーティングが frontmatter の正規トリガーと一致します。
  • 該当する場合、writes_to: に記載されたディレクトリに出力が書き込まれます。
  • 参照されている規約(quality.md、brain-first.md、_brain-filing-rules.md)に従います。
  • プライバシー契約が維持されます。実名、フォーク固有のファイルシステムパスのリテラル、上流フォークへの言及は含みません。

動作契約の全文は上記の本文セクションに記載されています。このセクションは適合性テストのために存在します。

出力形式

このスキルの出力形式は、本文セクション内に記載されています(「Output」「Brain page format」などを参照)。ここにあるセクション見出しは、適合性テスト(test/skills-conformance.test.ts)のためのものです。

コメント