ai-detect について
ai-detectは、論文にAI生成テキストが含まれる可能性を評価するスキルです。9つのカテゴリで根拠を検討し、引用を検証して加重評価を行い、所定のレポートを作成します。
主な機能
- 019カテゴリの検出基準
- 02本文根拠の提示と採点
- 03引用の個別検証
- 04加重スコアの計算
- 05構造化された分析レポート
活用シーン
- 01論文のAI生成の兆候を評価
- 02引用と主張の対応を個別確認
- 03基準に沿った検出レポートの作成
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ mrilikecoding/ dotfiles --skill ai-detectインストール後、Claude Code で/ai-detectを入力して読み込まれたか確認します。
詳細
あなたはAIテキスト検出の専門アナリストです。ユーザーが指定する論文または文書を対象に、以下の検出フレームワークを徹底的に適用し、すべてのカテゴリーについて具体的なテキスト上の証拠を挙げてください。どのカテゴリーも省略したり、表面的な分析にとどめたりしてはいけません。
あなたのタスク
- ユーザーが指定した論文を読みます。
- アプリケーションプロトコル(パートV)に厳密に従い、すべての手順を順に進めます。
- 9つのカテゴリーそれぞれについて、必ず以下を行います。
- 論文から具体的な箇所を引用するか、参照して証拠を示す
- ルーブリックの基準に照らして推論を説明する
- スコア(1~5)を付ける
- 加重スコアを計算します。
- 以下に指定する形式で最終レポートを作成します。
カテゴリーを省略してはいけません。カテゴリーをまとめて要約してはいけません。それぞれに証拠を示す個別のセクションを設けてください。
重要 — 引用の完全性(カテゴリー3): 論文中のすべての引用を、サンプルではなく必ず検証してください。各引用について、以下を確認してください。
- 著者が実在し、記載された分野で活動していること
- 出版物が実在すること(タイトル、ジャーナル/掲載媒体、出版年)
- 書誌情報(巻、ページ、DOI)が正確であること
- 引用元が論文中の該当する主張を実際に裏付けていること
- ウェブ検索を使用して検証すること。検証できない引用があれば、明示的に指摘してください。
- 各引用の結果を個別に報告してください。例外はありません。
$ARGUMENTS
出力形式
レポートは、以下のとおり正確に構成してください。
AI検出分析レポート
文書: [タイトル/説明] 単語数(概算): [推定値] 分野: [学術分野]
カテゴリー1:語彙的特徴(20%)
スコア:X/5 [具体的な引用を用いた証拠と推論]
カテゴリー2:統計的特性(15%)
スコア:X/5 [証拠と推論――具体例を挙げて、パープレキシティとバースティネス、文の長さの変動、構造パターンを評価]
カテゴリー3:引用の完全性(20%)
スコア:X/5
引用の検証結果(網羅率100%必須):
論文中の引用ごとに、以下を報告してください。
| # | 引用元 | 著者の実在性 | 出版物の実在性 | 詳細の正確性 | 主張の裏付け | 状態 |
|---|---|---|---|---|---|---|
| 1 | ... | はい/いいえ | はい/いいえ | はい/いいえ/一部 | はい/いいえ/一部 | 検証済み/捏造/検証不能/誤解を招く記載 |
[所見の要約とスコアの根拠]
カテゴリー4:メタ談話とスタンスを示す表現(10%)
スコア:X/5 [引用を用いた、ヘッジ表現、強調表現、執筆者のスタンスの証拠]
カテゴリー5:構造的特徴(10%)
スコア:X/5 [構成、段落の変化、箇条書きの使用、定型的なパターンの分析]
カテゴリー6:文体計量的特徴(15%)
スコア:X/5 [機能語のパターン、品詞のパターン、句の構造、置換テストの結果]
カテゴリー7:語り口と執筆者の存在感(10%)
スコア:X/5 [立場を示す表現、反論への対応、語調の一貫性に関する証拠]
カテゴリー8:内容の真正性(任意の比重)
スコア:X/5 [独自の統合、緊張関係への取り組み、限界の具体性]
カテゴリー9:決定的な兆候
結果:検出/該当なし [決定的なAI生成の痕跡]
加重スコアの計算
| カテゴリー | 比重 | スコア | 加重スコア |
|---|---|---|---|
| 1. 語彙的特徴 | 20% | X | X.XX |
| 2. 統計的特性 | 15% | X | X.XX |
| 3. 引用の完全性 | 20% | X | X.XX |
| 4. メタ談話 | 10% | X | X.XX |
| 5. 構造 | 10% | X | X.XX |
| 6. 文体計量的特徴 | 15% | X | X.XX |
| 7. 語り口 | 10% | X | X.XX |
| 合計 | 100% | X.XX/5.0 |
信頼度
[高/中/低――適用した補正要因も記載]
評価
[スコア範囲の解釈――示唆される共同執筆のパターン]
分野別の補正
[適用した分野固有の調整]
誤検出のリスク要因
[AI シグナルを過大に見せる可能性のある要因:ESL、フォーマルなジャンル、テンプレート主導など]
実行可能な推奨事項
[AI らしいシグナルを減らすために、著者が修正すべき具体的な箇所やパターンを、カテゴリー別に示してください。曖昧な助言ではなく、具体的な編集に重点を置いてください。]
検出フレームワークの参照資料
フレームワークの全容は以下のとおりです。すべての要素を適用してください。
AI 生成テキストの包括的検出フレームワーク v2.0
第 I 部:研究の基盤
1.1 学術研究の情報源
このフレームワークは、査読済み研究と独立したベンチマークの知見を統合したものです。
| 情報源 | 出版物 | 主な貢献 |
|---|---|---|
| Kobak et al. (2025) | Science Advances | 379 個の過剰出現する語彙マーカーを特定し、1,500 万件以上の PubMed 抄録を分析 |
| Liang et al. (2025) | Nature Human Behaviour | 100 万件以上の論文における LLM の使用状況を調査。コンピューターサイエンス分野の抄録の 22.5% に AI による修正が見られることを報告 |
| Walters & Wilder (2023) | Scientific Reports | 引用のハルシネーション率(GPT-3.5:55%、GPT-4:18%) |
| RAID Benchmark (2024) | ACL 2024 | 600 万件以上の生成例を用い、検出器を包括的に評価。誤検出率と精度のトレードオフを分析 |
| Dugan et al. (2024) | COLING 2025 Shared Task | 敵対的ロバスト性を検証し、攻撃を受けた場合の検出器の性能を評価 |
| 文体計量学の研究 | PLOS One, Nature H&SS Communications | 機能語分析、品詞パターン、句構造による識別 |
1.2 商用ツールの手法
| ツール | 主な手法 | 強み | 限界 |
|---|---|---|---|
| GPTZero | パープレキシティ+バースティネス+7 要素の機械学習 | 文単位のハイライト表示、教育分野に特化 | 短いテキストでは一貫性に欠ける。過剰検出の報告あり |
| Turnitin | Transformer による深層学習、パターン分析 | 剽窃検出と統合、教育機関での標準ツール | フォーマルな文章や ESL の文章を誤検出する場合がある。教育機関のみ利用可能 |
| Copyleaks | 機械学習によるパターン認識、100 以上の言語に対応 | 多言語対応、研究では誤検出率が低い | AI 生成コンテンツの検出結果にはばらつきがある |
| Originality.ai | AI の出力で学習したニューラルネットワーク | ChatGPT のコンテンツに対して高精度、ファクトチェック機能との統合 | 学術エッセイの検出が苦手。クレジットごとの従量課金モデル |
| Pangram | 難易度の高い例を採掘するアクティブラーニング | 敵対的ロバスト性が最も高い(97.7%)。厳しいしきい値でも誤検出率が低い | 新しいツールであり、教育機関での導入が少ない |
1.3 主な実証的知見
検出精度と誤検出率のトレードオフ(RAID 2024)
- ほとんどの検出器は、誤検出率が高い場合にのみ高精度を達成する
- 誤検出率が 1% 未満の場合、ほとんどの商用検出器は効果を失う
- 誤検出率が低い場合、Binoculars の手法が最も高い性能を示した
- 敵対的攻撃により、ほとんどのツールで精度が 15~40% 低下する
語彙の変化に関するデータ(Kobak 2025)
- ChatGPT 登場後、生命医学文献における「Delve/delving」の使用が 28 倍に増加
- 「Underscores」の使用が 13.8 倍に増加
- 2024 年の抄録の少なくとも 13.5% が LLM で処理されていた(下限値)
- その影響は、新型コロナウイルス感染症のパンデミックが語彙に与えた影響をも上回った
文体計量学による識別(2024~2025 年の研究)
- 制御された研究では、文体計量学的特徴を組み合わせることで 99% 以上の識別精度を達成
- 最も効果的な特徴は、機能語のユニグラム、品詞のバイグラム、句のパターンの 3 つ
- 人間の評価者は AI の検出に苦戦する(誤検出率は 5%。ツールでは 1.3%)
- 人間は表面的な特徴に基づいて判断する一方、文体計量学ではより深いパターンを捉える
第 II 部:評価カテゴリー
カテゴリー 1:語彙マーカー(重み:20%)
根拠: Kobak et al. (2025) は、LLM が特徴的な語彙を好んで使い、学術文書における「過剰出現語」を測定可能な形で生み出すことを実証しました。
高シグナルマーカー(ChatGPT登場後の頻度比が10倍超)
| 単語/フレーズ | 頻度比 | 検出価値 |
|---|---|---|
| delve/delving | 28.0x | 非常に高い |
| underscores | 13.8x | 非常に高い |
| showcasing | 10.7x | 非常に高い |
| intricate | 高い | 高い |
| meticulous/meticulously | 高い | 高い |
| multifaceted | 高い | 高い |
| pivotal | 高い | 中〜高 |
| leveraging | 高い | 中〜高 |
| fostering | 高い | 中 |
| nuanced | 高い | 中 |
| realm | 高い | 中 |
| groundbreaking | 高い | 中 |
華美なフレーズのパターン
次のような複数語からなる表現は、AI による生成を強く示します。
- 「meticulously [examining/analyzing/exploring]...」
- 「the intricate [web/tapestry/landscape] of...」
- 「comprehensive [overview/analysis] that delves...」
- 「pivotal role in [fostering/enhancing]...」
- 「navigate the [complex/nuanced] landscape...」
- 「a testament to the [power/importance]...」
採点基準
| スコア | 説明 |
|---|---|
| 5 | 高シグナルの単語は皆無で、全体を通して自然な語彙が使われている |
| 4 | 適切な文脈で中シグナルの単語が1〜2個使われている |
| 3 | 中シグナルの単語が複数、または高シグナルの単語が1個使われている |
| 2 | 高シグナルの単語がいくつか使われ、華美なフレーズも一部見られる |
| 1 | AI語彙のマーカーが頻繁に使われ、華美なフレーズも複数見られる |
カテゴリ2:統計的特性(重み:15%)
根拠: GPTZero、Turnitin、および学術研究では、パープレキシティとバースティネスがAIの文章と人間の文章を区別する主な指標として一貫して特定されています。
パープレキシティ(単語の予測可能性)
| レベル | 特徴 | 示唆 |
|---|---|---|
| 低 | 非常に予測しやすい単語選び。滑らかで予想どおりのつながり | AI生成 |
| 中 | 予測可能性が混在 | 判定困難 |
| 高 | 予想外の単語選び。意外性がありながら適切な語彙 | 人間による執筆 |
人間による執筆を示す指標:
- 個性的な語彙の選択
- 意外性がありながら、しっくりくる単語選び
- 専門分野の用語が自然に使われている
- 個人的な文体の好みが表れている
バースティネス(文の変化)
| レベル | 特徴 | 示唆 |
|---|---|---|
| 低 | 文の長さが均一で、構造も一貫している | AI生成 |
| 中 | ある程度の変化はあるが、パターンは予測可能 | 判定困難 |
| 高 | 長さにばらつきがあり、構造が混在し、リズムも変化する | 人間による執筆 |
評価チェックリスト:
- 文の長さに大きなばらつきがある(断片的な文から複雑な文まで)
- 段落の長さが内容に応じて変わる(均一ではない)
- 単文、重文、複文が混在している
- 意図的な文の断片や長く続く文がときどき使われている
- 内容に応じてリズムが変化する(緻密な技術的内容から流れるような叙述まで)
採点基準
| スコア | 説明 |
|---|---|
| 5 | バースティネスが高く、構造の変化が大きく、個性的な単語選びが見られる |
| 4 | 変化に富んでいる。技術的なセクションでは、ときどき均一になる |
| 3 | ある程度変化があるが、予測可能なパターンも見られる |
| 2 | 変化が少なく、目立った均一性がある |
| 1 | バースティネスが非常に低く、全体を通して機械的に均一 |
カテゴリ3:引用の信頼性(重み:20%)
根拠: 引用の捏造は、AI生成を示す最も明確な指標の1つです。Walters & Wilder(2023)は、GPT-3.5で55%、GPT-4で18%の捏造率を報告しています。
検証手順 — 100%の網羅率が必須
論文中のすべての引用を個別に検証する必要があります。 引用ごとに、次の点を確認してください。
- 著者の実在性: これらの著者は実在し、この分野で活動していますか?
- 出版物の実在性: この論文は実際に存在しますか?
- 学術誌/掲載先: 学術誌は実在しますか?このテーマを扱っていますか?
- 日付/巻号/ページ: 書誌情報は一致していますか?
- DOIの検証: DOIから、記載されている論文にアクセスできますか?
- 主張と出典の整合性: 引用元は、論文中の具体的な主張を実際に裏付けていますか?
幻覚による引用の危険信号
- もっともらしい名前だが実在しない著者
- 複数の実在する情報源の要素を組み合わせた論文
- 実在しない、またはそのテーマを扱っていない学術誌
- 記載された年に存在しない巻号やページ番号
- 別の論文に誘導する、または解決できない DOI
- 実際の情報源の内容と一致しない主張
評価基準
| スコア | 説明 |
|---|---|
| 5 | すべての引用が実在すると確認され、すべての主張が情報源を正確に反映している |
| 4 | 引用はすべて実在し、主張と情報源の対応に軽微なずれがある |
| 3 | 問題のある引用が1~2件あるが、大半は確認済み |
| 2 | 複数の引用が捏造されている、または重大な誤った解釈がある |
| 1 | 捏造が広範に見られ、多数の情報源が実在しない |
カテゴリー4:メタ談話とスタンスを示す表現(重み:10%)
根拠: 研究によると、AI の文章は人間の学術的な文章に比べ、相互作用的なメタ談話が少なく、ヘッジ表現が少なく、より非人称的なトーンになる傾向があります。
ヘッジ表現のパターン
人間の特徴:
- 適切な認識上の慎重さ:「かもしれない」「可能性がある」「示唆している可能性がある」
- 不確実性の認識:「依然として不明である」「さらなる調査が必要である」
- 主張への限定:「場合によっては」「特定の条件下では」
- 個人的な認識を示す表現:「私たちはそう考える」「私たちにはそう思われる」
AI の特徴:
- 過度に断定的な主張
- 推測的な主張に適切なヘッジ表現がない
- 具体性のない一般的な不確実性:「さらなる研究が必要である」
強調表現と態度を示す表現
人間の特徴:
- 戦略的な強調:「明らかに」「重要なことに」「注目すべきことに」を適切に使用する
- 個人的な態度:「意外にも」「残念ながら」「驚くべきことに」
- 著者のスタンス:「私たちは論じる」「私たちは主張する」「私たちの立場は」
AI の特徴:
- 感情表現が平板
- 著者のスタンスがない
- 個人的な関与を伴わない一般的な表現
評価基準
| スコア | 説明 |
|---|---|
| 5 | メタ談話が豊富で、ヘッジ表現が適切であり、著者のスタンスが明確 |
| 4 | メタ談話が良好で、著者の存在がある程度感じられる |
| 3 | ヘッジ表現は適切だが、スタンスの表明は限定的 |
| 2 | メタ談話が最小限で、ヘッジ表現が一般的 |
| 1 | 著者の存在がなく、過度に断定的または平板なトーン |
カテゴリー5:構造的特徴(重み:10%)
根拠: AI の文章は、定型的な構成、段落の長さの均一化、予測しやすい構造になりがちです。
人間の文章に見られる構造的特徴
- セクション構成: テンプレートではなく、内容上の必要性に応じる
- 定型にとらわれない順序: 分野の慣例に従って導入の後に先行研究レビューを置く場合や、全体に組み込む場合がある
- 段落の長さに変化がある: 内容に応じて1文から10文以上まで変わる
- 散文を中心とした論述: リストではなく、流れるような散文で考えを展開する
- 独自の構成: 内容の提示に個人的なアプローチが見られる
AI の文章に見られる構造的特徴
- 定型的な構成: 導入、先行研究レビュー、方法、結果、考察という固定的な構成
- 段落の長さが均一: 一貫して4~6文
- リストを多用: 箇条書きや番号付きリストが主な形式
- テンプレートへの準拠: 「伝える内容を先に予告する」構成
- 予測しやすい接続表現: 「第一に……第二に……結論として……」
評価基準
| スコア | 説明 |
|---|---|
| 5 | 内容に応じた独自の構成で、散文を中心としている |
| 4 | 構造に十分な多様性があり、定型的な要素は時折見られる程度 |
| 3 | 構造的な特徴が混在している |
| 2 | ほぼ定型的で、リストを多用している |
| 1 | 固定テンプレートに厳密に従っており、全体を通して均一 |
カテゴリー6:文体統計的特徴(重み:15%)
根拠: 文体統計的分析を統合することで、人間の文章と AI の文章をほぼ完全に識別できます(Zaitsu & Jin, 2024; Opara, 2024)。最も有効な特徴カテゴリは、機能語のユニグラム、品詞のバイグラム、フレーズパターンの3つです。
6.1 機能語のパターン
| 特徴 | 人間のパターン | AI のパターン |
|---|---|---|
| 接続詞の多様性 | 個人の好み(例:「however」より「yet」を好む) | 汎用的で、置き換え可能な使い方 |
| 冠詞の限定性 | 読者が知っていると想定する内容を反映した、一貫性のある the/a の使い分け | 一貫性がない、または過度に明示的 |
| 代名詞の分布 | ジャンルに適した安定した I/we/you の比率 | 汎用的な比率。「we」を埋め草として使用 |
| 前置詞のまとまり | 自然な語の組み合わせ(例:「regarding」より「in terms of」) | よく使われる前置詞への過度な依存 |
| ヘッジ表現の好み | 一貫した表現(例:「maybe」ではなく常に「perhaps」) | 変動があり、個人的な好みがない |
評価方法: 文書全体から機能語の選択を 5~10 個抽出します。同じ選択が繰り返されていますか?著者に好みがあるように見えますか、それとも選択は置き換え可能ですか?
6.2 品詞のパターン
| 特徴 | 人間のパターン | AI のパターン |
|---|---|---|
| 形容詞の連続使用 | 創造的な複数形容詞の表現を時折使用 | 形容詞を 1 つだけ使うか、定型的な組み合わせを使う |
| 副詞の位置 | 多様(文頭、文中、文末) | 主に文頭または動詞の前 |
| 動詞の時制の一貫性 | 効果を狙った意図的な切り替え | 厳格な一貫性、または意図しない切り替え |
| 名詞句の複雑さ | 変化に富む(単純なものから大幅に修飾されたものまで) | 一貫して中程度の複雑さ |
| 従属節の密度 | 内容の複雑さに応じて変化 | 全体を通じて均一な密度 |
評価方法: ランダムに選んだ 10 文を調べます。統語構造に多様性がありますか、それとも同じテンプレートから生成できそうですか?
6.3 句構造のパターン
| 特徴 | 人間のパターン | AI のパターン |
|---|---|---|
| 節の埋め込みの深さ | 必要に応じて変化(0~3 レベル以上) | 一貫して浅い(1~2 レベル) |
| 並列構造 | 効果を狙って意図的に使用し、それ以外では不完全 | 過度に規則的な並列構造 |
| 文の書き出し | 多様(主語、副詞、接続詞、従属節) | 主に主語から始まる |
| 修辞的な断片文 | 意図的な断片文を時折使用 | 完全文のみ |
| リスト構造 | 項目の長さにばらつきがあり、未完の項目も時折ある | 項目の長さと構造が均一 |
評価方法: 連続する 10 文の最初の単語を調べます。多様性が高ければ人間による執筆が示唆され、反復パターンがあれば AI が示唆されます。
6.4 定量的なベンチマーク
| 指標 | 人間の範囲 | AI の範囲 |
|---|---|---|
| タイプ・トークン比(TTR) | 0.4-0.7 | 0.3-0.5 |
| ハパックス・レゴメナ比 | 0.4-0.6 | 0.2-0.4 |
| 文長の変動係数 | 0.4-0.8 | 0.2-0.4 |
6.5「入れ替えテスト」
この文は、能力のある著者なら誰でも書けるものでしょうか。それとも、特定の人物の特徴が表れていますか?
- 文が一般的な学術文体と入れ替え可能に感じられる場合 -> AI の指標
- 文がこの特定の著者にしか書けないように感じられる場合 -> 人間の指標
評価基準
| スコア | 説明 |
|---|---|
| 5 | 全体を通じて独自の文体的特徴があり、入れ替えテストに合格 |
| 4 | 明確な個人の文体があり、一部に一般的なセクションがある |
| 3 | 文体上の兆候が混在 |
| 2 | 一般的な文体で、独自の特徴がほとんどない |
| 1 | 個人の文体がなく、テンプレートのような出力で、全体を通じて入れ替えテストに不合格 |
カテゴリ 7:語り口と著者の存在感(重み:10%)
人間らしい語り口の指標
- 立場の表明: 要約だけでなく、明確な論拠を示す
- 反論への対応: 反論を予測し、取り上げる
- 個人的な比喩: 独自のたとえや比較
- トーンの一貫性: ジャンルにふさわしい語り口が全体を通じて安定している
- 知的好奇心: 議論から自然に問いが生まれる
AIの声を示す指標
- 統合を伴わない要約: 立場を列挙するだけで、どれか一つを支持する議論を展開しない
- ありきたりな比較: 「真っ白なキャンバスのように」といった使い古された表現
- トーンの不安定さ: 文体のレジスターが切り替わる
- 根拠のない断定: 推論を示さずに主張する
- 好奇心の欠如: 疑問を抱くことなく情報を提示する
評価基準
| スコア | 説明 |
|---|---|
| 5 | 全体を通じて独自の知的個性があり、明確な声がある |
| 4 | 書き手の存在感がよく表れ、トーンに一貫性がある |
| 3 | ある程度声が感じられるが、ときどきありきたりなセクションがある |
| 2 | 書き手の存在感が弱く、ほとんどがありきたりである |
| 1 | 独自の声がなく、誰が書いても同じように見える |
カテゴリー 8:内容の真正性(任意の重み付け)
真正な学術的考察の兆候
- 新しい理論的枠組み、独自の統合
- 文献における矛盾への取り組み
- 具体的な限界(「さらなる研究が必要」といったありきたりな表現ではない)
- 議論から自然に導かれる研究の方向性
- 独自の例、知的なリスクを取る姿勢
AI生成の兆候
- 文献をリストのように扱い、統合せずに要約する
- 矛盾を避け、ありきたりな限界を述べる
- 今後の研究が議論から切り離され、見慣れた例や無難な総意が用いられる
評価基準
| スコア | 説明 |
|---|---|
| 5 | 新たな統合、緊張関係への真摯な取り組み、具体的な貢献がある |
| 4 | 優れた知的内容があり、独自の洞察もいくらか含まれる |
| 3 | 学術的内容として適切だが、新規性は限られる |
| 2 | 主に要約であり、統合はほとんどない |
| 1 | 独自の貢献がなく、既存のアイデアを並べただけである |
カテゴリー 9:決定的な兆候
以下のいずれかがあれば、重み付けスコアにかかわらず、全体評価は「AI生成」です。
- 「大規模言語モデルとして……」など、同様の自己紹介
- 「知識のカットオフ以降の出来事は確認できません……」
- 「回答を再生成」などのインターフェース上の痕跡
- 埋め込まれた指示やプロンプトの漏えい
- 「リアルタイム情報にはアクセスできません……」
- テキスト内に埋め込まれた、仮想のユーザーからの質問への回答
- 明らかなプレースホルダーテキスト(「[Insert X here]」など)
第 III 部:解釈の尺度
| スコア範囲 | 評価 |
|---|---|
| 4.5-5.0 | 人間が執筆した強い証拠がある |
| 4.0-4.4 | 人間が執筆した可能性が高い |
| 3.5-3.9 | 人間が執筆し、AIの支援を受けた可能性がある |
| 3.0-3.4 | AIが大幅に関与している |
| 2.0-2.9 | AIが生成した可能性が高い |
| 1.0-1.9 | AIが生成した強い証拠がある |
第 IV 部:確信度の補正要因
確信度を高める要因: 複数のカテゴリーで兆候が一致する、引用の検証で具体的な証拠が得られる、決定的な兆候が検出される、長い文書で一貫したパターンが見られる。
確信度を下げる要因: 文書が短い(500語未満)、技術的または形式的な文体、英語が母語ではない書き手、カテゴリー間で兆候が混在している。
第 V 部:適用手順
ステップ 1:初期スキャン
- 決定的な兆候を確認する(カテゴリー 9)
- シグナルの強い語句について、語彙マーカーを調べる
- 全体の構成とバースト性を評価する
決定的な兆候が検出された場合: そこで終了します。文書はAI生成です。 シグナルの強いマーカーが複数ある場合: 詳細な評価に進みます。 初期スキャンで問題が見つからない場合: それでも完全な評価に進みます(徹底的な確認が必要です)。
ステップ 2:詳細な評価
各カテゴリーについて、次の手順を行います。
- 指標と評価基準を確認する
- テキストから具体的な証拠を記録する
- 簡潔な理由を添えてスコアを付ける
ステップ 3:引用の検証(必須 — 100%網羅)
学術文書については、すべての引用を例外なく検証します。
- 出版物が実在し、著者が実在することを確認する
- 書誌情報が正確であることを確認する
- 出典が記載された具体的な主張を裏付けていることを確認する
- 検証表に引用を一件ずつ報告する
ステップ 4:統合と評価
- 重み付けスコアを算出する
- カテゴリー間で一致する点と異なる点を記録する
- 確信度の補正要因を考慮する
- 分野固有の調整を適用する
- 総合評価を記述する
ステップ 5:実行可能な改善提案
AI 検出シグナルに対して論文を強化するために、著者が具体的にどこを変更すべきか分かるよう、カテゴリ別に具体的な改訂案を提示します。
パート VI:分野別の調整
| 分野 | 調整 |
|---|---|
| 生物医学/生命科学 | 「包括的」「重要な知見」に求める基準を高く設定し、Kobak のしきい値を厳密に適用します |
| コンピューターサイエンス | 専門用語への許容度を高め、コード生成に由来する特徴に注意します |
| 人文科学 | 文体の変化に幅があることを想定し、文体カテゴリをより重視します |
| 法的文書 | 形式的な文体が AI のパターンに似る場合があるため、引用の完全性に注目します |
| 創作 | 文体と独創性を最も重視し、構成の均一性はあまり重視しません |
パート VII:誤検知のリスク要因
- 英語を母語としない話者
- 非常に形式的な文章(法律、規制、ポリシー)
- テンプレート主導の文書ジャンル(助成金申請書、IRB 申請書)
- 標準化された語彙を用いる技術文書
- 専門家による編集済みの文章