ai-writing-detection について
文章を確認する人向けに、AI生成の可能性を評価する参考スキルです。語彙、構成、内容、引用、書式、技術的痕跡を組み合わせ、誤判定の防止と確信度評価も扱います。
主な機能
- 01段階的なテキスト信号分析
- 02語彙と構成パターンの参照
- 03技術的痕跡の確認
- 04引用と書式の確認
- 05誤判定防止の指針
- 06確信度に基づく評価
活用シーン
- 01複数のAI信号を文章から確認
- 02引用やマークアップ痕跡の点検
- 03単一の指標による断定の回避
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ mike-coulbourn/ claude-vibes --skill ai-writing-detectionインストール後、Claude Code で/ai-writing-detectionを入力して読み込まれたか確認します。
同梱ファイル
SKILL.md と一緒にインストールされる参考資料やスクリプト。
reference/citation-patterns.mdcontent-patterns.mdfalse-positive-prevention.mdformatting-patterns.mdmarkup-artifacts.mdmodel-fingerprints.mdstructural-patterns.mdvocabulary-patterns.md詳細
AI 生成文章の検出リファレンス
学術研究、市販の検出ツール、実証分析をまとめた、AI 生成テキストを検出するための専門知識ベースです。
クイックリファレンス:信頼度の高いシグナル
以下の指標が同時に見られる場合、AI による執筆である可能性が高いことを示します。
語彙に関する警告サイン
シグナルの強い単語(AI テキストで50~700倍多く使われます):
- 「delve」、「tapestry」、「nuanced」、「multifaceted」、「underscore」
- 「intricate interplay」、「played a crucial role」、「complex and multifaceted」
- 「paramount」、「pivotal」、「meticulous」、「holistic」、「robust」
- 「stands/serves as」、「marking a pivotal moment」、「underscores its importance」
多用されるフレーズ:
- 「重要なのは、……ということです」
- 「今日のめまぐるしく変化する世界では……」
- 「本質的には……」
- 「前置きはこれくらいにして……」
- 「説明します……」
完全な一覧は、reference/vocabulary-patterns.md を参照してください。
構造に関する警告サイン
- 文の長さが均一:常に12~18語(バースト性が低い)
- 三項構造:「研究、協力、問題解決」
- ダッシュの多用:AI は「強調された」セールスライティングを模倣するため、決まりきった方法でダッシュを使います。特に並列構文(「Xではなく――Yです」)で顕著です。句読点を置き換えても、根底にある強調パターンは解消されません。
- 段落の長さが不自然に均一:すべての段落がおおよそ同じ長さ
- 定型的な結論:「要約すると……」、「結論として……」
- 否定的な並列構文:「Xの問題ではなく、Yの問題です」
- 表現の巧みな変化:繰り返しを避けるため、類義語を次々に使う
- 不自然な範囲表現:両端に一貫性のない「XからYまで」
詳しくは、reference/structural-patterns.md を参照してください。
内容に関する警告サイン
- 重要性の誇張:「歴史における画期的な瞬間を示す」
- 出典のない生態系・保全に関する主張
- 厳格な定型に従った「課題と今後の展望」セクション
- 宣伝文句:「~に位置する」、「息をのむような自然の美しさ」、「誇る」
- 表面的な分析:事実に重要性を付与する「~している」という句
詳しくは、reference/content-patterns.md を参照してください。
書式に関する警告サイン
- すべてのセクション見出しがタイトルケース
- 太字の過剰使用(重要語句がすべて太字)
- インライン見出しのリスト:
**太字の見出し**: 説明のパターン - 正式な文章や見出しでの絵文字
- メール以外の文脈での件名
詳しくは、reference/formatting-patterns.md を参照してください。
マークアップに関する警告サイン(決定的)
- turn0search0、turn0image0:ChatGPT の参照マーカー
- contentReference[oaicite:]:ChatGPT の参照バグ
- utm_source=chatgpt.com:URL のトラッキング(決定的)
- ウィキテキスト内の Markdown:## の見出し、太字、テキスト
- grok_card XML タグ:Grok/X 固有
詳しくは、reference/markup-artifacts.md を参照してください。
引用に関する警告サイン
- 実在したことのない無効な外部リンク(アーカイブもない)
- 無効な DOI/ISBN:チェックサムの不一致
- 宣言されているが使用されていない参考文献:引用エラー
- プレースホルダー値:
url=URL、date=2025-XX-XX
詳しくは、reference/citation-patterns.md を参照してください。
文体に関する警告サイン
- 全体を通して受動的で距離を置いた語り口
- 一人称代名詞が期待される場面での不使用
- 文体に変化のない一貫した格式ばった表現
- 過度に丁寧な表現や、必要以上に慎重な言い回し
検出方法
多層分析アプローチ
レイヤー 1:技術的痕跡のスキャン(決定的な証拠)
- turn0search/oaicite マーカー(ChatGPT)を確認します
- URL に utm_source=chatgpt.com が含まれているか確認します
- grok_card タグ(Grok)を確認します
- Markdown 以外のコンテキストに Markdown が含まれているか確認します
- 見つかった場合:AI の関与を決定的に示す証拠です
レイヤー 2:語彙パターンの照合
- 過剰に使われている AI 関連の単語やフレーズをスキャンします
- フラグ対象の用語の出現頻度を数えます
- 信号性の高い語彙が集中している箇所を探します
- 重要性や象徴性を示すフレーズを確認します
レイヤー 3:構造分析
- 文の長さの変化を観察します(一律の場合は AI の兆候です)
- 段落の均一性を確認します
- 反復的な構文テンプレート(三項並列、否定の並列構文)を特定します
- 洗練された表現の変化(類義語の循環使用)を探します
- 不自然な範囲表現がないか確認します
レイヤー 4:内容パターン分析
- 重要性を誇張する表現や宣伝文句がないか確認します
- 「課題と将来」の定型パターンを探します
- 引用なしのエコシステム/保全に関する主張がないか確認します
- 「-ing」形による表面的な分析を特定します
レイヤー 5:引用の検証
- 外部リンクをテストし、実在するか確認します
- DOI/ISBN のチェックサムを検証します
- 参照として記載されているものの、使用されていない項目がないか確認します
- プレースホルダー値を探します
レイヤー 6:書式分析
- 見出しの大文字表記(タイトルケースは兆候です)を確認します
- 段落あたりの太字フレーズ数を数えます
- インライン見出し付きリストのパターンを探します
- フォーマルな内容に絵文字が使われていないか確認します
レイヤー 7:文体観察
- 代名詞の使用パターンを確認します(一人称が使われていないか?)
- トーンの一貫性を確認します(均一すぎる場合は AI の兆候です)
- 句読点のパターンを確認します(em ダッシュの多用や、曲線型引用符の使用など)
レイヤー 8:一貫性の確認
- 段落が一貫した論旨を組み立てているか確認します
- 異なる言葉で同じ概念が繰り返されていないか確認します
- 展開が実際にアイデアをつないでいるか確認します
レイヤー 9:信頼度スコアリング
- 複数のシグナルを組み合わせて重み付けします
- 裏付けとなる証拠を必須とします(最低 3 つ以上のシグナル)
- コンテキストに応じた調整を行います
- 緩和要因(人間らしさの兆候)を確認します
- 効果のない指標を考慮します(使用しないでください)
モデル固有のパターン
AI モデルごとに固有の「指紋」があります。
| モデル | 主な特徴 | 技術的痕跡 |
|---|---|---|
| ChatGPT/GPT-4 | 「delve」(2025 年以前)、「tapestry」、三項並列、em ダッシュ、曲線型引用符 | turn0search、oaicite、utm_source=chatgpt.com |
| Claude | 分析的な構成、長い類推、慎重な限定表現 | なし(直線型引用符を使用し、トラッキングなし) |
| Gemini | 対話的な統合、事実を多く含む段落 | なし(直線型引用符を使用し、トラッキングなし) |
| DeepSeek | ChatGPT に類似、曲線型引用符 | 曲線型引用符 |
| Grok | X/Twitter との連携 | <grok_card> XML タグ |
| Perplexity | 出典重視の出力 | [attached_file:1]、[web:1] タグ |
重要な日付:
- ChatGPT の公開日:2022 年 11 月 30 日(これより前の文章は、ほぼ間違いなく人間が書いたものです)
- 「delve」の使用が減少:2025 年(それでも 2025 年以前の ChatGPT を示すシグナルです)
詳細なモデルパターンについては、reference/model-fingerprints.md を参照してください。
誤検知の防止
必須要件:
- 信頼性の高い分析には最低 200 語が必要です
- 単一の指標だけでフラグを立てないでください
- アンサンブルスコアリングを使用してください(複数のシグナルが必要です)
誤検知のリスクが高いグループ:
- 英語を母語としない人(調査では誤検知率 61%)
- 技術文書/フォーマルな文章
- ニューロダイバージェントの書き手
- 文法修正ツールを使用したコンテンツ
効果のない指標(これらに依存しないでください):
- 文法が完璧であることだけ
- 「単調な」または「ロボットのような」文章
- 「凝った」または珍しい語彙
- 手紙のような書式だけ
- 文頭で接続詞を使うこと
人間が書いた文章の兆候:
- 2022 年 11 月 30 日より前の文章
- 編集上の選択理由を説明できること
- 検証可能な詳細を含む個人的な逸話
- 軽微な誤りや自然な癖
詳しい指針については、reference/false-positive-prevention.md を参照してください。
分析結果の形式
次の形式で所見をまとめます。
**Overall Assessment**: [Likely AI / Possibly AI / Likely Human / Inconclusive]
**Confidence**: [Low / Medium / High]
**Summary**: 2-3 sentence overview
**Evidence Found**:
- [Category]: [Specific indicator] - "[Quote from text]"
- [Category]: [Specific indicator] - "[Quote from text]"
**Mitigating Factors**: [Elements suggesting human authorship]
**Caveats**: [Limitations, alternative explanations]
主要な原則
- 断定しない - AI 検出は確率的なものです
- 複数の手がかりが必要 - 単一の指標では何も証明できません
- 文脈が重要 - 学術的な文章とブログでは異なります
- 影響の大きさを考慮する - 誤った告発は実害をもたらします
- 進化し続ける分野 - 検出手法は常に更新が必要です
参考ファイル
- vocabulary-patterns.md - 頻度付きの単語・フレーズ一覧
- structural-patterns.md - 文、段落、談話のパターン
- content-patterns.md - 重要性の誇張表現、宣伝文句、コンテンツの特徴
- formatting-patterns.md - タイトルケース、太字、絵文字、視覚的なパターン
- markup-artifacts.md - 技術的な痕跡:turn0search、oaicite、Markdown、トラッキング
- citation-patterns.md - 壊れたリンク、無効な識別子、幻覚による参考文献
- model-fingerprints.md - GPT、Claude、Gemini、Grok、Perplexity 固有の特徴
- false-positive-prevention.md - 誤った告発の回避、効果のない指標
情報源
このナレッジベースは、以下の研究を統合したものです。
- Stanford HAI(DetectGPT、バイアス研究)
- GPTZero、Originality.ai、Turnitin、Pangram の手法
- 文体計量学と談話分析に関する学術論文
- 検出精度と限界に関する実証研究
- Wikipedia:WikiProject AI Cleanup のフィールドガイド(2025年)
- Wikipedia の編集を通じてコミュニティが記録したパターン