humanize-chinese

中国語 AI テキストの人間らしい書き換え v5.0

中国語の AI 生成テキストを検出して書き換えるための完全なツールチェーンです。単独で実行（統合 CLI または独立スクリプト）できるほか、LLM プロンプトのガイドとしても使用できます。

v5.0 の主な変更点： scene-aware な 3 系統の LR 融合（general / academic / longform）；HC3 fused の精度 95％；長文シーン向けに --scene novel/auto を追加；長編の語り口向けに --style novel を追加；--best-of-n N（デフォルト 10）で複数回 humanize し、LR が最も低い結果を採用；段落単位のシグナル（paragraph length CV / 段落間 trigram 重複）と対抗書き換えを追加。

CLI ツール

統合 CLI（推奨）

./humanize detect 文本.txt -v                              # 检测 + 详细
./humanize detect 章节.txt --scene novel                   # 长文本/小说显式 scene
./humanize detect 稿件.txt --scene auto                    # 按长度自动切 (≥1500 走 longform LR)
./humanize rewrite 文本.txt -o 改后.txt                    # 改写（默认 best-of-10）
./humanize rewrite 文本.txt -o 改后.txt --best-of-n 5      # 自调 best-of-N
./humanize rewrite 文本.txt -o 改后.txt --quick            # 快速模式（跳统计/best-of）
./humanize academic 论文.txt -o 改后.txt --compare          # 学术降重 + 双评分对比
./humanize style 章节.txt --style novel                    # 长篇叙事专属 (剔除 AI prompt artifact + markdown headers)
./humanize style 文本.txt --style xiaohongshu              # 风格转换
./humanize compare 文本.txt -a                              # 前后对比

独立スクリプト形式（同等）

すべてのスクリプトは scripts/ ディレクトリにあり、純粋な Python で依存関係はありません。

# 检测 AI 模式（20+ 规则维度 + 8 统计特征，0-100 分）
python scripts/detect_cn.py text.txt
python scripts/detect_cn.py text.txt -v          # 详细 + 最可疑句子
python scripts/detect_cn.py text.txt -s           # 仅评分
python scripts/detect_cn.py text.txt -j           # JSON 输出

# 改写（默认 best-of-10，scene-aware）
python scripts/humanize_cn.py text.txt -o clean.txt
python scripts/humanize_cn.py text.txt --scene social -a   # 社交 + 激进
python scripts/humanize_cn.py text.txt --quick             # 18× 速度，纯替换
python scripts/humanize_cn.py text.txt --cilin             # 启用 CiLin 同义词扩展

# 风格转换（先自动 humanize 再套风格）
python scripts/style_cn.py text.txt --style zhihu -o out.txt

# 前后对比
python scripts/compare_cn.py text.txt --scene tech -a

# 学术论文 AIGC 降重（10 学术维度 + scene-aware academic LR + 双评分）
python scripts/academic_cn.py paper.txt -o clean.txt --compare
python scripts/academic_cn.py paper.txt -o clean.txt -a --compare  # 激进
python scripts/academic_cn.py paper.txt -o clean.txt --quick       # 快速模式

スコア基準

スコア	レベル	意味
0-24	LOW	ほぼ人間が書いたように見える
25-49	MEDIUM	AI らしい特徴がいくつかある
50-74	HIGH	AI 生成である可能性が高い
75-100	VERY HIGH	ほぼ確実に AI 生成

パラメーター早見表

パラメーター	説明
-v	詳細モード。疑わしい文を表示します
-s	スコアのみを表示します
-j	JSON 出力
-o	出力ファイル
-a	強力モード
--seed N	ランダムシードを固定します
--scene	general / academic / novel / auto（detect_cn）—— auto は文字数が 1500 以上の場合、longform LR に切り替えます
--style	casual / zhihu / xiaohongshu / wechat / academic / literary / weibo / novel
--best-of-n N	N 回 humanize し、LR が最も低い結果を採用します（デフォルト 10）
--compare	変更前後を比較します（学術向けの二重スコアリング）
--quick	高速モード（統計的最適化と best-of を省略。18 倍高速）
--cilin	CiLin の同義語拡張を有効にします（humanize、38873 語、衝突ブラックリストを含む）
--no-humanize	style 変換前に AI らしい表現を除去しません
--rule-only	detect でルール層のみを使用します（LR 融合を省略）

ワークフロー

# 1. 检测
./humanize detect document.txt -v
# 2. 改写 + 对比
./humanize compare document.txt -a -o clean.txt
# 3. 验证
./humanize detect clean.txt -s
# 4. 可选：转风格
./humanize style clean.txt --style zhihu -o final.txt

HC3-Chinese ベンチマークテスト

しきい値は HC3-Chinese の人間／AI サンプル各 300 件を用いた Cohen's d の較正に基づいています。scene-aware LR は各 500 件で学習しています。

• 文の長さの変動係数 CV：d = 1.22（単一シグナルとして最強）
• 短文の割合（10 字未満）：d = 1.21
• 段落の長さの CV：d = -1.49（v5 の長文向け新シグナル）
• 段落内の文の長さの CV：d = -2.08（v5 の長文向け最強シグナル）
• 段落間の trigram 重複：d = +1.13（v5 の長文向け新シグナル）
• パープレキシティ：d = 0.47
• GLTR top-10 bucket：d = 0.44
• DivEye skew / kurt：d = 0.41 / 0.29
• 読点密度：d = -0.47

v5.0 の 100 サンプル回帰テスト（HC3 fused）：正確な分離率 95％ / スコア差 55.0 / 平均低下幅 +40.5 / 段落保持率 100％ / 文法上の欠陥 0 件。

長文 170 サンプル回帰（longform benchmark）：差 51.4 / 平均 delta +25.1 / 段落保持率 98.8％。ジャンル別：academic +13.8 / news +18.8 / blog +36.3 / novel +19.5 / review +31.8。

代表サンプル（best-of-10, seed=42）：academic 100→35 (-65) / general 100→35 (-65) / 小紅書 100→41 (-59) / 長編ブログ 96→41 (-55) / 業務報告 96→13 (-83)。

---

LLM で直接使用するためのガイド

ユーザーから「AI らしさをなくして」「AIGC スコアを下げて」「文章を人間らしくして」「自然な文章にして」と求められたとき、CLI ツールを実行できない場合は、以下の手順で手動で処理してください。

第一步：AI 文章のパターンを検出する

テキスト内の以下のパターンをスキャンし、深刻度に応じて分類します。

🔴 高リスクパターン（一目で AI とわかるもの）

三段構成の定型パターン：

• まず…次に…最後に
• 一方では…他方では
• 第一に…第二に…第三に

機械的な接続表現： 注目すべきなのは、以上をまとめると、容易にわかるように、総じて言えば、それと同時に、ここからわかるように、それだけでなく、言い換えれば、さらに重要なのは、否定できないのは、明らかなように、言うまでもなく、突き詰めれば

中身のない大げさな表現： 力を与える、閉ループ、デジタルトランスフォーメーション、協調的な効率向上、コスト削減と効率向上、深い融合、全方位、多次元、体系的、高品質な発展、新たな質の生産力

🟠 中リスクパターン

AI が多用する語句： 後押しする、際立たせる、浮き彫りにする、根本的なロジック、取っ掛かり、リーチする、蓄積する、振り返る、反復する、枠を超える、覆す

内容のない埋め草： 付け加えると、周知のとおり、疑いなく、具体的に言うと、簡潔に言えば

定型的な文型：

• …が絶えず発展するにつれて
• 今日の…時代において
• …という背景のもとで
• …の重要な構成要素として
• これは…だけでなく、…でもある

バランスを装った定型表現： …ではあるが…同時に、…もあれば…もあり、さらに…もある

🟡 低リスクパターン

• ためらいを示す表現が多すぎる（「ある程度」「いくぶん」が 5 回を超える）
• 列挙の多用（①②③④⑤をすぐに使う）
• 句読点の多用（セミコロンやダッシュが多い）
• 修辞の詰め込み（対句や並列表現が多すぎる）

⚪ スタイルのシグナル

• 段落の長さが極端にそろっている
• 文の長さに変化がない
• 感情表現が平板
• 書き出しのパターンが繰り返されている
• 情報エントロピーが低い（語句が予測しやすい）

第二步：書き換え方針

以下の順に処理します。

1. 三段構成を崩す 「まず…次に…最後に」という形を崩し、自然なつなぎ方に置き換えます。すべての論点に番号を付ける必要はありません。

2. AI らしい定型表現を置き換える

• 以上をまとめると → 総じて言えば／突き詰めれば／（そのまま削除）
• 注目すべきなのは → （そのまま削除し、後に続く内容を直接伝える）
• 力を与える → 助ける／支える／向上させる
• デジタルトランスフォーメーション → 情報化の改修／技術のアップグレード
• 容易にわかるように → わかるとおり／（削除）
• 後押しする → 手伝う／推進する

3. 文型を組み直す

• 短すぎる文はつなげます（「彼はとても疲れていた。休むことにした。」→「彼は疲れていたので、いっそ少し休むことにした。」）
• 長すぎる文は分割します（「しかし」「とはいえ」「同時に」など、逆接の箇所で区切ります）
• 均一なリズムを崩します（長文と短文を交互に使い、どの文も同じくらいの長さにならないようにします）

4. 同じ語句の繰り返しを減らす 同じ語句が 3 回以上出てきたら、類義語に置き換えます。たとえば、「実施する」は「行う」「やる」「進める」「着手する」などに置き換えられます。

5. 人間らしさを加える

• 場面に合う場合は、口語的な表現を 1、2 文加えます
• 抽象的なまとめの代わりに、具体例を使います
• ときどき反語や感嘆表現を加えます
• すべての段落を「総論・各論・結論」の構成にしないでください

6. 段落のリズム すべての段落がほぼ同じ長さになる構成を崩します。2 文の段落もあれば、5 文の段落もあるようにし、人が書くときの自然な長さの変化をつけます。

第三步：学术论文特殊处理

当文本是学术论文时，改写规则不同——不能口语化，要保持学术严谨性：

学术专用检测维度：

1. AI 学术措辞（"本文旨在""具有重要意义""进行了深入分析"）
2. 被动句式过度（"被广泛应用""被认为是"）
3. 段落结构过于整齐（每段总-分-总）
4. 连接词密度异常
5. 同义表达匮乏（"研究"出现 8 次）
6. 引用整合度低（每个引用都是"XX（2020）指出…"）
7. 数据论述模板化（"从表中可以看出"）
8. 过度列举（①②③④ 频繁出现）
9. 结论过于圆满（只说好不说局限）
10. 语气过于确定（"必然""毫无疑问"）

学术改写策略：

• 替换 AI 学术套话（保持学术性）：

  • 本文旨在 → 本文尝试 / 本研究关注
  • 具有重要意义 → 值得关注 / 有一定参考价值
  • 研究表明 → 前人研究发现 / 已有文献显示 / 笔者观察到
  • 进行了深入分析 → 做了初步探讨 / 展开了讨论
  • 取得了显著成效 → 产生了一定效果 / 初见成效

• 减少被动句：

  • 被广泛应用 → 得到较多运用 / 在多个领域有所应用
  • 被认为是 → 通常被看作 / 一般认为

• 注入学术犹豫语（hedging）： 在过于绝对的判断前加"可能""在一定程度上""就目前而言""初步来看"

• 增强作者主体性：

  • 研究表明 → 笔者认为 / 本研究发现
  • 可以认为 → 笔者倾向于认为

• 补充局限性： 如果结论段没有提到局限，补一句"当然，本研究也存在一定局限…"

• 打破结构均匀度： 调整段落长度，避免每段都一样。合并过短的段落，拆分过长的。

第四步：验证

改写完成后，用 CLI 工具验证效果：

./humanize detect output.txt -s

目标（基于 v5.0 fused 检测器，best-of-10 humanize）：

• 通用文本降到 35 分以下（LOW 区间）
• 学术论文降到 35 分以下（学术专用 + 通用评分均低）
• 长篇博客/小说（≥1500 字）降到 41 分左右（MEDIUM）
• 真实 ChatGPT 短输出 baseline 通常已在 5-25 分，改写后再降 3-10 分
• 刻板化 AI 样板文 (论文模板/八股) 可以看到 60-83 分降幅

注：v5.0 fused 评分融合了 LR ensemble (rule × 0.2 + LR × 0.8)，相同文本的分数会比 v3.x rule-only 更准。--rule-only 可降级到纯规则视图。

---

配置说明

所有检测模式和替换规则在 scripts/patterns_cn.json，可自定义：

• 添加新 AI 词汇
• 调整权重
• 增加替换规则
• 修改正则匹配

外部配置字段

critical_patterns    — 高权重检测（三段式、连接词、空洞词）
high_signal_patterns — 中权重检测（AI 高频词、模板句）
replacements         — 替换词库（正则 + 纯文本）
academic_patterns    — 学术专用检测与替换
scoring              — 权重和阈值配置