algo-nlp-summarization

文本摘要

概述

文本摘要会在保留关键信息的同时压缩文档。抽取式摘要：从原文中选取并拼接重要句子。生成式摘要：生成改写内容的新文本。抽取式摘要更简单、更忠实；生成式摘要更流畅，但可能产生幻觉。

适用场景

触发条件：

• 压缩长文档、报告或文章集合
• 构建用于内容整理的自动摘要工作流
• 针对某个用例比较抽取式与生成式方法

不适用场景：

• 需要完整理解文档时（摘要会丢失细节）
• 进行结构化数据提取时（使用 NER 或信息提取）

算法

IRON LAW: Abstractive Summarization Can HALLUCINATE
Abstractive models may generate fluent text containing facts NOT in
the source. Always verify key claims in abstractive summaries against
the original document. For high-stakes use cases (legal, medical),
prefer extractive or use abstractive with factual consistency checking.

阶段 1：输入验证

确定：输入长度、目标摘要长度（比例或字数）、单文档还是多文档、领域。 门槛： 有可用的输入文本，并已定义目标长度。

阶段 2：核心算法

抽取式（TextRank/LexRank）：

1. 将文档拆分为句子
2. 构建相似度图（句子为节点，余弦相似度为边）
3. 在句子图上运行 PageRank
4. 按排名选出前 k 个句子，并按原始顺序重新排列

生成式（基于 transformer）：

1. 使用预训练模型（BART、T5、Pegasus）
2. 编码输入文档（必要时通过分块处理长度限制）
3. 使用束搜索生成摘要
4. 后处理：检查是否重复、事实是否一致

阶段 3：验证

评估：对照参考摘要计算 ROUGE 分数（ROUGE-1、ROUGE-2、ROUGE-L）。人工检查事实准确性和连贯性。 门槛： ROUGE 分数符合领域预期，抽查时未发现幻觉。

阶段 4：输出

返回摘要及元数据。

输出格式

{
  "summary": "The company reported Q4 revenue of...",
  "method": "extractive_textrank",
  "metadata": {"input_words": 2000, "summary_words": 200, "compression_ratio": 0.10, "sentences_selected": 5}
}

示例

示例输入／输出

输入： 一篇 2000 词的季度收益新闻报道 预期： 200 词的摘要，涵盖收入、利润、业绩指引和主要亮点。抽取式：选取 5–6 个句子。生成式：生成连贯的段落。

边界情况

输入	预期	原因
输入非常短（< 100 词）	原样返回或稍作精简	内容本身已很精炼
多个相互矛盾的部分	摘要可能遗漏细微差别	摘要倾向于突出主导主题
技术术语	抽取式会保留，生成式可能会简化	领域专业知识会影响质量

注意事项

• ROUGE ≠ 质量：ROUGE 衡量与参考文本之间的 n 元语法重叠度。ROUGE 分数高的摘要可能不连贯；分数低的摘要也可能因用词不同而十分出色。
• 输入长度限制：Transformer 模型的最大 token 数有限（512–4096）。长文档需要采用分块策略（先分块再摘要，或分层摘要）。
• 重复：生成式模型有时会重复短语。生成时使用重复惩罚（no_repeat_ngram_size）。
• 位置偏差：在新闻文本中，重要信息通常前置（倒金字塔结构）。简单地“取前 N 个句子”是一个强有力的抽取式基线。
• 多文档摘要：对多篇相关文档生成摘要时，需要处理不同来源间的冗余和矛盾。

参考资料

• TextRank/LexRank 的实现细节，请参阅 references/graph-based-extraction.md
• 事实一致性检查，请参阅 references/factual-consistency.md