alterlab-digital-humanities

数字人文方法与工具

概述

数字人文（DH）将计算方法应用于人类文化、历史、语言和社会的研究。它并非用算法取代人文探究，而是借助工具增强阐释性学术研究：这些工具能够揭示仅凭人工阅读难以发现的模式，连接分散的档案，呈现历史进程，并让更广泛的受众能够接触文化遗产。

本技能涵盖人文研究中使用的主要计算方法：文本挖掘与自然语言处理（使用 LDA 和 BERTopic 进行主题建模、情感分析、命名实体识别）、语料库语言学（索引、搭配、频率分析、关键词显著性）、数字档案与元数据标准（Dublin Core、TEI XML）、用于历史研究的地理信息系统（GIS）、历史人物和文学角色的网络分析、文体计量学与计算作者身份归属、历史文本数字化的光学字符识别（OCR）工作流、数字学术版本、人文数据可视化、Franco Moretti 提出的远读，以及 Lev Manovich 开发的文化分析，还有用于人文计算的 Python 生态系统（spaCy、NLTK、Voyant Tools、AntConc）。

本技能面向希望将计算方法融入研究的人文学者——无论是分析维多利亚时代小说、绘制殖民贸易网络、研究政治话语的演变，还是为濒危语言创建数字档案。无需具备编程经验，但有些方法需要掌握 Python 或 R 的基础知识。对于每种方法，本技能都会介绍其学术依据、实际实现方式、可用工具（从无代码工具到完整编程），以及对其局限性的批判性观点。

何时使用本技能

在需要以下操作时使用本技能：

• 对大型文本语料库应用主题建模（LDA、BERTopic），发现主题模式
• 对历史文本、文学作品或政治话语进行情感分析
• 从非结构化文本中提取命名实体（人物、地点、组织、日期）
• 进行语料库语言学分析：索引、搭配、频率、关键词显著性
• 使用 Dublin Core 或 TEI XML 元数据标准创建或处理数字档案
• 使用 GIS 绘制历史事件、贸易路线、迁徙模式或空间叙事
• 构建并分析历史人物、文学角色或思想影响关系网络
• 使用文体计量学和计算方法判定有争议文本的作者身份
• 使用 OCR（Tesseract、Kraken、Transkribus）将历史文献数字化
• 创建带有批判性校勘装置的数字学术版本
• 使用 Palladio、Gephi 或自定义工具可视化人文数据
• 应用远读方法，分析大型语料库中的文学趋势
• 对视觉媒体、社交媒体或数字文化开展文化分析
• 使用 Python NLP 工具（spaCy、NLTK）进行人文文本分析

不适用的场景

场景	请改用
将文本作为社会科学测量对象（对调查或媒体数据采用经过验证的主题／词典／分类器流程）	alterlab-text-as-data
话语分析、会话分析或定量内容分析设计	alterlab-social-science-methods
对现代数据进行程序化矢量 GIS 分析——空间连接、缓冲区、重投影	alterlab-geopandas
将现代 PDF／Office 文件转换为文本，而非对历史扫描件进行 OCR	alterlab-markitdown
不涉及人文来源批判的大规模图算法（中心性、社群）	alterlab-networkx

核心能力

以下各项能力介绍了其用途和适用场景，以及可使用的工具。实践示例、代码、参数表和工具对比矩阵请参阅文末索引中的参考资料。

文本挖掘与 NLP

NLP 可以分析人类读者难以处理的大规模文本；它并非细读的替代品，而是补充手段，能揭示数千篇文本中的模式，并帮助确定哪些段落值得细读。

• 主题建模 — 发现潜在主题。LDA（词袋模型，需指定 k）适用于经典的远距离阅读；BERTopic（Transformer 嵌入 + HDBSCAN，自动确定 k）适用于短文本、现代文本和语义连贯性分析。
• 情感分析 — 分析文本中的情绪倾向（例如小说的情绪变化轨迹）。按准确度和成本递增，可使用词典（VADER/NRC）→ ML → Transformer。应对照人工标注结果进行验证；现代模型可能会误判历史文本。
• 命名实体识别（NER） — 提取人物、地点、组织和日期。spaCy 是最佳通用工具；对于古旧拼写和陌生实体，可使用带标注的历史文本进行微调。

→ references/methods-and-examples.md（LDA 工作流 + 示例、BERTopic 代码、情感变化轨迹代码、NER 工具 + 微调代码）。

语料库语言学

对大型结构化文本集合进行实证分析。

• 索引行（KWIC） — 显示某个词语在语境中的每次出现；揭示用法模式和搭配词。
• 搭配分析 — 识别具有统计显著性的共现词（MI、t-score、log-likelihood、Log Dice）。
• 词频与关键词性 — 关键词性分析用于比较两个语料库，找出其中一个语料库的独特之处。
• 工具：AntConc 和 Voyant（无需编码）、Sketch Engine / CQPweb（网页工具）、NLTK / quanteda（可编程工具）。

→ references/methods-and-examples.md（KWIC/关键词性示例、指标对比表和软件表）以及 references/dh-tools-guide.md（AntConc 和 Voyant 面板参考、统计指标）。

数字档案与元数据

• Dublin Core — 用于描述数字资源的通用元数据词汇表，包含 15 个元素。
• TEI XML — 文学和历史文本编码及数字学术版本构建的标准（<persName>、<placeName>、<app>/<rdg>校勘装置、<del>/<add>、<unclear>、<gap>、<choice>）。

→ references/methods-and-examples.md（Dublin Core 元素表、完整 TEI 文档示例、关键元素表）以及 references/dh-tools-guide.md（TEI 必备元素）。

历史研究中的 GIS

对历史数据进行空间分析，包括旧地图地理配准、事件/贸易路线制图、文学地理、城市史和环境史。可使用 QGIS（免费、功能全面）或 ArcGIS；Palladio 适合人文学科，可用于地图和网络视图。

→ references/methods-and-examples.md（工具表、地理配准工作流）以及 references/dh-tools-guide.md（QGIS 地理配准详解）。

历史人物的网络分析

揭示历史行动者之间的联系、影响力和群体结构（通信、共同出现、引用、亲缘、贸易、组织网络）。先构建边列表，再使用 Gephi、NetworkX 或 igraph 进行分析（中心性、社区检测、时间过滤）。

→ references/methods-and-examples.md（网络类型表、从来源到边列表的工作流）。

文体计量与作者归属判定

对写作风格进行统计分析，尤其关注功能词频率，以判定存在争议文本的作者。Burrows Delta（对最高频词计算 z 分数）是主流方法；可通过 stylo R 包、PyDelta 或 JGAAP 执行。每个样本需包含 2,000-5,000+ 词，并且比较文本的体裁应匹配。

→ references/methods-and-examples.md（特征/工具表、Delta 算法、stylo R 示例）以及 references/dh-tools-guide.md（完整 stylo 指南）。

OCR 工作流

将文本图像转换为机器可读文本；OCR 质量对所有下游分析都至关重要。Tesseract（通用）、Kraken（历史文本／非拉丁文字）和 Transkribus（手写／HTR）。始终报告字符错误率（目标 CER < 5%，理想情况下 < 2%）。

→ references/methods-and-examples.md（引擎表、准备→处理→后处理→质检工作流、Tesseract 命令）和 references/dh-tools-guide.md（Tesseract/Kraken/Transkribus 配置）。

数字学术版

包含批校装置、注释、摹真图、搜索和稳定标识符的原始文本——不止于数字化摹真图。平台：EVT、Versioning Machine、TextGrid、FromThePage、Scripto、IIIF。

→ references/methods-and-examples.md（组成部分清单、平台表）。

人文学科数据可视化

可视化既服务于分析，也服务于论证。Palladio（地图／网络／时间线）、Gephi（网络）、Voyant（文本）、StoryMapJS/TimelineJS（叙事）、D3.js（自定义）。将不确定性视为数据，把可视化融入论证，使用易读的配色方案，并记录相关信息以确保可复现性。

→ references/methods-and-examples.md（工具表、可视化原则）。

远读与文化分析

• 远读（Moretti）——对大型文学语料进行定量分析：体裁趋势、标题分析、情节／情感轨迹、人物网络、文学史上的风格变化。
• 文化分析（Manovich）——借助 OpenCV、Pillow、scikit-image 及相关工具，将远读扩展到图像、视频、社交媒体和界面设计。

→ references/methods-and-examples.md（方法、Moretti 的论点、文化分析 Python 工具）。

人文计算 Python 工具

spaCy（工业级 NLP：NER、POS、依存句法分析、词形还原）、NLTK（教育语料、词频、索引、搭配），以及无需编码的 Voyant 和桌面版 AntConc。

→ references/methods-and-examples.md（spaCy 和 NLTK 代码、Voyant/AntConc 功能概述）。

最佳实践与常见陷阱

• 从人文学科问题出发；选择能解决问题的最简单工具；循序渐进地学习；记录每项语料构建、预处理和参数决策；通过细读验证计算模式。
• 语料构建本身就是一种论证——说明纳入或排除的理由。报告 OCR 错误率和预处理选择。单独保留原始文件。
• 必须进行阐释——主题模型和可视化不会自行说明问题；承认每种方法的盲点，并将发现置于学科研究成果的背景下。
• **常见陷阱：**将 NLP 当作黑箱使用；将时代错置的情感模型用于历史文本；对主题过度解读；小语料却提出宏大论断；地理精度虚高；文本过少或体裁混杂却进行文体计量分析。

→ references/methods-and-examples.md（完整的最佳实践与常见陷阱检查清单）和 references/dh-tools-guide.md（按规模推荐的项目工作流）。

参考索引

• references/methods-and-examples.md——实例、代码（LDA/BERTopic/情感分析/NER/spaCy/NLTK/stylo/Tesseract）、参数与工具对比表、完整 TEI 文档示例，以及完整的最佳实践／常见陷阱／参考资料章节。
• references/dh-tools-guide.md——工具对比矩阵、主题建模参数调优、AntConc/Voyant 面板参考、OCR 引擎配置（Tesseract/Kraken/Transkribus）、TEI 核心元素、QGIS 地理配准、完整的 stylo R 指南、按规模推荐的项目工作流，以及延伸阅读。

参考文献（精选）

• Moretti, F.（2005）。Graphs, Maps, Trees。Verso。—（2013）。Distant Reading。Verso。
• Manovich, L.（2020）。Cultural Analytics。MIT Press。
• Blei, D. M.、Ng, A. Y. 和 Jordan, M. I.（2003）。潜在狄利克雷分配。JMLR，3，993-1022。
• Grootendorst, M.（2022）。BERTopic。arXiv:2203.05794。
• Burrows, J.（2002）。Delta。Literary and Linguistic Computing，17(3)，267-287。
• Burnard, L. 和 Bauman, S.（编）。(2023)。TEI P5 Guidelines。TEI Consortium。

完整参考书目见 references/methods-and-examples.md。

属于 AlterLab Academic Skills 套件的一部分。