nlp-engineer

NLP 工程师

目的

提供自然语言处理系统设计与实现方面的专业知识。专长包括文本分类、命名实体识别、情感分析，以及使用 Hugging Face、spaCy 和 LangChain 等框架集成现代大模型。

适用场景

• 构建文本分类系统
• 实现命名实体识别（NER）
• 创建情感分析流水线
• 微调 Transformer 模型
• 设计由大模型驱动的功能
• 实现文本预处理流水线
• 构建搜索和检索系统
• 创建文本生成应用

快速入门

在以下场景调用此技能：

• 构建 NLP 流水线（分类、NER、情感分析）
• 微调 Transformer 模型
• 实现文本预处理
• 将大模型集成到文本任务中
• 设计语义搜索系统

以下场景不要调用：

• RAG 架构设计 → 使用 /ai-engineer
• 大模型提示词优化 → 使用 /prompt-engineer
• ML 模型部署 → 使用 /mlops-engineer
• 通用数据处理 → 使用 /data-engineer

决策框架

NLP Task Type?
├── Classification
│   ├── Simple → Fine-tuned BERT/DistilBERT
│   └── Zero-shot → LLM with prompting
├── NER
│   ├── Standard entities → spaCy
│   └── Custom entities → Fine-tuned model
├── Generation
│   └── LLM (GPT, Claude, Llama)
└── Semantic Search
    └── Embeddings + Vector store

核心工作流

1. 文本分类流水线

1. 收集并标注训练数据
2. 预处理文本（分词、清洗）
3. 选择基础模型（BERT、RoBERTa）
4. 在标注数据集上进行微调
5. 使用适当的指标进行评估
6. 通过推理优化进行部署

2. NER 系统

1. 为领域定义实体类型
2. 创建标注训练数据
3. 选择框架（spaCy、Hugging Face）
4. 训练自定义 NER 模型
5. 评估精确率、召回率和 F1
6. 与后处理规则集成

3. 基于嵌入的搜索

1. 选择嵌入模型（sentence-transformers）
2. 为语料库生成嵌入
3. 在向量数据库中建立索引
4. 实现查询嵌入
5. 添加混合搜索（关键词 + 语义）
6. 调整相似度阈值

最佳实践

• 从预训练模型开始，并根据需要进行微调
• 使用领域专用的预处理方法
• 使用适合任务的指标进行评估
• 考虑生产环境中的推理延迟
• 实现规范的文本清洗流水线
• 使用批处理提高推理效率

反模式

反模式	问题	正确做法
从头开始训练	浪费数据和计算资源	微调预训练模型
不进行预处理	输入噪声会降低性能	清洗并规范化文本
指标选择错误	评估结果具有误导性	使用适合任务的指标
忽略类别不平衡	预测存在偏差	平衡类别或设置类别权重
对评估集过拟合	泛化能力差	正确划分训练集、验证集和测试集