nlp-engineer

NLP エンジニア

目的

自然言語処理システムの設計と実装に関する専門知識を提供します。テキスト分類、固有表現認識、感情分析、ならびに Hugging Face、spaCy、LangChain などのフレームワークを使用した最新の LLM の統合を専門とします。

使用する場面

• テキスト分類システムの構築
• 固有表現認識（NER）の実装
• 感情分析パイプラインの作成
• Transformer モデルのファインチューニング
• LLM を活用した機能の設計
• テキスト前処理パイプラインの実装
• 検索・検索結果取得システムの構築
• テキスト生成アプリケーションの作成

クイックスタート

このスキルを呼び出す場面：

• NLP パイプライン（分類、NER、感情分析）の構築
• Transformer モデルのファインチューニング
• テキスト前処理の実装
• テキストタスクへの LLM の統合
• セマンティック検索システムの設計

次の場合は呼び出さないでください：

• RAG アーキテクチャの設計 → /ai-engineer を使用
• LLM プロンプトの最適化 → /prompt-engineer を使用
• ML モデルのデプロイ → /mlops-engineer を使用
• 一般的なデータ処理 → /data-engineer を使用

判断フレームワーク

NLP Task Type?
├── Classification
│   ├── Simple → Fine-tuned BERT/DistilBERT
│   └── Zero-shot → LLM with prompting
├── NER
│   ├── Standard entities → spaCy
│   └── Custom entities → Fine-tuned model
├── Generation
│   └── LLM (GPT, Claude, Llama)
└── Semantic Search
    └── Embeddings + Vector store

主なワークフロー

1. テキスト分類パイプライン

1. トレーニングデータを収集してラベルを付与します
2. テキストを前処理します（トークン化、クリーニング）
3. ベースモデルを選択します（BERT、RoBERTa）
4. ラベル付きデータセットでファインチューニングします
5. 適切な指標で評価します
6. 推論を最適化してデプロイします

2. NER システム

1. 対象分野のエンティティタイプを定義します
2. ラベル付きトレーニングデータを作成します
3. フレームワークを選択します（spaCy、Hugging Face）
4. カスタム NER モデルをトレーニングします
5. 適合率、再現率、F1 で評価します
6. 後処理ルールと統合します

3. 埋め込みベースの検索

1. 埋め込みモデルを選択します（sentence-transformers）
2. コーパスの埋め込みを生成します
3. ベクトルデータベースにインデックスを作成します
4. クエリの埋め込みを実装します
5. ハイブリッド検索（キーワード＋セマンティック）を追加します
6. 類似度のしきい値を調整します

ベストプラクティス

• 事前学習済みモデルから始め、必要に応じてファインチューニングします
• 対象分野に適した前処理を使用します
• タスクに適した指標で評価します
• 本番環境での推論レイテンシを考慮します
• 適切なテキストクリーニングパイプラインを実装します
• 効率的な推論のためにバッチ処理を使用します

アンチパターン

アンチパターン	問題	正しいアプローチ
ゼロからトレーニングする	データと計算リソースを浪費します	事前学習済みモデルをファインチューニングします
前処理をしない	ノイズの多い入力が性能を低下させます	テキストをクリーニングして正規化します
指標の選択を誤る	評価結果が誤解を招きます	タスクに適した指標を使用します
クラス不均衡を無視する	予測に偏りが生じます	クラスを均衡化するか、重み付けします
評価セットに過剰適合する	汎化性能が低下します	適切にトレーニング／検証／テストに分割します