senior-prompt-engineer

シニアプロンプトエンジニア

プロンプトエンジニアリングのパターン、LLM 評価フレームワーク、エージェント型システムの設計を扱います。プロンプトの最適化、RAG の検索・生成品質の評価、エージェントのワークフローの検証・可視化に役立つ静的（決定論的）な分析ツールに加え、プロンプトパターン、評価指標、エージェントアーキテクチャの詳細なリファレンスライブラリを提供します。

主な機能

• プロンプトの最適化 — トークン数のカウントとコストの見積もり、明瞭さ・構造のスコアリング、曖昧さや冗長性の検出、最適化したプロンプトの生成。
• Few-shot と構造化出力の設計 — Few-shot の例の抽出・管理、多様な例のセット（シンプル／エッジケース／複雑／否定例）の設計、信頼性の高い JSON/XML スキーマ出力の適用。
• RAG の評価 — 事前に取得したコンテキストを対象に、コンテキストの関連性、回答の忠実性、根拠性（ROUGE-L）、検索指標（Precision@K、MRR、NDCG）を評価。
• エージェント型システムの設計 — エージェントの設定を検証し、フローを可視化（ASCII/Mermaid）し、実行ごとのトークンコストを見積もり、ReAct／Plan-Execute／Tool-Use／マルチエージェントのパターンを適用。
• パターンライブラリ — 10 種類のプロンプトパターン、評価フレームワーク（A/B テスト、ベンチマーク、人間による評価）、擬似コード付きのエージェントアーキテクチャ。

使用する場面

• 既存のプロンプトの性能を最適化したり、トークンコストを削減したりするとき。
• プロンプトテンプレート、Few-shot の例、構造化出力のワークフローを設計するとき。
• LLM の出力や、RAG の検索・生成品質を評価するとき。
• エージェント型システムやツール呼び出しのワークフローを構築・検証するとき。

ツール

ツール	目的	コマンド
prompt_optimizer.py	プロンプトを分析・最適化します：トークン、明瞭さ、構造、Few-shot の抽出	python scripts/prompt_optimizer.py prompt.txt --analyze
rag_evaluator.py	RAG のコンテキスト関連性、忠実性、検索指標を評価します	python scripts/rag_evaluator.py --contexts ctx.json --questions q.json
agent_orchestrator.py	エージェント設定を検証・可視化し、コストを見積もります	python scripts/agent_orchestrator.py agent.yaml --validate

リファレンス

タスクに合ったリファレンスを読み込み、このファイルは簡潔に保ち、必要に応じて詳細を参照してください。

• references/tools-and-workflows.md — サンプル出力付きの各ツールの詳細な使い方、プロンプト最適化／Few-shot／構造化出力のワークフロー、一般的なパターンとコマンドのクイックリファレンス、トラブルシューティング表、成功基準、スクリプトごとのパラメーターと出力形式の完全なリファレンスを記載しています。ツールを実行するときやワークフローを進めるときに読んでください。
• references/prompt_engineering_patterns.md — 10 種類のプロンプトパターン（Zero-shot／Few-shot、CoT、ロール、構造化出力、自己一貫性、ReAct、Tree-of-Thoughts、RAG）を、入力例と期待される出力とともに紹介しています。プロンプト技法を選択・適用するときに読んでください。
• references/llm_evaluation_frameworks.md — 評価指標、テキスト生成および RAG 固有のスコアリング、人間による評価のフレームワーク、A/B テスト、ベンチマークデータセット、パイプライン設計を記載しています。品質を測定したり、プロンプトを比較したりするときに読んでください。
• references/agentic_system_design.md — エージェントアーキテクチャ（ReAct、Plan-and-Execute、Tool Use、マルチエージェント、メモリー／状態）と、擬似コード付きの設計パターンを記載しています。エージェントやツール呼び出しシステムを構築するときに読んでください。

対象範囲と制限事項

このスキルの対象：

• 静的なプロンプト分析：トークン数のカウント、明瞭さのスコアリング、構造の検出、最適化の提案
• RAG 評価：コンテキストの関連性、回答の忠実性、根拠の明確さ、検索指標（Precision@K、ROUGE-L、MRR、NDCG）
• エージェントのワークフロー設計：設定の検証、ASCII／Mermaid による可視化、トークンコストの見積もり
• 既存のプロンプトからの少数ショット例の抽出と管理

このスキルの対象外：

• LLM のライブ呼び出しや実行時のプロンプトテスト — すべての分析は静的かつ決定論的です（LLM 統合については senior-ml-engineer を参照）
• ベクトルデータベースのセットアップや埋め込みの生成 — RAG 評価ツールがスコアリングするのは、事前に取得したコンテキストのみです（パイプラインのオーケストレーションについては senior-data-engineer を参照）
• ファインチューニング、RLHF、モデルのトレーニングワークフロー（モデルのデプロイについては senior-ml-engineer を参照）
• 本番環境でのモニタリング、A/B テストの実行、リアルタイムのドリフト検出（実験の設計については senior-data-scientist を参照）

統合ポイント

スキル	統合内容	データフロー
senior-ml-engineer	LLM の統合とモデルのデプロイ	このスキルで最適化したプロンプトを、同スキルの LLM 統合レイヤーのプロンプトテンプレートに取り込みます
senior-data-scientist	プロンプト実験のための A/B テスト設計	experiment_designer.py がテストパラメーターを定義し、このスキルが比較対象のプロンプトのバリエーションを提供します
senior-data-engineer	RAG パイプラインのオーケストレーション	pipeline_orchestrator.py が検索パイプラインを構築し、このスキルがその出力品質を評価します
senior-fullstack	エンドツーエンドのアプリケーションのひな形作成	フルスタックアプリは、agent_orchestrator.py が検証したエージェント設定を使用します
senior-security	プロンプトインジェクションと敵対的入力のレビュー	セキュリティ分析で攻撃対象領域を確認し、このスキルでプロンプトに防御的な制約が含まれていることを確認します
senior-qa	AI 搭載機能の品質保証	QA テストスイートで、最適化したプロンプトが本番環境で一貫した出力を生成することを検証します