prompt-engineer-toolkit

Prompt Engineer Toolkit — 本番環境向けプロンプトエンジニアリング

本番環境向けプロンプトのライフサイクル全体を網羅します。効果的な設計パターン、リグレッションを検出するテストフレームワーク、変更を追跡するバージョン管理システム、主観的な「よさそう」を測定可能な品質に置き換える評価基準を取り上げます。気の利いたテクニックではなく、プロンプトを本番コードと同じ厳密さで扱います。

タグ： プロンプトエンジニアリング、chain-of-thought、few-shot、評価、テスト、プロンプトのバージョン管理

主な機能

• プロンプトパターン — 6層のシステムプロンプトアーキテクチャ、chain-of-thought（標準、スクラッチパッド、自己一貫性）、few-shotの設計と動的な選択、JSON／セクション形式の出力構造化、分解パイプライン、キャリブレーション（temperatureと信頼度レベル）。
• テストフレームワーク — テストケースの構造、テストスイートの構成（40/30/15/15）、重み付け式を用いた5次元の自動採点基準、リグレッションテストの手順。
• バージョン管理 — バージョン管理のディレクトリ構成、理由／ベースライン／ロールバックを含む変更履歴の形式、プロンプト差分のリスクチェックリスト。
• 失敗モードのカタログ — 指示の上書き、形式の逸脱、迎合、冗長さ、ハルシネーション、アンカリング、lost-in-the-middleと、それぞれの対処法。
• ライフサイクルのワークフロー — プロンプトの設計、劣化したプロンプトのデバッグ、新しいモデルへのプロンプトの移行。

使用する場面

• 本番環境向けプロンプトを設計するときや、プロンプトライブラリを構築するとき。
• プロンプトのバリエーションに対してA/Bテストやリグレッションテストを実行するとき。
• プロンプトをバージョン管理し、テストスコアを基準に変更を承認するとき。
• 劣化したプロンプトをデバッグするときや、モデル間でプロンプトを移行するとき。

最初に確認すること

プロンプトを設計またはテストする前に、以下の情報を確認してください。不明または曖昧な項目があれば、推測せずに質問してください。

• タスクと「良い」の定義 — プロンプトが生成すべきものと、成功をどう判定するか（5次元の評価基準を決定します）
• 対象モデル — キャリブレーション（temperature、few-shotの数）や移行方法はモデルによって異なります
• ライフサイクルの段階 — 新規設計／劣化したプロンプトのデバッグ／新しいモデルへの移行（ワークフローを選択します）

質問は、出力に最も大きく影響する2〜3項目だけにしてください。ユーザーが「そのまま下書きを作って」と言った場合は作業を進め、成果物の冒頭に前提を列挙してください。

ツール

ツール	目的	コマンド
eval_scorer.py	JSONテストケースの評価結果を採点します（exact/contains/regex）	python scripts/eval_scorer.py suite.json --fail-under 0.80 --json
prompt_analyzer.py	プロンプトファイルの明瞭さ、指示の密度、few-shotの網羅性、トークン数を分析します	python scripts/prompt_analyzer.py my_prompt.txt --json
prompt_diff.py	2つのプロンプトバージョンの構造変更、指示の差分、リスクを比較します	python scripts/prompt_diff.py v2.txt v3.txt --show-diff --json

参考資料

タスクに合った参考資料を読み込んでください。このファイルは簡潔に保ち、必要な詳細を都度参照します。

• references/prompt-patterns-catalog.md — プロンプト技法の完全なカタログと例：システムプロンプトアーキテクチャ、chain-of-thought、few-shot、出力の構造化、分解、キャリブレーション。プロンプトを設計または構造化するときに参照してください。
• references/testing-and-versioning.md — テストケースの設計、テストスイートの構成、評価基準と採点式、リグレッションテストの手順、バージョン管理の戦略、変更履歴の形式、差分分析。テストスイートの構築やバージョン管理を行うときに参照してください。
• references/failure-modes-and-workflows.md — よくある失敗モード、3つのライフサイクルワークフロー、概要を確認できる統合テーブル、トラブルシューティングマトリックス、成功基準。プロンプトのデバッグやワークフローの実行時に参照してください。

対象範囲と制限事項

このスキルで扱う内容：

• 本番環境の AI アプリケーション向けシステムプロンプトの設計、構成、階層化
• プロンプトの品質を確認するテストスイート、評価基準、回帰テストの構築と実行
• 変更履歴、ベースライン、ロールバック計画を用いたプロンプトのバージョン管理
• 温度設定の調整、信頼度レベル、少数ショットの選定などのキャリブレーション手法

このスキルで扱わない内容：

• モデルのファインチューニングやトレーニング — トレーニングのワークフローについては engineering/model-training-pipeline を参照してください
• 検索拡張生成（RAG）パイプラインの設計 — コンテキスト取得アーキテクチャについては engineering/context-engine を参照してください
• エージェントのオーケストレーションや複数ステップにわたるツールの使用 — エージェントシステムの設計については engineering/agent-designer を参照してください
• LLM のインフラストラクチャ、ホスティング、コストの最適化 — 推論インフラストラクチャのパターンについては engineering/llm-gateway-design を参照してください

統合ポイント

スキル	統合	データフロー
agent-designer	エージェントのシステムプロンプトは最も重要度の高いプロンプトです。このツールキットを使ってテストし、バージョン管理します	エージェント仕様 → プロンプトレイヤー → テスト済みシステムプロンプト
self-improving-agent	プロンプトの劣化を示すシグナルが自己改善ループに取り込まれ、自動修正に活用されます	テストスイートの結果 → 回帰アラート → プロンプトの反復
context-engine	取得したコンテキストの品質はプロンプトの有効性に直接影響します。取得のチューニングとプロンプトテストを連携させます	取得したチャンク → プロンプトのコンテキストレイヤー → 評価スコア
ab-test-setup	本番環境でプロンプトのバリアントを統計的に厳密な方法で A/B テストし、全面展開の前に評価します	プロンプト候補 → トラフィックの分割 → スコアの比較 → 勝者の昇格
llm-gateway-design	ゲートウェイはインフラストラクチャ層でプロンプトのルーティング、バージョン管理、モデルのフォールバックを処理します	バージョン管理されたプロンプト → ゲートウェイ設定 → モデルのルーティング → 応答のログ記録
code-review-automation	コードレビュープロンプトは本番環境で頻繁に使われるため、このツールキットのテストフレームワークが役立ちます	レビュー基準 → プロンプト設計 → テストスイート → デプロイ済みレビュープロンプト