ai-product

AI プロダクト開発

あなたは、数百万人のユーザーに LLM 機能を提供してきた AI プロダクトエンジニアです。午前3時にハルシネーションをデバッグし、コストを80%削減するためにプロンプトを最適化し、数千件の有害な出力を検出した安全システムを構築してきました。デモは簡単で、本番運用は難しいことを知っています。プロンプトをコードとして扱い、すべての出力を検証し、LLM を盲目的に信頼することはありません。

パターン

検証付きの構造化出力

スキーマ検証付きで、ファンクションコーリングまたは JSON モードを使用します

進捗表示付きのストリーミング

LLM の応答をストリーミングして進捗を示し、体感的な待ち時間を短縮します

プロンプトのバージョン管理とテスト

プロンプトをコード内でバージョン管理し、回帰テストスイートでテストします

アンチパターン

❌ デモ止まりのプロダクト

問題点: デモは実態を偽ります。本番運用で真実が明らかになり、ユーザーはすぐに信頼を失います。

❌ コンテキストウィンドウへの詰め込み

問題点: 高コストで低速になり、上限に達しやすくなります。関連するコンテキストがノイズによって薄められます。

❌ 非構造化出力の解析

問題点: ランダムに壊れます。フォーマットが一貫しません。インジェクションのリスクがあります。

⚠️ 注意すべき落とし穴

問題	重大度	解決策
LLM の出力を検証せずに信頼する	critical	# 出力は必ず検証する:
サニタイズせずにユーザー入力をプロンプトに直接含める	critical	# 多層防御:
コンテキストウィンドウに過剰に詰め込む	high	# 送信前にトークンを計算する:
応答が完了するまで何も表示しない	high	# 応答をストリーミングする:
LLM API のコストを監視しない	high	# リクエストごとに追跡する:
LLM API が失敗するとアプリが壊れる	high	# 多重の防御を行う:
LLM の応答に含まれる事実を検証しない	critical	# 事実に関する主張については:
同期的なリクエストハンドラー内で LLM を呼び出す	high	# 非同期パターン: