prompt-caching-strategy

prompt-caching-strategy について

LLM のプロンプトキャッシュヒット率を最適化し、API コストの削減とレイテンシの改善を目指します。プロンプト構造を分析し、キャッシュ可能な内容と不可能な内容を特定して、キャッシュの再利用を最大化する構成を提案します。トリガー条件：ユーザーが「プロンプトキャッシュ」「キャッシュヒット率」「LLM コスト削減」「トークン使用量の最適化」「より安価な LLM 呼び出し」と言う場合、または OpenAI／Anthropic／その他のプロバイダーのプロンプトキャッシュ戦略について尋ねる場合。トリガーしない条件：単一プロンプトの品質だけを最適化したい場合（代わりに prompt-optimizer を使用）、または一般的なキャッシュインフラについて尋ねる場合。