omnibus-instrument-llm-analytics

PostHog LLM 分析を追加する

このスキルを使うと、新規または変更されたコードに PostHog LLM 分析を追加し、AI モデルの使用状況をトレースできます。LLM 機能を実装した後や PR をレビューした後に使用し、トークン数、レイテンシー、コストを含むすべての生成が記録されていることを確認してください。PostHog がまだインストールされていない場合は、このスキルで SDK の初期設定も行えます。あらゆるプロバイダーやフレームワークに対応しています。

対応プロバイダー：OpenAI、Azure OpenAI、Anthropic、Google、Cohere、Mistral、Perplexity、DeepSeek、Groq、Together AI、Fireworks AI、xAI、Cerebras、Hugging Face、Ollama、OpenRouter。

対応フレームワーク：LangChain、LlamaIndex、CrewAI、AutoGen、DSPy、LangGraph、Pydantic AI、Vercel AI、LiteLLM、Instructor、Semantic Kernel、Mirascope、Mastra、SmolAgents、OpenAI Agents。

プロキシ／ゲートウェイ：Portkey、Helicone。

手順

以下の手順を順番どおりに実行してください。

STEP 1：コードベースを分析し、LLM スタックを特定します。

• 依存関係ファイルやインポートを調べ、LLM プロバイダーの SDK（openai、anthropic、google-generativeai など）と AI フレームワーク（langchain、llamaindex、crewai など）を探します。
• ロックファイルを調べて、パッケージマネージャーを特定します。
• 既存の PostHog またはオブザーバビリティの設定を確認します。PostHog がすでにインストールされ、LLM トレースも設定されている場合は、STEP 4 に進み、新しい LLM 呼び出しのトレースを追加します。

STEP 2：計装方法を調べます。（PostHog LLM トレースがすでに設定されている場合はスキップします。） 2.1. 以下のリファレンスファイルから、特定したプロバイダーまたはフレームワークに対応するものを探します。このファイルは、コールバックの設定、ミドルウェアの構成、イベントの記録に関する信頼できる情報源です。ここで読み込んでください。 2.2. 該当するリファレンスがない場合は、フォールバックとして manual-capture.md を使用します。これは、あらゆるプロバイダーで使える汎用的なイベント記録方法を説明しています。

STEP 3：PostHog SDK をインストールします。（PostHog がすでに設定されている場合はスキップします。）

• PostHog SDK と、必要なコールバック／インテグレーションパッケージを追加します。
• 依存関係ファイルを手動で編集しないでください。パッケージマネージャーのインストールコマンドを使用してください。
• パッケージは必ずバックグラウンドタスクとしてインストールします。完了を待たず、すぐにほかの作業に進んでください。

STEP 4：LLM トレースを追加します。

• すべての生成について、入力トークン数、出力トークン数、モデル名、レイテンシー、コストを記録するように LLM 呼び出しを計装します。
• 正確なコールバック／ミドルウェアの設定については、プロバイダー固有のリファレンスに従ってください。
• 既存ファイルの基本的なアーキテクチャを変更しないでください。追加は最小限かつ対象を絞って行います。
• ファイルに書き込む直前に、必ずそのファイルを読み込んでください。

STEP 5：ユーザーと関連付けます。

• 可能であれば、特定済みユーザーの識別 ID を使って LLM の生成をユーザーに関連付けます。

STEP 6：環境変数を設定します。

• env-file-tools MCP サーバーが接続されている場合は、check_env_keys の後に set_env_values を使用して、PostHog の API キーとホストを設定します。
• これらの環境変数をコード内で参照し、値を直接ハードコードしないでください。

リファレンスファイル

• references/openai.md - Openai LLM 分析のインストール - ドキュメント
• references/azure-openai.md - Azure openai LLM 分析のインストール - ドキュメント
• references/anthropic.md - Anthropic LLM 分析のインストール - ドキュメント
• references/google.md - Google LLM 分析のインストール - ドキュメント
• references/cohere.md - Cohere LLM 分析のインストール - ドキュメント
• references/mistral.md - Mistral LLM 分析のインストール - ドキュメント
• references/perplexity.md - Perplexity LLM 分析のインストール - ドキュメント
• references/deepseek.md - Deepseek LLM 分析のインストール - ドキュメント
• references/groq.md - Groq LLM 分析のインストール - ドキュメント
• references/together-ai.md - Together ai LLM 分析のインストール - ドキュメント
• references/fireworks-ai.md - Fireworks ai LLM 分析のインストール - ドキュメント
• references/xai.md - Xai LLM 分析のインストール - ドキュメント
• references/cerebras.md - Cerebras LLM 分析のインストール - ドキュメント
• references/hugging-face.md - Hugging face LLM 分析のインストール - ドキュメント
• references/ollama.md - Ollama LLM 分析のインストール - ドキュメント
• references/openrouter.md - Openrouter LLM 分析のインストール - ドキュメント
• references/langchain.md - Langchain LLM 分析のインストール - ドキュメント
• references/llamaindex.md - Llamaindex LLM 分析のインストール - ドキュメント
• references/crewai.md - Crewai LLM 分析のインストール - ドキュメント
• references/autogen.md - Autogen LLM 分析のインストール - ドキュメント
• references/dspy.md - Dspy LLM 分析のインストール - ドキュメント
• references/langgraph.md - Langgraph LLM 分析のインストール - ドキュメント
• references/pydantic-ai.md - Pydantic ai LLM 分析のインストール - ドキュメント
• references/vercel-ai.md - Vercel ai SDK LLM 分析のインストール - ドキュメント
• references/litellm.md - Litellm LLM 分析のインストール - ドキュメント
• references/instructor.md - Instructor LLM 分析のインストール - ドキュメント
• references/semantic-kernel.md - Semantic kernel LLM 分析のインストール - ドキュメント
• references/mirascope.md - Mirascope LLM 分析のインストール - ドキュメント
• references/mastra.md - Mastra LLM 分析のインストール - ドキュメント
• references/smolagents.md - Smolagents LLM 分析のインストール - ドキュメント
• references/openai-agents.md - Openai agents SDK LLM 分析のインストール - ドキュメント
• references/portkey.md - Portkey LLM 分析のインストール - ドキュメント
• references/helicone.md - Helicone LLM 分析のインストール - ドキュメント
• references/manual-capture.md - LLM 分析の手動キャプチャのインストール - ドキュメント
• references/basics.md - LLM 分析の基本 - ドキュメント
• references/traces.md - トレース - ドキュメント
• references/calculating-costs.md - LLM コストの計算 - ドキュメント

各プロバイダーのリファレンスには、そのプロバイダーまたはフレームワークに固有のインストール手順、SDK のセットアップ、コード例が記載されています。ユーザーのスタックに合ったリファレンスを確認してください。

ユーザーが使用しているプロバイダーが一覧にない場合は、代替として manual-capture.md を使用してください。これは、どのプロバイダーでも利用できる汎用的なイベントキャプチャの方法を説明しています。

主な原則

• 環境変数：PostHog と LLM プロバイダーのキーには、必ず環境変数を使用してください。ハードコードしないでください。
• 変更は最小限に：既存の LLM 呼び出しに LLM 分析を追加してください。既存のコードを置き換えたり、構成し直したりしないでください。
• すべての生成をトレース：すべての LLM 呼び出しについて、入力トークン、出力トークン、モデル名、レイテンシ、コストをキャプチャしてください。
• ユーザーに紐付ける：可能な場合は、distinct ID を使って LLM の生成を識別済みユーザーに関連付けてください。
• 一度に扱うプロバイダーは1つ：ユーザーが実際に使用しているプロバイダーのみを計測してください。コードベースに存在しないプロバイダーの計測は追加しないでください。