关于 llm-analytics-setup
llm-analytics-setup 是一项技能,用于为使用 AI 或 LLM 提供商的应用添加 PostHog LLM 分析。它提供针对不同技术栈的配置参考,也为未列出的提供商提供手动采集方案。
主要功能
- 01提供商与框架专用配置指南
- 02未列出提供商的手动采集方案
- 03生成追踪与成本计算指南
- 04环境变量与隐私实践
适用场景
- 01为现有 LLM 调用添加分析
- 02查找提供商或框架的配置方法
- 03采集生成用量与成本数据
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ posthog/ skills --skill llm-analytics-setup安装后在 Claude Code 中输入/llm-analytics-setup确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
references/anthropic.mdautogen.mdazure-openai.mdbasics.mdcalculating-costs.mdcerebras.mdcohere.mdcrewai.mddeepseek.mddspy.mdfireworks-ai.mdgoogle.mdgroq.mdhelicone.mdhugging-face.mdinstructor.mdlangchain.mdlanggraph.mdlitellm.mdllamaindex.mdmanual-capture.mdmastra.mdmirascope.mdmistral.mdollama.mdopenai-agents.mdopenai.mdopenrouter.mdperplexity.mdportkey.md详细介绍
PostHog 大模型分析
此技能可帮助你为使用 AI/大模型提供商的任意应用添加 PostHog 大模型分析。
参考文件
references/openai.md- Openai 大模型分析安装文档references/azure-openai.md- Azure openai 大模型分析安装文档references/anthropic.md- Anthropic 大模型分析安装文档references/google.md- Google 大模型分析安装文档references/cohere.md- Cohere 大模型分析安装文档references/mistral.md- Mistral 大模型分析安装文档references/perplexity.md- Perplexity 大模型分析安装文档references/deepseek.md- Deepseek 大模型分析安装文档references/groq.md- Groq 大模型分析安装文档references/together-ai.md- Together ai 大模型分析安装文档references/fireworks-ai.md- Fireworks ai 大模型分析安装文档references/xai.md- Xai 大模型分析安装文档references/cerebras.md- Cerebras 大模型分析安装文档references/hugging-face.md- Hugging face 大模型分析安装文档references/ollama.md- Ollama 大模型分析安装文档references/openrouter.md- Openrouter 大模型分析安装文档references/langchain.md- Langchain 大模型分析安装文档references/llamaindex.md- Llamaindex 大模型分析安装文档references/crewai.md- Crewai 大模型分析安装文档references/autogen.md- Autogen 大模型分析安装文档references/dspy.md- Dspy 大模型分析安装文档references/langgraph.md- Langgraph 大模型分析安装文档references/pydantic-ai.md- Pydantic ai 大模型分析安装文档references/vercel-ai.md- Vercel ai SDK 大模型分析安装文档references/litellm.md- Litellm 大模型分析安装文档references/instructor.md- Instructor 大模型分析安装文档references/semantic-kernel.md- Semantic kernel 大模型分析安装文档references/mirascope.md- Mirascope 大模型分析安装文档references/mastra.md- Mastra 大模型分析安装文档references/smolagents.md- Smolagents 大模型分析安装文档references/openai-agents.md- Openai agents SDK 大模型分析安装文档references/portkey.md- Portkey 大模型分析安装文档references/helicone.md- Helicone 大模型分析安装文档references/manual-capture.md- 手动采集大模型分析安装文档references/basics.md- 大模型分析基础知识文档references/traces.md- 追踪文档references/calculating-costs.md- 计算大模型成本文档
每个提供商参考文件都包含针对该提供商或框架的安装说明、SDK 设置和代码示例。找到与用户技术栈匹配的参考文件,并遵循其中的说明。
如果用户使用的提供商未列出,请使用 manual-capture.md 作为备用方案——其中介绍了适用于任何提供商的通用事件采集方法。
核心原则
- 环境变量:始终使用环境变量存储 PostHog 和大模型提供商的密钥。切勿将密钥硬编码。
- 最小改动:在现有大模型调用旁添加大模型分析。不要替换或重构现有代码。
- 追踪所有生成:为每次大模型调用采集输入令牌数、输出令牌数、模型名称、延迟和成本。
- 关联用户:尽可能通过 distinct IDs 将大模型生成关联到已识别的用户。
- 一次处理一个提供商:仅为用户实际使用的提供商添加检测。不要为代码库中不存在的提供商添加检测。
框架指南
- 请记住,源代码位于 venv/site-packages 目录中
- posthog 是 Python SDK 的包名
- 使用
pip install posthog或pip install -r requirements.txt安装依赖,切勿在 shell 命令中直接使用未加引号的版本说明符,例如>= - 在 CLI 和脚本中:退出前必须调用 posthog.shutdown(),否则所有事件都会丢失
- 始终使用 Posthog() 类构造函数(基于实例的 API),而不是模块级的 posthog.api_key 配置
- 始终在 Posthog() 构造函数中添加 enable_exception_autocapture=True,以自动跟踪异常
- 绝不要在 capture() 事件属性中发送 PII——例如电子邮件、全名、电话号码、实际地址、IP 地址或用户生成的内容
- PII 应放在 identify() 的用户属性中,而不是 capture() 的事件属性中。安全的事件属性是元数据,例如 message_length、form_type、布尔标志。
- 使用 atexit.register() 注册 posthog_client.shutdown,确保退出时刷新所有事件
- Python SDK 没有 identify() 方法——使用 posthog_client.set(distinct_id=user_id, properties={...}) 设置用户属性,或在上下文中使用 identify_context(user_id)
评论
支持 Markdown