mcpField
A
agentlens-tracing-instrument

agentlens-tracing-instrument

github.com/wandb开发71101 次安装2 周前更新
代码仓库

关于 agentlens-tracing-instrument

用于为 Python 或 TypeScript Agent 添加 Forge AgentLens tracing 的技能,指导逐步埋点与跨度验证,并要求修改前确认 W&B 登录有效。

主要功能

  1. 01编辑前检查登录和访问权限
  2. 02映射对话、轮次、模型及工具跨度
  3. 03逐步实施埋点
  4. 04验证跨度规范及后端到达

适用场景

  1. 01为模型与工具执行路径添加埋点
  2. 02检查跨度父子关系和工具调用 ID
  3. 03验证成功与失败路径的 tracing

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/wandb/skills --skill agentlens-tracing-instrument

安装后在 Claude Code 中输入/agentlens-tracing-instrument确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

references/
python.md
read_back.md
trace_fidelity.md
typescript.md

详细介绍

Forge AgentLens 仪表化

编辑或初始化前,请先完成登录检查。 如果不存在有效登录,请仅发送该部分的回复,然后停止。

Forge 通过私有 OTel 提供程序导出显式 Agent span。它不会自动为框架添加仪表化、替换全局提供程序,也不会导出该提供程序的 span。

有效登录后,编辑前请阅读 Python 或 TypeScript 参考文档,以及 跟踪保真度。 请根据已安装的 SDK 版本验证 API。

首先检查登录状态

编辑代码或初始化跟踪前,请通过已配置的 SDK 或连接器,以非交互、只读的身份请求,验证目标部署现有的 W&B 登录状态。直接使用现有凭据;切勿打印、复制或检查机密值。请勿调用 login 或跟踪 init 来探测登录状态。

如果不存在有效登录,请停止。请勿编辑、初始化或继续此技能。 请勿在此会话中运行 wandb login。此会话的 shell 不是普通终端,因此 wandb login --verify 会以 No API key configured 退出,而不是提示输入。请勿在此聊天中索要密钥,也不要创建凭据。

只发送以下内容,不要附加其他内容。不要提供决策、备注、计划或文档链接:

目前尚未登录 W&B,因此到此为止。请打开一个新的终端标签页并运行 wandb login --verify。请在 https://wandb.ai/authorize?ref=models 创建 API 密钥。如果浏览器打开了其他页面,请再次打开该链接。请在该终端中粘贴密钥,而不是在这里,然后输入 continue。

对于自托管或专用部署,请使用 wandb login --verify --host <base-url> 以及该命令打印的授权页面。仍然只发送以上内容。

  • 如果由于连接或权限问题而无法进行检查,或检查失败, 请报告登录状态/访问权限尚未验证并停止;不要假定凭据无效。
  • 用户继续操作后,请确认应用运行时可以使用其自身配置的 凭据并访问 entity/project。浏览器登录并不能建立 SDK 身份验证。没有 .netrc 回退机制的 Node/Forge 运行时 需要用户通过其运行时机密机制配置凭据。

添加仪表化

  • 确认 entity/project;仅有项目名时无法解析其实体。每个进程仅初始化 一次,并使用运行时 WANDB_API_KEY。切勿打印或提交凭据。
  • 将 Conversation → Turn → LLM/Tool/SubAgent 映射到真实边界:每次用户交互对应一个 turn,每个 LLM span 持续到流消费完成,每次执行对应一个工具。 保留提供程序的工具调用 ID,并为委派工作指定显式父级。
  • 保留输出、异常、重试和取消信息。发生失败时关闭 span; 避免现有仪表化造成重复采集。
  • 工作进行期间保持项目路由稳定。在进程退出时刷新/关闭, 而不是逐个请求处理。Python 支持抑制内容;此 TypeScript 修订版要求显式省略敏感字段。两者都不会对 PII 进行脱敏。

逐步实施

每次添加一条经过跟踪的路径:模型调用、其工具循环,然后在适用时添加委派或并发。每次更改后,运行该路径并按照 回读验证操作。在扩展仪表化之前,将已发出和已存储的 span 与实际执行情况进行比较。

修复不匹配项,并在继续前重新运行相同检查。空结果、 查询失败以及无法进行的检查均未通过验证。请在此处停止,并报告用户需要执行哪些操作才能解除验证阻塞。

验证

对你已添加检测的路径运行一致性检查, 包括成功、失败和重叠请求。 如果完整测试套件需要 CI、浏览器或当前不可用的服务,请运行可行的本地检查,并报告未覆盖的部分。 使用 Forge 的提供方或本地 OTLP 接收器,断言父子关系、工具调用 ID,以及 gen_ai.operation.name 值 invoke_agent、chat 和 execute_tool。 如果有获准的凭据,请确认数据已到达后端;否则报告未验证。仅初始化/刷新成功不足以证明数据已送达。

评论

支持 Markdown