关于 judgment
Judgment 是面向 Agent 开发的技能，用于应用埋点、输出评估、Agent 变更测试和查阅最新文档。它强调追踪实际执行路径，并按评估需求选择评分器。
主要功能
- 01应用追踪指引
- 02评估设置与评分器选择
- 03使用 OfflineTracer 测试 Agent
- 04Python Code judge 指引
- 05Judgment 文档参考
适用场景
- 01为应用添加追踪
- 02使用合适的评分器评估 Agent 输出
- 03离线测试模型或提示词变更
- 04创建确定性 Code judge
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/judgment确认已加载。
包含的文件
除 SKILL.md 外，安装时一起下载的参考资料和脚本。
references/agent-testing.mdcode-judges.mddocs.mdevaluations.mdtracing.md详细介绍
Judgment
此技能可帮助你在常见的 Agent 开发工作流中有效使用 Judgment：为应用添加埋点、评估输出、创建 Code 判分器，以及查阅最新的 Judgment 文档。
核心原则
进行所有 Judgment 相关工作时，请遵循以下原则：
- 先查阅文档：获取最新的 Judgment 文档，并在根据记忆实现 SDK 模式前参考相关文件。
- 为实际执行路径添加埋点：在应用实际执行的函数、工具和 LLM 调用中添加追踪。
- 集成时优先添加追踪：当用户要求将 Judgment 添加到应用时，除非用户明确要求进行评估或创建 Code 判分器，否则请先查看 references/tracing.md。
- 仅使用追踪器提供的接口：在大多数情况下，直接使用 Judgment 的追踪器、包装器和文档中说明的集成方式。除非最新文档要求，或使用受支持的集成后仍存在实际埋点缺口，否则不要访问底层服务提供商对象，也不要创建额外的包装层。
- 从小处着手：进行评估时，先从一组精简示例和一个评分器开始，再逐步扩展。
- 选择合适的评分器：对于基于评分标准的判断，使用 Agent 判分器；对于确定性逻辑、自定义依赖项或追踪检查，使用 Python Code 判分器。
- 不要在聊天中提供凭据：请用户在本地设置
JUDGMENT_API_KEY和JUDGMENT_ORG_ID，而不是直接粘贴密钥。 - 生产环境变更前先进行离线 Agent 测试：对于模型、提示词、工具或 Agent 配置变更，先拉取稳定的数据集，再为每个输入收集新的
OfflineTracer追踪，最后批量评估生成的离线示例。如果生产环境中的 Agent 已使用 Judgment 进行追踪，请保留现有追踪设置，只将测试工具初始化替换为client.offline_tracer(...)。
用例参考
- 添加或审查追踪：references/tracing.md
- 创建评估并选择评分器：references/evaluations.md
- 使用 OfflineTracer 测试 Agent 变更：references/agent-testing.md
- 创建 Python Code 判分器：references/code-judges.md
- 使用 Judgment 文档和 SDK 参考：references/docs.md
评论
支持 Markdown