sf-ai-agentforce-testing

sf-ai-agentforce-testing：Agentforce 测试执行与覆盖率分析

当用户需要正式的 Agentforce 测试时使用此技能：多轮对话验证、CLI Testing Center 规格、主题/操作覆盖率分析、预览检查，或发布后的结构化测试与修复循环。

此技能适用的任务

以下工作使用 sf-ai-agentforce-testing：

• sf agent test 工作流
• 多轮 Agent Runtime API 测试
• 主题路由、操作调用、上下文保留、护栏或升级处理验证
• 测试规格生成与覆盖率分析
• 发布 / 激活后的测试与修复循环

以下情况应委派给其他技能：

• 构建或编辑 Agent → sf-ai-agentforce 或 sf-ai-agentscript
• 运行 Apex 单元测试 → sf-testing
• 为操作创建种子数据 → sf-data
• 分析会话遥测 / STDM 跟踪记录 → sf-ai-agentforce-observability

---

核心操作规则

• 测试应在部署 / 发布 / 激活之后进行。
• 如果对话连续性很重要，应优先使用多轮 API 测试。
• 单轮表述和组织支持的测试中心工作流，应使用 CLI Testing Center 作为次选方案。
• 交互式和程序化 CLI 预览使用标准的 sf org login web 身份验证；ECA 仅用于 Agent Runtime API 测试，实时预览无需 ECA。
• 如果需要修改 Agent Script，应将 Agent 修复工作委派给 sf-ai-agentscript。
• 在 ECA 流程中，不要使用原始 curl 验证 OAuth 令牌；请使用提供的凭据工具。

脚本路径规则

使用以下目录中现有的脚本：

• ~/.claude/skills/sf-ai-agentforce-testing/hooks/scripts/

这些脚本已预先批准。不要重新创建。

---

首先收集所需上下文

询问或推断：

• Agent API 名称 / 开发者名称
• 目标组织别名
• 测试目标：冒烟测试、回归测试、扩展覆盖率或复现 Bug
• Agent 是否已发布并激活
• 组织是否提供 Agent Testing Center
• 是否有用于 Agent Runtime API 测试的 ECA 凭据

预检：

1. 查找 Agent
2. 确认发布 / 激活状态
3. 验证依赖项（Flows、Apex、数据）
4. 选择测试路径

---

双路径工作流

路径 A — 多轮 API 测试（主要路径）

适用于以下需求：

• 多轮对话测试
• 主题重新匹配验证
• 上下文保留检查
• 跨轮次的升级处理或操作链分析

需要：

• ECA / 身份验证设置
• Agent Runtime 访问权限

路径 B — CLI Testing Center（次要路径）

适用于以下需求：

• 组织原生的 sf agent test 工作流
• 执行测试规格 YAML
• 快速验证单轮表述
• Testing Center 可用时以 CLI 为中心的 CI/CD 使用场景

快速手动路径

若要在不进行完整正式测试的情况下手动验证，请先使用预览工作流，然后根据需要转到路径 A 或 B。

---

建议的工作流

1. 查找并验证

• 在目标组织中找到 Agent
• 确认其已发布并激活
• 确认所需操作 / Flows / Apex 均已存在
• 判断路径 A 或路径 B 哪个适合该请求

2. 规划测试

至少覆盖：

• 主要主题
• 预期操作
• 护栏 / 离题处理
• 升级处理行为
• 不同的措辞变体

3. 执行合适的路径

路径 A

• 使用提供的工具验证 ECA 凭据
• 获取生成场景所需的元数据
• 使用提供的 Python 脚本运行多轮场景
• 分析逐轮失败情况和覆盖率

路径 B

• 生成或优化扁平 YAML 测试规格
• 运行 sf agent test 命令
• 检查结构化结果和详细的操作输出

4. 对失败进行分类

常见的失败类别：

• 未匹配到主题
• 匹配到错误的主题
• 未调用操作
• 选择了错误的操作
• 操作调用失败
• 上下文保留失败
• 护栏失效
• 升级处理失败

5. 执行修复循环

当失败表明存在 Agent 编写问题时：

• 将修复工作委派给 sf-ai-agentscript
• 如有需要，重新发布 / 激活
• 在完整回归测试前，重新运行针对性测试

---

测试护栏

绝不可跳过以下事项：

• 仅在发布 / 激活后测试
• 包含有害、离题和拒绝场景
• 每个重要主题使用多种表述方式
• API 测试后清理会话
• 保持 swarm 执行规模小且可控

避免以下反模式：

• 测试未发布的 Agent
• 将一次符合预期的路径话语视为充分覆盖
• 将 ECA 密钥存储在仓库文件中
• 使用脆弱的 shell 展开式 curl 命令排查身份验证问题
• 未隔离原因就同时更改测试和 Agent

---

输出格式

完成一次运行时，按以下顺序报告：

1. 使用的测试路径
2. 执行的内容
3. 通过 / 失败摘要
4. 覆盖缺口
5. 根本原因主题
6. 建议的修复循环 / 下一步测试

建议格式：

Agent: <name>
Track: Multi-turn API | CLI Testing Center | Preview
Executed: <specs / scenarios / turns>
Result: <passed / partial / failed>
Coverage: <topics, actions, guardrails, context>
Issues: <highest-signal failures>
Next step: <fix, republish, rerun, or expand coverage>

---

跨技能集成

需求	委派给	原因
修复 Agent Script 逻辑	sf-ai-agentscript	编写和确定性修复循环
创建测试数据	sf-data	准备可供操作使用的数据
修复基于 Flow 的操作	sf-flow	修复 Flow
修复基于 Apex 的操作	sf-apex	修复 Apex
为 Agent Runtime API 设置 ECA / OAuth	sf-connected-apps	身份验证和应用配置
分析会话遥测数据	sf-ai-agentforce-observability	STDM / 跟踪分析

---

参考索引

从这里开始

• references/interview-wizard.md
• references/multi-turn-testing.md
• references/cli-commands.md
• references/test-spec-reference.md

执行 / 身份验证

• references/execution-protocol.md
• references/multi-turn-execution.md
• references/eca-setup-guide.md
• references/credential-convention.md
• references/connected-app-setup.md

覆盖 / 修复循环

• references/coverage-analysis.md
• references/agentic-fix-loops.md
• references/results-scoring.md
• references/known-issues.md

高级 / 专项

• references/agentscript-agents.md
• references/agentscript-testing-patterns.md
• references/cli-testing-details.md
• references/deep-conversation-history-patterns.md
• references/swarm-execution.md
• references/trace-analysis.md
• references/agent-api-reference.md

模板 / 资源

• references/test-templates.md
• references/test-plan-format.md
• assets/

---

评分指南

分数	含义
90+	达到生产就绪标准的测试信心
80–89	覆盖良好，仅有少量缺口
70–79	可以接受，但建议扩展覆盖范围
60–69	仅完成部分验证
< 60	信心不足；阻止发布