mcpField
S
setup-agent

setup-agent

github.com/coval-ai测试与质量357 次安装1 天前更新
代码仓库

关于 setup-agent

setup-agent 是一项引导用户通过 coval CLI 配置 Coval Agent 以供评估的技能。它涵盖连接类型、端点或电话号码、系统提示词、默认测试资源和创建后的验证。

主要功能

  1. 01检查身份验证并列出现有 Agent
  2. 02选择 Agent 类型并收集连接信息
  3. 03可选设置系统提示词
  4. 04选择默认测试集和指标
  5. 05创建 Agent 并验证配置

适用场景

  1. 01首次将 Agent 接入 Coval 评估
  2. 02更新现有 Agent 的系统提示词
  3. 03为后续评估配置默认测试集和指标

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/coval-ai/coval-external-skills --skill setup-agent

安装后在 Claude Code 中输入/setup-agent确认已加载。

附带文件references/connection-types.md

详细介绍

Agent 设置

引导用户使用 coval CLI 连接并配置新的 Coval Agent，以便进行评估。按顺序执行以下阶段，并在每个步骤提问。

如果 $ARGUMENTS 中包含 Agent 名称或 URL，请用它预填相应字段，并跳过该问题。

Phase 0：准备工作

Step 1：检查身份验证
coval whoami

如果尚未通过身份验证，请引导用户：

coval login

此命令会提示输入 API 密钥。请前往 https://app.coval.dev/settings（Organization > Manage > API Keys）获取密钥。

如果用户没有 Coval 账号，请引导其前往 https://coval.dev 注册。

Step 2：盘点现有 Agent
coval agents list --format json

如果存在 Agent，请列出编号列表：

Existing agents:

  1. My Voice Bot (voice) — +12345678901
  2. Support Chat (chat) — https://api.example.com/chat

  N. Create a new agent

询问：“您想配置现有 Agent，还是创建一个新的 Agent？”

如果用户选择现有 Agent，请跳到 Phase 3（系统提示词）进行更新；如果已设置提示词，则跳到 Phase 4（默认资源）。

如果不存在 Agent，请继续 Phase 1。

Phase 1：选择 Agent 类型

询问：“您使用的是哪种类型的 AI Agent？”

列出以下选项：

  • voice — 接收呼入电话（由您的 Agent 接听）
  • outbound-voice — 您的 Agent 主动拨打电话（由 Agent 发起通话）
  • chat — 文本/API 端点（兼容 OpenAI 格式）
  • sms — 基于 SMS 的 Agent
  • websocket — WebSocket 连接（ws:// 或 wss://）

加载 references/connection-types.md，了解各类型所需字段、验证规则和常见问题。根据这些信息提出 Phase 2 中的问题。

Phase 2：连接配置

根据所选类型，收集所需的连接详细信息：

对于 voice / sms Agent：

询问：“您的 Agent 的电话号码是什么？（E.164 格式，例如 +12345678901）”

验证输入：

  • 必须以 + 开头
  • + 后只能包含数字
  • 总共必须包含 10-15 位数字（包括国家/地区代码）
对于 chat / outbound-voice / websocket Agent：

询问：“您的 Agent 的端点 URL 是什么？”

验证输入：

  • chat / outbound-voice：必须是有效的 HTTP/HTTPS URL
  • websocket：必须是有效的 WebSocket URL（ws:// 或 wss://）
Agent 名称：

询问：“您想给这个 Agent 起什么名字？”

如果 $ARGUMENTS 中提供了名称，请进行确认：“我会将这个 Agent 命名为 ‘’，可以吗？”

Phase 3：系统提示词（可选）

询问：“您有 Agent 的系统提示词吗？粘贴提示词有助于之后生成更好的测试用例和指标。”

  • 如果用户提供了提示词，将其保存为 prompt 字段。
  • 如果用户跳过，请继续；之后也可以再添加。

Phase 4：默认资源（可选）

盘点现有资源：

coval test-sets list --format json
coval metrics list --format json

如果存在测试集或指标，请展示：

Available test sets:
  1. Customer Support Evaluation (3 cases)
  2. Edge Case Suite (5 cases)

Available metrics:
  1. Composite Evaluation
  2. Call Resolution
  3. Custom: Identity Verification

询问：“您想为这个 Agent 附加默认测试集或指标吗？这些会成为 Agent 今后运行时的默认配置。”

如果选择是，请收集选中的 ID 并更新 Agent：

coval agents update <agent_id> --test-set-ids <id1>,<id2> --metric-ids <id1>,<id2>

如果不存在资源，请建议用户在设置完成后创建：

  • “设置完成后，您可以使用 /build-test-suite 创建测试集，并使用 /configure-metrics 配置指标。”

Phase 5：验证

对于基于端点的 Agent（chat、outbound-voice、websocket）：

建议测试连接：“要我验证您的端点是否可访问吗？”

如果用户同意，请尝试进行基本的连接检查并报告结果。

对于基于电话号码的 Agent（voice、sms）：

确认 E.164 格式正确，且电话号码看起来有效。

创建前显示 Agent 摘要：
Agent Summary:
  Name:     <name>
  Type:     <type>
  <Phone/Endpoint>: <value>
  Prompt:   <first 80 chars or "Not set">
  Defaults: <test sets and metrics or "None">

询问：“创建这个 Agent 吗？（yes / edit）”

创建 Agent：

# For voice/sms:
coval agents create --name "<name>" --type <type> --phone-number "<number>" --format json

# For chat/outbound-voice/websocket:
coval agents create --name "<name>" --type <type> --endpoint "<url>" --format json

从 JSON 响应中提取 agent_id。

如果用户提供了系统提示词，请更新 Agent：

coval agents update <agent_id> --prompt "<prompt>"

如果用户选择了默认资源，请将其附加到 Agent：

coval agents update <agent_id> --test-set-ids <ids> --metric-ids <ids>

验证创建的 Agent：

coval agents get <agent_id> --format json

阶段 6：总结 + 后续步骤

展示已创建的 Agent：

Agent created successfully!

  ID:       <agent_id>
  Name:     <name>
  Type:     <type>
  <Phone/Endpoint>: <value>

  View in dashboard: https://app.coval.dev/agents/<agent_id>

根据用户已完成的设置，建议后续步骤：

  • 设计一个用于测试的角色：/design-persona
  • 为此 Agent 构建测试用例：/build-test-suite
  • 配置评估指标：/configure-metrics
  • 运行完整的入门流程：/onboard

评论

支持 Markdown