mcpField
E
elevenlabs-agents

elevenlabs-agents

github.com/calesthioAgent 工作流223103 次安装16 周前更新
代码仓库

关于 elevenlabs-agents

面向 ElevenLabs Agents 平台的语音与文本对话 Agent 生产指南，涵盖配置和部署决策；不适用于单次文本转语音等任务。

主要功能

  1. 01对话处理流程配置
  2. 02语音 Agent 提示词指导
  3. 03LLM 与语音选择
  4. 04轮次管理和打断控制
  5. 05知识与工具配置

适用场景

  1. 01规划电话客服机器人
  2. 02配置网站语音 Agent
  3. 03调整多语言对话 Agent

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill elevenlabs-agents

安装后在 Claude Code 中输入/elevenlabs-agents确认已加载。

附带文件EVAL.md

详细介绍

ElevenLabs Agents（ElevenAgents）

在 ElevenLabs Agents 平台上构建语音（及文本）Agent 的生产指南。该产品于 2026 年从“Conversational AI”更名为“ElevenLabs Agents”/“ElevenAgents”；文档 URL 同时使用 /docs/eleven-agents/... 和旧版 /docs/agents-platform/... 路径，两者内容大多相同。以下所有模型 ID、价格、限制和端点都可能变动，并已于 2026-07-10 根据 elevenlabs.io/docs 核实；引用给用户前请重新核实，因为 ElevenLabs 经常添加大模型并调整套餐。

适用场景

当任务涉及由 ElevenLabs Agents 运行时驱动的双向语音（或文本）对话时，请使用本指南：电话机器人、网站语音组件、应用内语音助手、WhatsApp/聊天 Agent、外呼营销活动或自定义 SDK 集成。本指南也适用于配置 Agent 的大脑（提示词、大模型、工具、知识）、语音、渠道和评估。

不要将本指南用于单次文本转语音、有声书旁白、配音、音效或音乐——这些是 ElevenLabs 的独立产品，各自有专用 API。如果用户只想将文本转换为 .mp3 文件，他们需要的是 TTS API，而不是 Agent。

配置的处理流程

[已记录] ElevenAgents 对话是由四个组件构成的协调循环（elevenlabs.io/docs/eleven-agents/overview，已于 2026-07-10 核实）：

  1. 语音转文本（ASR） — 微调后的识别模型，可将来电者的音频转换为文本。据称，ElevenLabs 的自定义 ASR 响应时间低于 100ms，而通用 Whisper 部署的响应时间约为 300ms 以上。
  2. 轮次处理/打断模型 — 基于语音活动检测器（VAD）构建的专有模型，用于判断用户是否确实说完了一轮对话（而非句中停顿），以及何时应因用户插话而停止 Agent。
  3. 大模型 — 负责推理的大脑。你可以从托管模型（Google/OpenAI/Anthropic/ElevenLabs 托管的开源权重模型）中选择，也可以接入自定义端点。
  4. 文本转语音（TTS） — 以低延迟语音模型生成回复，语音库包含 70 多种语言的 5,000 多种语音（Agent 语音选择器支持约 31 种语言；Flash/Turbo TTS 模型支持约 32 种语言）。

你的任务是选择并调整每个阶段，让整个循环听起来像真人对话。[经验法则] 每个阶段的延迟和质量都相互制约；应优化整个循环，而不是孤立地优化某个组件。

延迟：决定体验感的预算

[Documented] ElevenLabs 宣称，ElevenAgents 2.0 技术栈的首轮延迟低于约 500 毫秒（elevenlabs.io 博客，2026 年）。ElevenLabs 自己的延迟说明中列出了各阶段的大致耗时（elevenlabs.io/blog/how-do-you-optimize-latency-for-conversational-ai，已于 2026-07-10 核实）：

阶段典型耗时
ASR（ElevenLabs 定制版）<100 毫秒
轮次交接 / VAD 静音检测可调；会增加“轮次结束”等待时间
LLM 首个 tokenGemini Flash <350 毫秒；GPT-4 级 / Claude Sonnet 700–1000 毫秒
TTS（Flash v2.5）模型耗时约 75 毫秒，端到端约 135 毫秒
网络（同一区域）~200 毫秒以上
电话通信（全球）~500 毫秒以上

[独立基准测试，已披露方法] 第三方监测（Cekura、Deepgram，2026 年）报告称，ElevenLabs 是速度最快的编排器之一，中位轮次耗时约 1.7 秒，但长尾延迟较高（P95 约 3.2 秒），主要由 LLM 耗时波动和电话通信导致。应将低于 500 毫秒视为 ElevenLabs 可控阶段的最佳情况，而非端到端电话体验的耗时。

[Heuristic] 实用的延迟优化手段，按影响从高到低排列：

  • 选择速度快的 LLM。耗时最大、波动也最大的部分是 LLM 首个 token。Flash 级或 Haiku 级模型相比前沿模型可节省 400–700 毫秒。
  • 除非有特定的质量需求，否则语音选用 eleven_flash_v2_5。
  • 精简系统提示词和每轮上下文——提示词过长会增加首个 token 的耗时。
  • 让部署位置靠近用户：选择距离来电者最近的区域；全球通话中，电话通信的网络跳数影响最大。
  • 用口头填充语（“我来查一下……”）掩盖不可避免的等待（工具调用、数据库查询），避免静默时间超过约 1 秒。

Agent 配置

面向语音对话的系统提示词

[Heuristic] 语音 Agent 的提示词不同于聊天机器人提示词。语音输出只能按顺序听一遍，没有可回看的记录，因此：

  • 强制简洁。 要求每轮只表达一个想法，约 1–3 句话。长段落听起来难以理解，还会增加 TTS 延迟和成本。
  • 禁止仅适用于屏幕的格式。 不要使用 Markdown、项目符号列表、表格、表情符号，也不要朗读 URL——这些内容会被逐字读出（“星号星号”）。在清晰度重要的场合，要求将数字转换为文字读出（“一八零零”）。
  • 设定角色和范围。 明确角色、语气、能做和不能做的事，并明确要求“如果你不知道或问题超出范围，就如实说明并提供转接服务”。
  • 为边界情况编写脚本。 包括开场白，以及如何处理打断、沉默、离题请求和态度恶劣的来电者。
  • 用文字说明工具的触发条件。 说明何时调用每个工具，因为 LLM 会根据提示词和工具说明决定是否使用工具。

[Documented] 控制面板将其分为首条消息（开场白，支持动态变量）和系统提示词。平台近期新增的字段 trust_context 可将 Agent 标记为 low（服务不受信任的外部来电者——限制工具访问权限）或 high（服务所有者——可授予完整工具访问权限）（更新日志，2026 年，已于 2026-07-10 核实）。

大模型选择

[有文档记录，易变 — 已于 2026-07-10 核实] ElevenAgents 支持大量且频繁更新的模型，名单包括：

  • OpenAI：GPT-5.5、GPT-5.4（+ Mini/Nano）、GPT-5.2、GPT-5.1、GPT-5（+ Mini/Nano）、GPT-4.1（+ Mini/Nano）、GPT-4o、GPT-4o Mini。
  • Google：Gemini 3.5 Flash、3.1 Pro/Flash-Lite（预览版）、3 Pro/Flash（预览版）、2.5 Flash、2.5 Flash-Lite。
  • Anthropic：Claude Opus 4.7、Sonnet 4.6 / 4.5 / 4、Haiku 4.5。
  • 由 ElevenLabs 托管的开放权重模型：Qwen3.6-35B-A3B、Qwen3.5-397B-A17B。
  • 自定义大模型：使用你自己的 OpenAI 兼容端点，并保存凭据。

具体名单几乎每月都会变化；请务必查看实时的 Models 页面，不要依赖记忆中的模型名单。

[经验法则] 根据任务选择：

  • 优先考虑延迟的简单流程（常见问题、路由、快速获取信息）：选择 Flash / Flash-Lite / Haiku / Mini 级模型。首 Token 延迟最低。
  • 工具调用较多或推理较复杂的流程（多步骤、消歧、必须准确调用的函数）：选择智能水平更高的模型 — ElevenLabs 自己的工具使用指南推荐更强的 Gemini Flash、GPT-5 系列或 Claude Sonnet 4.x，并特别提醒不要使用最弱的 Flash 模型来保证工具调用可靠。
  • 受数据驻留要求限制（欧盟）：部分较旧的 Gemini/Claude 变体不支持欧盟数据驻留；OpenAI 和自定义端点仍可用。请逐个模型核实。

[有文档记录] 大模型级联 / 回退：当主模型出错或超时时，ElevenAgents 可以按备用序列回退，以免单个服务提供商中断影响对话。文档记录的默认级联（通过 2026-07-10 的文档搜索核实）为 Gemini 2.5 Flash → Gemini 2.0 Flash → Claude 3.7 Sonnet → Claude 3.5 Sonnet v2。[经验法则] 在生产环境中，请保持级联开启，并确保链中的每个模型都足够快，以免回退拖累通话。

语音和 TTS 模型

[有文档记录，已于 2026-07-10 核实] 面向 Agent 的 TTS 模型取舍：

模型 ID延迟语言适用场景
eleven_flash_v2_5~75 ms~32 种实时 Agent 的默认选择。 速度与质量的平衡最佳，成本降低约 50%。
eleven_flash_v2~75 ms仅英语仅使用英语且注重成本的场景。
eleven_multilingual_v2较高29 种逼真度/情感表现最佳；长篇内容；质量优先于延迟的场景。
eleven_v3较高70+ 种表现力/戏剧性最强；角色演绎；通常不适合低延迟实时场景。
eleven_turbo_v2_5中等~32 种已弃用，不再用于 Agent；已被 Flash v2.5 取代。

[经验法则] 默认使用 eleven_flash_v2_5。只有在品牌要求最大限度的亲切感/表现力，且可以接受更高延迟时，才升级到 eleven_multilingual_v2。更高质量的语音、模型和大模型组合起来，可能会明显拖慢每轮交互 — 控制面板本身也对此发出警告。

[有文档记录] 对 Agent 有影响的语音设置：稳定性（越低，情感范围和变化越丰富；越高，声音越平稳/一致）、相似度增强（对源语音的贴合程度）以及说话人增强（稍微增加延迟以提高相似度）。TTS 输出格式可以是 mp3、pcm 或 ulaw — 电话系统通常需要 ulaw 8kHz；SIP 媒体使用 G711 8kHz 或 G722 16kHz。

[经验法则] 选择原生口音/语言与来电者群体相符的语音，保持适中的稳定性（稳定性很低可能导致不同轮次之间变化突兀），并使用你实际的脚本测试语音 — 示例文本可能会掩盖语音在领域术语、电话号码和专有名词上的问题。

语言与多语言

[已记录] Agent 可以使用固定语言运行，也可以检测并切换语言；TTS 总计支持 70 多种语言，其中 Flash v2.5 支持约 32 种，Multilingual v2 支持 29 种。[经验法则] 对于多语言 Agent，请确认三个阶段都支持目标语言：ASR 识别质量、大模型的流利度，以及所选 TTS 模型的覆盖范围。用一种语言克隆的语音在说另一种语言时可能带有口音——请试听。

轮次交接与打断

[已记录] ElevenAgents 2.0 使用混合式轮次交接模型：结合 VAD 和深度学习信号（填充词、韵律、节奏、微停顿）判断轮次结束并处理抢话打断。可配置的选项包括轮次响应积极度（Eager / Normal / Patient）和 1–30s 的轮次超时（已于 2026-07-10 验证）。

[经验法则]

  • Eager 可缩短响应延迟，但可能打断说话较慢或思考较多的人；适合节奏明快的交易流程。
  • Patient 可避免打断对方；适合支持场景、老年呼叫者或嘈杂线路，但感知到的停顿会更长。
  • 背景噪声（暖通空调声、交谈串音、呼叫中心环境音）可能触发 VAD，导致 Agent 在句子中途被打断——[社区/独立，已披露] ElevenLabs 未公布误打断的精确率/召回率指标，因此应使用真实电话音频验证抢话打断行为，而不是在安静办公室里用麦克风测试。
  • 现已提供 background_sound（环境音）选项，并新增 agent_response_complete 客户端事件，在轮次内容完整送达后触发一次——有助于实现可靠的轮次结束 UI、唤醒词门控或消息批处理（2026 年更新日志）。

知识库与 RAG

[已记录，已于 2026-07-10 验证] 可将文档附加到 Agent，作为有依据的知识：

  • 来源：上传文件（PDF、TXT、DOCX、HTML、EPUB；每个文件最大 21MB）、导入 URL（单个页面——不会爬取链接页面），或粘贴文本。
  • 账户限额：非企业账户总上限为 20MB / 300k 个字符；企业账户可通过销售团队提高限额。
  • 配置：文档位于 conversation_config.agent.prompt.knowledge_base 下，每个文档包含 type、name、id，以及可选的 usage_mode。可启用 RAG，让 Agent 检索相关文本块，而不是把所有内容都塞进上下文。
  • ElevenLabs 未公布嵌入模型、文本块大小或检索机制的内部细节。

[经验法则] 将大型手册拆分为重点明确的文档，并保持内容更新；还应从转录文本中挖掘知识库未能解答的问题。将稳定的参考资料放入知识库；将每位用户特有的信息（账户余额、订单状态）放入动态变量或服务端工具——切勿将客户数据写入知识库。

工具与函数调用

[已记录] 有三种工具类型：

  • 服务端 / webhook 工具——Agent 向你的后端发起 HTTP 调用，以获取实时数据（数据库查询、订单状态）或执行需要身份验证的操作（预订、退款）。所有密钥都保留在服务端。
  • 客户端工具——在呼叫者的应用/浏览器中调用 JavaScript：打开模态框、导航、更新 UI、读取本地状态。配置时使用 type: "client"、name、description、parameters 和 expects_response / “Wait for response”——启用后，Agent 会暂停，并在继续之前将返回的数据追加到对话中。
  • 系统工具——内置操作：结束通话、转接至另一位 Agent、转接至人工客服/电话号码、跳过轮次、检测语言。（系统工具无法更新动态变量。）

[经验法则] 工具的可靠性很大程度上取决于大模型。为每个工具编写简洁明确的描述，并为每个参数提供清晰的 description 和 value_type，以便模型正确提取参数。对于误触发工具代价高昂的流程（付款、取消），请使用智能程度更高的大模型，并添加工具调用测试（见下文）。尽可能将工具设计为幂等，并用口头填充语掩盖其延迟。

个性化：动态变量与覆盖

[已记录，已于 2026-07-10 验证]

  • 动态变量会将运行时值（{{user_name}}、{{account_tier}}）注入提示词、第一条消息和工具中，是按对话进行个性化的推荐方式。通过 conversation_initiation_client_data.dynamic_variables 传递。系统变量（如 system__caller_id、system__called_number、system__call_duration_secs、system__agent_id）会自动提供，但客户端负载不能设置或覆盖这些变量。
  • 覆盖会在对话开始时整体替换系统提示词、第一条消息或其他配置。虽然仍受支持，但与动态变量相比，不建议使用，因为可维护性较差。
  • Twilio 个性化：接到呼入电话时，ElevenLabs 会通过 webhook 向你的端点发送通话信息；你返回对话初始化数据（动态变量和覆盖项），以便针对该通话进行个性化设置。

多 Agent 工作流与转接

[已记录] Agent 工作流是一种可视化编辑器，用于构建分支对话图，将对话路由给专业化的子 Agent。每个子 Agent 都有自己的提示词、工具和限定范围的知识库，也可以将对话转交给人工客服。支持两种转接机制：

  • Agent 间转接（系统工具）：当满足指定条件（“用户询问账单”）时，父 Agent 会将正在进行的对话转交给子 Agent。完整对话记录会保留；transfer_to_agent 调用会从子 Agent 可见的历史记录中移除，使对话能够无缝继续。支持可选延迟和可选的语音转接消息（留空则静默转接）。
  • 转接给人工客服／电话号码：通过电话系统将对话转接给某个人，包括将来电者接入会议进行暖转接。

[经验法则] 优先使用多个小型、用途单一的子 Agent，而不是一个庞大的提示词：每个子 Agent 都更精简（延迟更低、需要遵守的指令更少），也更易于测试。只有在确实需要升级处理时才转接人工客服，并始终为 Agent 提供明确的备用路径，避免来电者陷入无法继续的状态。

渠道与 SDK

[已记录，已于 2026-07-10 验证]

  • SDK：React（@elevenlabs/react）、JavaScript/Web（@elevenlabs/client）、Swift（iOS）、Kotlin（Android）、React Native，以及 Python/TypeScript 服务端 SDK。CLI（@elevenlabs/cli）可通过代码管理 Agent。
  • 传输方式：语音对话默认使用 WebRTC；纯文本对话默认使用 WebSocket。 React 的 startSession 接受 signedUrl、conversationToken 或 agentId，并根据模式推断传输方式。
  • 小组件：可嵌入的 HTML 代码片段，以 Agent ID 为标识，可在网站上免代码部署。
  • 电话服务：原生 Twilio 集成（支持呼入和呼出，无需更改基础设施），以及兼容大多数服务提供商（Twilio、Vonage、Telnyx、Plivo、Bandwidth、Sinch、Infobip、RingCentral、Exotel 及其他符合标准的中继）的 SIP 中继。SIP 支持摘要认证或 ACL/IP 身份验证、TLS 信令和 SRTP 媒体；编解码器为 G711 8kHz 或 G722 16kHz。批量外呼可用于营销活动。
身份验证（切勿泄露密钥）

[已记录] 切勿将 ElevenLabs API 密钥放入客户端代码。对于需要身份验证的 Agent：

  • WebSocket → 你的服务端调用 REST API 生成签名 URL（约 15 分钟后过期）；客户端使用该 URL 连接。
  • WebRTC → 你的服务端生成对话令牌；客户端使用该令牌连接。

[经验法则] 在生产环境中始终让 Agent 经过身份验证，避免任何人都能使用你的 Agent ID 消耗通话时长，并在令牌／签名 URL 端点前加上你自己的身份验证。公开／未经身份验证的 Agent 仅适用于开放演示。

测试、模拟和评估

[已记录，已于 2026-07-10 验证] ElevenAgents 内置测试框架，可通过控制面板的 Tests 选项卡、CLI（elevenlabs agents test <agent_id>）或 SDK（run_tests / runTests，概率测试可使用 repeat_count）运行：

  • 场景 / LLM 评估测试 — 由模拟用户推动对话；LLM 根据你编写的成功标准为 Agent 评分（包括对语气的预期，以及成功和失败示例）。
  • 工具调用测试 — 断言 Agent 使用正确的参数调用正确的工具，并通过 精确匹配、正则表达式（例如 ^ORD-[0-9]{8}$）或 LLM 语义检查进行验证。
  • 模拟测试 — 完整或部分的多轮模拟（部分模拟从对话中途开始，用于对某个子流程进行单元测试），支持 工具模拟和自定义评估，并根据你定义的结果描述评分。
  • 概率测试 — 将一项测试运行 N 次；徽章以绿色（100%）、琥珀色（≥80%）、红色（<80%）显示通过率，并按原因对失败进行分组。由于 LLM 输出具有随机性，单次运行“成功过一次”不算通过。
  • 根据对话创建测试 — 一键将真实的失败调用转化为回归测试。

[已记录] 对话后的 评估标准（成功评判标准）和 数据收集（结构化提取）会使用与模拟相同的标准，在实时对话中自动运行，并为分析提供数据。

[经验法则] 构建一套测试，覆盖顺利完成的路径、每个工具、每种转接条件，以及恶意、偏题和沉默等边界情况；每次更改提示词或模型之前都运行测试。更换提示词和模型经常会导致原本“显然能正常工作”的行为出现回归。

分析

[已记录] 平台提供对话搜索、转录文本、成功评估结果、提取的数据收集字段、A/B 测试和性能指标，供大规模监控使用。[经验法则] 关注延迟中位数和尾延迟、打断 / 插话率、工具错误率、转接人工率和成功标准通过率——尾延迟和转接率能揭示平均值掩盖的生产环境问题。

定价、并发和突发用量

[已记录，有变动——已于 2026-07-10 验证] ElevenAgents 按 通话分钟数计费，与共享的 TTS 额度池分开；LLM 和电话服务按用量另行计费。具有代表性的自助服务套餐（包含分钟数 / 并发通话数）：

套餐包含分钟数并发通话数
Free154
Starter756
Creator27510
Pro1,23820
Scale3,73830
Business12,37540

超额用量约为 $0.08/分钟（标准）、$0.16/分钟（突发）；短信约为 $0.003/条。启用 突发定价后，可突破并发上限，最高约为上限的 3 倍，但费率翻倍。可创建的 Agent 数量没有上限；真正的限制因素是 并发通话数。

[经验法则] 规模扩大时，导致问题的是并发数，而不是分钟数——大量同时呼入的通话会立刻触及上限，额外来电者会被拒绝，或按突发费率计费。对于实际呼叫中心的业务量（数百路同时通话），你需要企业级并发方案；不要假设自助服务套餐能承受营销活动带来的呼入高峰。要同时测算这两个因素：总分钟数决定月度账单，并发通话数决定忙时峰值。

安全、同意与披露——合成语音与真人交谈

这涉及法律与伦理，不是可有可无的细节。[已记录／监管要求]

  • AI 披露：告知来电者他们正在与 AI 交谈。根据《欧盟 AI 法案》（第 52 条关于合成音频／深度伪造音频透明度的规定）以及类似的新兴法规，人工生成的语音与个人互动时必须披露这一点。[经验法则] 应在第一条消息中说明（“您好，我是……的 AI 助手”），不要等到后面才提。
  • TCPA（美国）：ElevenLabs 的合成语音属于“人工语音或预录语音”。营销电话需要事先明确的书面同意；信息类电话需要事先明确同意。仅在接听者当地时区的上午 8 点至晚上 9 点拨打；对照美国国家谢绝来电登记处和内部谢绝来电名单进行筛查；及时（10 个工作日内）响应退订请求，并提供自动退订方式。不得以同意作为购买条件。许多美国州的规定更严格——请咨询法律顾问。
  • GDPR／生物识别信息：根据 GDPR，语音通常属于生物识别数据。处理此类数据通常需要符合第 9 条的合法依据（通常是明确同意），并进行 DPIA（第 35 条）。在欧盟进行生物识别数据处理时，请使用企业版套餐并签署 DPA。
  • 语音克隆同意：如果 Agent 使用克隆语音，你需要取得语音所有者有据可查的明确书面同意，且同意范围应涵盖 AI／合成语音模型的创建和生成语音——与标准 TTS 相比，克隆语音有其特定的合规要求。
  • 禁止用途：冒充他人、欺诈、规避语音验证、未经授权的自动拨号、骚扰、压制选民投票以及类似用途。不要开发此类功能。

[经验法则] 将合规要求写入配置：在第一条消息中披露身份，提供便捷的“转接人工”选项，在必要时告知录音／征求同意，为外呼安排时区感知型调度，并在拨号前检查谢绝来电名单。应将“用户是否愿意与机器人交谈，以及是否同意接听来电？”视为设计要求，而不是事后补充。

常见故障模式

[经验法则，基于已记录的行为]

  • 把格式内容读出声——输出中包含 markdown／表情符号／URL。修复方法：在提示词中禁止这些内容；要求使用纯口语，并将数字读出来。
  • 回答冗长——没有简洁性限制。修复方法：在提示词中将每次回答限制为 1–3 句话。
  • 在噪声中被打断——VAD 误触发。修复方法：采用耐心的轮流交谈方式，在真实的电话音频上测试，并调整超时时间。
  • 回复迟缓——使用前沿大模型和高质量语音。修复方法：改用 Flash 级大模型和 eleven_flash_v2_5，精简提示词，并在等待工具时加入口语填充语。
  • 工具误触发或不触发——大模型能力较弱或工具描述含糊。修复方法：在工具密集型工作流中使用更强的大模型，完善描述／参数，并添加工具调用测试。
  • API 密钥泄露／Agent 未经身份验证——密钥写在客户端代码中。修复方法：由服务端生成签名 URL／对话令牌；在生产环境中使用经过身份验证的 Agent。
  • 上线时遇到并发瓶颈——自助套餐的并发量不足以应对峰值。修复方法：根据繁忙时段的同时通话量选择合适的套餐，启用突发容量，或升级到企业版。
  • 未披露 AI 身份／未取得同意——面临监管风险。修复方法：在第一条消息中披露身份；部署前取得 TCPA／GDPR 要求的同意。

完整示例（标注示例，并非必需公式）

意图：为一家中型电商品牌打造经过身份验证、低延迟的客服 Agent，通过网站语音小组件部署，并提供电话备用渠道，可查询订单状态并将用户转接给人工客服。

  • 信任上下文：low（外部来电者）。
  • LLM：快速的 Flash/Sonnet 级模型，具备足够可靠的工具调用能力来查询订单；保持开启 LLM 级联。
  • TTS：eleven_flash_v2_5，适中的稳定性，品牌语音与客户群体的口音相匹配。
  • 首条消息（同时也是 AI 披露声明）："您好，您正在与 Northwind Support 的 AI 助手交谈。我可以查询订单，也可以为您转接人工客服——请问有什么可以帮您？"
  • 系统提示词（要点）：角色 = 订单状态客服；回复控制在 1–2 句口语表达内；绝不朗读 URL、Markdown 或表情符号；将订单号和跟踪码逐字读出；如果找不到订单或请求超出范围（退款、投诉），简短致歉并转接人工客服；每当用户提及订单时，调用 get_order_status。
  • 工具：服务端工具 get_order_status(order_id) → 你的后端；用于升级处理的系统工具 transfer_to_number。order_id 参数应有清晰的说明和可通过正则表达式检查的格式。
  • 个性化：在会话开始时注入 {{customer_first_name}} 和 {{account_tier}} 作为动态变量；电话来电时使用 system__caller_id 预先查询账户。
  • 知识库：用于回答一般问题的配送政策和退货政策文档（使用专门文件并启用 RAG）——不包含客户个人数据。
  • 轮流发言：正常的主动程度，超时约 7 秒；使用录制的电话音频测试插话打断。
  • 渠道：通过 WebRTC 运行的 React SDK 小组件，使用服务端签发的会话令牌；用于接听来电的 Twilio 号码，并配备个性化 Webhook。
  • 测试：场景测试（对“我的订单在哪儿？”进行富有同理心的处理，并覆盖成功与失败示例）、工具调用测试（断言 get_order_status 会使用符合正则表达式的 order_id 触发），以及针对升级处理分支的部分模拟——每项测试的 repeat_count 均 ≥ 5。
  • 预期结果：缓存信息的回复听起来几乎能在一秒内完成；get_order_status 运行期间播放语音填充内容；遇到超出范围的问题时可顺畅转接人工客服。
  • 可能的失败模式：输入含糊时订单查询工具误触发（通过更强的大模型和清晰的参数说明来缓解）；嘈杂环境中的来电者打断 Agent（通过调整轮流发言设置来缓解）；上线当天并发量激增（扩充套餐容量 / 启用突发容量）。
  • 变体：将小组件替换为纯电话渠道，通过 SIP 中继接入；添加计费子 Agent，并通过 Agent Workflows 进行路由；以批量活动形式发送外呼提醒——此时还需满足完整的 TCPA 同意要求和呼叫时段义务。

主要来源（已于 2026-07-10 核实）

评论

支持 Markdown