关于 configs-variations
帮助团队为 LaunchDarkly AI 配置设计和创建变体的技能,适用于通过实验优化模型、提示词或参数。它强调一次只改变一个因素,并保留基线以便比较和回滚。
主要功能
- 01克隆基线并选择性覆盖
- 02从头创建配置变体
- 03验证新旧变体差异
- 04坚持一次测试一个因素
- 05保护基线变体不被修改
适用场景
- 01比较不同模型的成本或质量
- 02测试提示词调整的效果
- 03评估参数对延迟的影响
- 04为准确率优化创建实验变体
MCP 相关
此技能要求配置远程托管的 LaunchDarkly MCP 服务,并使用其工具读取、克隆、创建及验证 AI 配置变体。
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ launchdarkly/ ai-tooling --skill configs-variations安装后在 Claude Code 中输入/configs-variations确认已加载。
附带文件README.md
详细介绍
配置变体
你正在使用一项技能,它将指导你通过不同变体测试和优化配置。你的任务是设计实验、创建变体,并系统地找出最佳方案。
前提条件
此技能要求在你的环境中配置由 LaunchDarkly 托管的 MCP 服务。
主要 MCP 工具:
clone-ai-config-variation— 克隆基准变体并选择性覆盖字段(推荐用于实验)
备选 MCP 工具(提供更多控制):
get-ai-config— 在添加新变体前检查现有变体create-ai-config-variation— 从头创建新变体
可选 MCP 工具:
update-ai-config-variation— 创建变体后对其进行优化delete-ai-config-variation— 删除效果不佳的变体
核心原则
- 一次只测试一项:只更改模型、提示词或参数中的一项,不要同时更改多项
- 提出假设:明确你想改善什么
- 衡量结果:使用指标比较不同变体
- 通过工具验证:Agent 会获取配置,以确认变体已存在
工作流
步骤 1:确定要优化的内容
问题是什么?成本、质量、速度还是准确性?如何衡量成功?
步骤 2:设计实验
| 目标 | 要更改的内容 |
|---|---|
| 降低成本 | 更便宜的模型(例如,gpt-4o-mini) |
| 提高质量 | 更好的模型或更详细的提示词 |
| 降低延迟 | 更快的模型、更低的 max_tokens |
| 提高准确性 | 不同的模型系列(Claude 与 GPT-4) |
步骤 3:创建变体(推荐:克隆并覆盖)
使用 clone-ai-config-variation 复制基准变体,并且只覆盖你正在测试的内容。该工具会读取源变体、合并你的覆盖项,并创建新变体。你未传入的所有内容都会自动从源变体继承。
必填字段:
sourceVariationKey— 要克隆的基准变体key和name— 新变体的标识符(例如,gpt4o-mini-cost-test)
**只覆盖你正在测试的字段。**将所有其他字段留空——即使你知道它们当前的值,也不要传入。克隆工具会从源变体继承这些字段。这有助于遵循一次只更改一个变量的原则:
- 测试更便宜的模型?只传入
modelConfigKey和modelName。不要传入instructions、messages或parameters。 - 测试不同的指令?只传入
instructions。不要传入modelConfigKey或modelName。 - 测试参数?只传入
parameters。不要传入模型或提示词字段。
响应会同时返回源变体和创建的变体,因此你可以立即验证差异。
步骤 3(备选):从头创建
如果你需要完全控制,请先使用 get-ai-config 检查当前状态,然后使用 create-ai-config-variation 手动指定所有字段。始终先获取配置再创建,以了解现有配置的模式、模型和参数。
步骤 4:验证
如果你使用了 clone-ai-config-variation,响应会同时包含源变体和创建的变体,便于立即比较。否则,请使用 get-ai-config 进行确认。
报告结果:
- 创建的变体具有正确的模型和参数
- 不同变体之间只有预期变量存在差异
- 标明任何问题
**关于 API 响应的说明:**调用创建或克隆工具后,应将成功响应视为操作成功的确认。API 响应可能不会回显你发送的所有字段(例如,模型字段可能显示默认值)。不要仅根据响应字段的值重试或认定操作失败——如有需要,请使用 get-ai-config 进行验证。
modelConfigKey 格式
若要在 UI 中显示模型,此字段为必填项。格式:{Provider}.{model-id}:
OpenAI.gpt-4o、OpenAI.gpt-4o-miniAnthropic.claude-sonnet-4-5、Anthropic.claude-3-5-sonnet
安全:保护基线
当用户想尝试不同的模型、提示词或参数时,始终在基线旁创建一个新变体。绝不要修改或删除现有的基线变体。即使用户说“替换”或“切换”,也应创建一个新变体,并通过定向或逐步发布来控制流量,而不是编辑原始变体。
- 使用
clone-ai-config-variation或create-ai-config-variation添加新变体 - 不要对基线使用
update-ai-config-variation来更改其模型或指令 - 不要对基线使用
delete-ai-config-variation - 向用户说明,保留基线有助于进行比较和安全回滚
不要做的事
- 不要一次测试太多内容——每个变体只更改一个变量
- 克隆时不要传入未更改的字段——让工具从源变体继承这些字段
- 不要遗漏 modelConfigKey(缺少该字段的变体在界面中会显示为“NO MODEL”)
- 不要基于过小的样本量做决定
- 不要修改或移除基线变体——应在其旁创建新变体
- 不要使用
update-ai-config-variation来“替换”基线——应改为创建新变体
更多资源
如需进一步了解如何创建和管理变体,请阅读创建和管理配置变体。
相关技能
configs-create-- 创建初始配置configs-update-- 根据经验进行改进