mcpField
C
configs-variations

configs-variations

github.com/launchdarkly测试与质量281.8k 次安装1 天前更新
代码仓库

关于 configs-variations

帮助团队为 LaunchDarkly AI 配置设计和创建变体的技能,适用于通过实验优化模型、提示词或参数。它强调一次只改变一个因素,并保留基线以便比较和回滚。

主要功能

  1. 01克隆基线并选择性覆盖
  2. 02从头创建配置变体
  3. 03验证新旧变体差异
  4. 04坚持一次测试一个因素
  5. 05保护基线变体不被修改

适用场景

  1. 01比较不同模型的成本或质量
  2. 02测试提示词调整的效果
  3. 03评估参数对延迟的影响
  4. 04为准确率优化创建实验变体

MCP 相关

此技能要求配置远程托管的 LaunchDarkly MCP 服务,并使用其工具读取、克隆、创建及验证 AI 配置变体。

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/launchdarkly/ai-tooling --skill configs-variations

安装后在 Claude Code 中输入/configs-variations确认已加载。

附带文件README.md

详细介绍

配置变体

你正在使用一项技能,它将指导你通过不同变体测试和优化配置。你的任务是设计实验、创建变体,并系统地找出最佳方案。

前提条件

此技能要求在你的环境中配置由 LaunchDarkly 托管的 MCP 服务。

主要 MCP 工具:

  • clone-ai-config-variation — 克隆基准变体并选择性覆盖字段(推荐用于实验)

备选 MCP 工具(提供更多控制):

  • get-ai-config — 在添加新变体前检查现有变体
  • create-ai-config-variation — 从头创建新变体

可选 MCP 工具:

  • update-ai-config-variation — 创建变体后对其进行优化
  • delete-ai-config-variation — 删除效果不佳的变体

核心原则

  1. 一次只测试一项:只更改模型、提示词或参数中的一项,不要同时更改多项
  2. 提出假设:明确你想改善什么
  3. 衡量结果:使用指标比较不同变体
  4. 通过工具验证:Agent 会获取配置,以确认变体已存在

工作流

步骤 1:确定要优化的内容

问题是什么?成本、质量、速度还是准确性?如何衡量成功?

步骤 2:设计实验
目标要更改的内容
降低成本更便宜的模型(例如,gpt-4o-mini)
提高质量更好的模型或更详细的提示词
降低延迟更快的模型、更低的 max_tokens
提高准确性不同的模型系列(Claude 与 GPT-4)
步骤 3:创建变体(推荐:克隆并覆盖)

使用 clone-ai-config-variation 复制基准变体,并且只覆盖你正在测试的内容。该工具会读取源变体、合并你的覆盖项,并创建新变体。你未传入的所有内容都会自动从源变体继承。

必填字段:

  • sourceVariationKey — 要克隆的基准变体
  • key 和 name — 新变体的标识符(例如,gpt4o-mini-cost-test)

**只覆盖你正在测试的字段。**将所有其他字段留空——即使你知道它们当前的值,也不要传入。克隆工具会从源变体继承这些字段。这有助于遵循一次只更改一个变量的原则:

  • 测试更便宜的模型?只传入 modelConfigKey 和 modelName。不要传入 instructions、messages 或 parameters。
  • 测试不同的指令?只传入 instructions。不要传入 modelConfigKey 或 modelName。
  • 测试参数?只传入 parameters。不要传入模型或提示词字段。

响应会同时返回源变体和创建的变体,因此你可以立即验证差异。

步骤 3(备选):从头创建

如果你需要完全控制,请先使用 get-ai-config 检查当前状态,然后使用 create-ai-config-variation 手动指定所有字段。始终先获取配置再创建,以了解现有配置的模式、模型和参数。

步骤 4:验证

如果你使用了 clone-ai-config-variation,响应会同时包含源变体和创建的变体,便于立即比较。否则,请使用 get-ai-config 进行确认。

报告结果:

  • 创建的变体具有正确的模型和参数
  • 不同变体之间只有预期变量存在差异
  • 标明任何问题

**关于 API 响应的说明:**调用创建或克隆工具后,应将成功响应视为操作成功的确认。API 响应可能不会回显你发送的所有字段(例如,模型字段可能显示默认值)。不要仅根据响应字段的值重试或认定操作失败——如有需要,请使用 get-ai-config 进行验证。

modelConfigKey 格式

若要在 UI 中显示模型,此字段为必填项。格式:{Provider}.{model-id}:

  • OpenAI.gpt-4o、OpenAI.gpt-4o-mini
  • Anthropic.claude-sonnet-4-5、Anthropic.claude-3-5-sonnet

安全:保护基线

当用户想尝试不同的模型、提示词或参数时,始终在基线旁创建一个新变体。绝不要修改或删除现有的基线变体。即使用户说“替换”或“切换”,也应创建一个新变体,并通过定向或逐步发布来控制流量,而不是编辑原始变体。

  • 使用 clone-ai-config-variation 或 create-ai-config-variation 添加新变体
  • 不要对基线使用 update-ai-config-variation 来更改其模型或指令
  • 不要对基线使用 delete-ai-config-variation
  • 向用户说明,保留基线有助于进行比较和安全回滚

不要做的事

  • 不要一次测试太多内容——每个变体只更改一个变量
  • 克隆时不要传入未更改的字段——让工具从源变体继承这些字段
  • 不要遗漏 modelConfigKey(缺少该字段的变体在界面中会显示为“NO MODEL”)
  • 不要基于过小的样本量做决定
  • 不要修改或移除基线变体——应在其旁创建新变体
  • 不要使用 update-ai-config-variation 来“替换”基线——应改为创建新变体

更多资源

如需进一步了解如何创建和管理变体,请阅读创建和管理配置变体。

相关技能

  • configs-create -- 创建初始配置
  • configs-update -- 根据经验进行改进

评论

支持 Markdown