configs-variations

設定のバリエーション

あなたは、バリエーションを通じて設定のテストと最適化をガイドするスキルを使用しています。あなたの仕事は、実験を設計し、バリエーションを作成し、何が最も効果的かを体系的に見つけ出すことです。

前提条件

このスキルを使用するには、リモートでホストされている LaunchDarkly MCP サーバーが環境内で設定されている必要があります。

主要な MCP ツール:

• clone-ai-config-variation -- 選択的なオーバーライドを指定してベースラインのバリエーションをクローンします（実験に推奨）

代替の MCP ツール（より細かい制御が必要な場合）:

• get-ai-config -- 新しいバリエーションを追加する前に既存のバリエーションを確認します
• create-ai-config-variation -- ゼロから新しいバリエーションを作成します

オプションの MCP ツール:

• update-ai-config-variation -- 作成後にバリエーションを調整します
• delete-ai-config-variation -- うまくいかなかったバリエーションを削除します

基本原則

1. 一度に 1 つだけテストする: モデル、プロンプト、パラメータのいずれかを変更し、すべてを同時に変更しないでください
2. 仮説を持つ: 何を改善しようとしているのかを把握してください
3. 結果を測定する: メトリクスを使用してバリエーションを比較してください
4. ツールで検証する: エージェントが設定を取得して、バリエーションが存在することを確認します

ワークフロー

ステップ 1: 最適化する対象を特定する

問題は何ですか？コスト、品質、速度、精度のどれですか？成功をどのように測定しますか？

ステップ 2: 実験を設計する

目標	変更するもの
コストを削減する	より安価なモデル（例: gpt-4o-mini）
品質を向上させる	より優れたモデル、またはより詳細なプロンプト
レイテンシを削減する	より高速なモデル、より低い max_tokens
精度を向上させる	異なるモデルファミリー（Claude 対 GPT-4）

ステップ 3: バリエーションを作成する（推奨: オーバーライドを指定したクローン）

clone-ai-config-variation を使用してベースラインを複製し、テスト対象のみをオーバーライドします。このツールはソースのバリエーションを読み取り、あなたのオーバーライドをマージして、新しいバリエーションを作成します。渡さなかったものはすべて、ソースから自動的に継承されます。

必須フィールド:

• sourceVariationKey -- クローン元のベースライン
• key と name -- 新しいバリエーションの識別子（例: gpt4o-mini-cost-test）

**テストするフィールドのみをオーバーライドしてください。**他のフィールドはすべて未設定のままにします -- 現在の値を知っていても渡さないでください。クローンツールはそれらをソースから継承します。これにより、一度に 1 つの変数だけを変更する原則が徹底されます:

• より安価なモデルをテストしますか？modelConfigKey と modelName のみを渡してください。instructions、messages、parameters は渡さないでください。
• 異なる instructions をテストしますか？instructions のみを渡してください。modelConfigKey や modelName は渡さないでください。
• パラメータをテストしますか？parameters のみを渡してください。モデルやプロンプトのフィールドは渡さないでください。

レスポンスはソースと作成されたバリエーションの両方を返すので、差分をすぐに検証できます。

ステップ 3（代替）: ゼロから作成する

完全な制御が必要な場合は、まず get-ai-config で現在の状態を確認し、次にすべてのフィールドを手動で指定して create-ai-config-variation を使用します。既存の設定のモード、モデル、パラメータを理解するために、作成する前に必ず取得してください。

ステップ 4: 検証する

clone-ai-config-variation を使用した場合、レスポンスにはソースと作成されたバリエーションの両方が含まれるので、すぐに比較できます。それ以外の場合は、get-ai-config を使用して確認してください。

結果を報告する:

• 正しいモデルとパラメータでバリエーションが作成されている
• 意図した変数のみがバリエーション間で異なっている
• 問題があれば報告する

API レスポンスに関する注意: 作成またはクローンツールを呼び出した後は、成功したレスポンスを操作が成功したことの確認として扱ってください。API レスポンスは、送信したすべてのフィールドをそのまま返すとは限りません（例: モデルのフィールドにデフォルト値が表示されることがあります）。レスポンスのフィールド値だけに基づいて再試行したり、失敗と判断したりしないでください -- 必要に応じて get-ai-config で検証してください。

modelConfigKey の形式

モデルが UI に表示されるために必要です。形式: {Provider}.{model-id}:

• OpenAI.gpt-4o、OpenAI.gpt-4o-mini
• Anthropic.claude-sonnet-4-5、Anthropic.claude-3-5-sonnet

安全性: ベースラインを保護する

ユーザーが別のモデル、プロンプト、またはパラメータを試したいと考えた場合、常にベースラインと並行して新しいバリエーションを作成してください。既存のベースラインのバリエーションを変更または削除しないでください。これは、ユーザーが「置き換える」または「切り替える」と言った場合でも同様です。正しい対応は、新しいバリエーションを作成し、トラフィックの制御はターゲティング/ロールアウトに任せることであり、元のバリエーションを編集することではありません。

• 新しいバリエーションを追加するには clone-ai-config-variation または create-ai-config-variation を使用します
• ベースラインに対して update-ai-config-variation を使用してモデルや指示を変更しないでください
• ベースラインに対して delete-ai-config-variation を使用しないでください
• ベースラインを保持することで比較と安全なロールバックが可能になることをユーザーに説明してください

やってはいけないこと

• 一度にあまり多くのことをテストしないでください -- バリエーションごとに変更する変数は1つにします
• クローン時に変更していないフィールドを渡さないでください -- ツールにソースから継承させてください
• modelConfigKey を忘れないでください (これがないバリエーションは UI で「NO MODEL」と表示されます)
• 少ないサンプルサイズで判断しないでください
• ベースラインのバリエーションを変更または削除しないでください -- それを残したまま新しいバリエーションを作成してください
• update-ai-config-variation を使ってベースラインを「置き換える」ことはしないでください -- 代わりに新しいバリエーションを作成してください

その他のリソース

バリエーションの作成と管理について詳しくは、設定バリエーションの作成と管理をお読みください。

関連スキル

• configs-create -- 初期設定を作成します
• configs-update -- 学んだことに基づいて改善します