nemo-relay-plugin-adaptive-tuning

Adaptive Plugin の動作を調整する

このスキルを使用する場面

ユーザーが NeMo Relay の基本的な計装を済ませており、実行時シグナルに基づいてレイテンシ、並列処理、プロンプトキャッシュの動作、またはモデルリクエストの動作を改善したい場合に、このスキルを使用します。 既知のベースラインを基準として、適応動作を評価してください。

このスキルを使用しない場面

アプリケーションがまだ計装されていない場合は、このスキルを使用しないでください。まず nemo-relay-instrument-calls または nemo-relay-get-started から始めてください。

デフォルトの指針

• まず観察し、ベースラインと比較してから、一度に1つの動作変更を有効にします。
• 個別の調整ロジックを作成したり、呼び出し箇所ごとに適応動作を手動登録したりせず、適応プラグインコンポーネントを使用します。
• ローカル開発では、インメモリ状態とテレメトリーのみの動作から始めます。
• 学習したシグナルを再起動後も保持する必要がある場合や、ワーカー間で共有する必要がある場合にのみ、永続状態に移行します。
• 代表的な実行時イベントから変更内容が明らかになってから、能動的な動作を追加します。

組み込みの適応モデル

• 適応動作は、種類 adaptive のファーストパーティプラグインコンポーネントを通じて設定します。
• 適応機能は、実行時シグナルから学習するため、既存の NeMo Relay スコープと、関連する管理対象ツールまたは LLM ライフサイクルイベントストリームを少なくとも1つ必要とします。
• 主な設定領域は、状態、テレメトリー、適応ヒント、ツールの並列処理、Adaptive Cache Governor（ACG）、ロールアウトポリシーです。
• 状態バックエンドは in_memory と redis です。
• ツール並列処理モードは observe_only、inject_hints、schedule です。
• Adaptive Cache Governor のプロバイダーは passthrough、anthropic、openai です。プロンプトキャッシュの計画が必要になるまでは、ACG を省略してください。
• ヘルパー API は Rust の nemo_relay_adaptive、Python の nemo_relay.adaptive、Node.js の nemo-relay-node/adaptive に用意されています。Go と生の FFI は、ソース優先または上級者向けのインターフェースです。

デフォルトの手順

次の順序でロールアウトします。

1. アプリがスコープイベントと、評価対象の動作に必要な管理対象ツールまたは LLM イベントを出力することを確認します。ワークフローで一方の呼び出しタイプしか使わない場合は、両方を必須にしないでください。
2. 改善したいワークフローのベースラインを取得します。
3. インメモリ状態で適応テレメトリーを有効にします。
4. プラグイン設定の正確なフィールドが必要な場合は、references/config.md を参照します。
5. 代表的なトラフィックを実行し、レポートまたは実行時イベントを確認します。
6. 設定の検証に失敗した場合、または想定したイベントがない場合は、診断情報を返して中止します。最後に正常に動作した設定を有効なままにしてください。
7. スケジューリングを有効にする前に、ツールの冪等性と競合時の動作を確認します。ACG を有効にする前に、プロバイダーのリクエストペイロードが安定していることを確認します。
8. 設定で最小限の動作変更を有効にします。
9. アプリケーションロジックで適応ヒント、ツール並列処理の指針、または ACG 診断情報を使用する場合は、references/hints.md を参照します。
10. 結果をベースラインと比較します。レイテンシ、正確性、または失敗率が悪化した場合は、最後に正常に動作した設定に戻し、確認用にサニタイズ済みの診断情報を保持します。

避けるべき失敗パターン

• ツールの冪等性と競合時の動作が明らかになる前に、スケジューリングを有効にしないでください。
• プロバイダーのペイロードが安定する前に、プロンプトキャッシュの計画を有効にしないでください。
• 利用側の経路でその契約が明示的に定義されていない限り、適応ヒントを必須の指示として扱わないでください。
• 環境変数を適応設定の主な方法として使用しないでください。
• 1回の実行や代表性のないトラフィックだけをもとに調整しないでください。
• 元のツールエラーやモデルエラーを抑制したり、置き換えたりしないでください。
• 呼び出しの所有者が安全性を定義するまで、リトライを追加しないでください。
• 適応動作によって失敗率が上がる場合は、その動作を元に戻してください。

次の場合はリファレンスを読み込んでください

• 正確な適応設定の形式が必要な場合 -> references/config.md
• アプリケーションロジックで適応ヒントやスケジューリングの指針を使用する必要がある場合 -> references/hints.md

別のスキルを使用する場面

• 組み込みの適応コンポーネントを設定するのではなく、再利用可能なプラグイン動作を構築する必要がある場合 -> nemo-relay-plugin-build

Related Skills

• nemo-relay-get-started
• nemo-relay-instrument-calls
• nemo-relay-plugin-observability
• nemo-relay-plugin-build