nemo-relay-plugin-adaptive-tuning

调优自适应插件行为

适用场景

当用户已完成 NeMo Relay 基础埋点，并希望根据运行时信号改善延迟、并行度、提示词缓存行为或模型请求行为时，使用此技能。 请基于已知基线衡量自适应行为。

不适用场景

如果应用尚未完成埋点，请勿使用此技能。请先从 nemo-relay-instrument-calls 或 nemo-relay-get-started 开始。

默认指南

• 先观察并与基线比较，然后每次只启用一项行为变更。
• 使用自适应插件组件，不要另行设计调优逻辑，也不要在每个调用点手动注册自适应行为。
• 本地开发时，先使用内存状态和仅遥测行为。
• 只有在学习到的信号必须跨重启保留或在多个工作进程间共享时，才改用持久化状态。
• 只有在具有代表性的运行时事件表明应进行哪些更改后，才添加主动行为。

内嵌自适应模型

• 自适应行为通过一方插件组件进行配置，其 kind 为 adaptive。
• 自适应功能需要已有的 NeMo Relay 作用域，以及至少一个相关的托管工具或 LLM 生命周期事件流，因为它需要从运行时信号中学习。
• 主要配置项包括状态、遥测、自适应提示、工具并行度、Adaptive Cache Governor（ACG）和推出策略。
• 状态后端为 in_memory 和 redis。
• 工具并行模式为 observe_only、inject_hints 和 schedule。
• Adaptive Cache Governor 提供程序为 passthrough、anthropic 和 openai；在需要规划提示词缓存之前，请勿启用 ACG。
• Rust nemo_relay_adaptive、Python nemo_relay.adaptive 和 Node.js nemo-relay-node/adaptive 中提供了辅助 API。Go 和原始 FFI 属于以源码为先或高级用法的接口。

默认流程

请按以下推出顺序操作：

1. 确认应用会发出作用域事件，以及评估该行为所需的托管工具或 LLM 事件。如果工作流只使用一种调用类型，则无需同时具备两种。
2. 为要改进的工作流采集基线。
3. 启用使用内存状态的自适应遥测。
4. 需要精确的插件配置字段时，请阅读 references/config.md。
5. 运行具有代表性的流量，并检查报告或运行时事件。
6. 如果配置验证失败或缺少预期事件，请返回诊断信息并停止。保持最后一个已知可用的配置处于启用状态。
7. 启用调度之前，请验证工具的幂等性和竞争行为。启用 ACG 之前，请验证提供程序请求负载稳定。
8. 在配置中启用最小幅度的行为变更。
9. 当应用逻辑会使用自适应提示、工具并行指导或 ACG 诊断时，请阅读 references/hints.md。
10. 将结果与基线进行比较。如果延迟、正确性或故障率变差，请恢复最后一个已知可用的配置，并保留已清理的诊断信息供审查。

应避免的失败模式

• 尚未确定工具的幂等性和竞争行为时，不要启用调度。
• 提供程序负载尚未稳定时，不要启用提示词缓存规划。
• 除非使用方路径明确规定了契约，否则不要将自适应提示视为强制指令。
• 不要将环境变量作为主要的自适应配置方式。
• 不要根据单次运行或缺乏代表性的流量进行调优。
• 不要抑制或替换原始工具和模型错误。
• 在调用方明确其安全性之前，不要添加重试。
• 如果自适应行为导致故障率上升，请撤销该行为。

何时加载参考资料

• 需要准确的自适应配置结构 -> references/config.md
• 需要在应用逻辑中使用自适应提示或调度指导 -> references/hints.md

何时使用其他技能

• 需要构建可复用的插件行为，而非配置内置的自适应组件 -> nemo-relay-plugin-build

Related Skills

• nemo-relay-get-started
• nemo-relay-instrument-calls
• nemo-relay-plugin-observability
• nemo-relay-plugin-build