nyxmix

NyxMix

为人类和 AI Agent 共同打造的 Adobe Audition 开源替代方案。

在浏览器中进行多轨编辑、混音、修复、频谱修复、响度母带处理和播客制作。免费，采用 MIT 许可证，无需订阅或账号。 在界面中能做的一切，Agent 都能通过 MCP 或 REST 完成；你可以实时观看操作过程、查看是谁做了什么，并撤销任意操作。

我们依据 Audition 官方参考资料逐项核对了功能：65 项 Audition 功能中，50 项有对应功能，14 项更胜一筹，1 项为部分支持，没有缺失项， 且每一行都有自动化测试支持（完整对比）。 音频输出已依据 EBU R128 / ITU-R BS.1770 验证（48/48 项符合性测试）。

npx nyxmix   # then open http://127.0.0.1:3950

截图

会话视图。 此处，Agent 清理了一段有杂音的播客录音（嗡嗡声、噪声、填充词、停顿），在会话日志中标注了每个步骤，并留下了一条建议供你接受。	浅色主题。 跟随系统设置，也可在顶栏切换。
频谱编辑器。 涂除噪声、修复局部、绘制音高曲线。	转录。 通过文本编辑语音，一键移除填充词。
起始页。 会话、.nyxmix 文件，以及连接 Agent 的方法。	混音器。 推子、电平表、插入效果、主频谱和相位示波器。

演示会话由 Agent 使用 examples/agent-demo.mjs 创建，全程只使用 MCP。

运行

npx nyxmix                               # http://127.0.0.1:3950, sessions in ~/.nyxmix
npx nyxmix --token secret                # require "Authorization: Bearer secret" (the UI asks once)
npx nyxmix --port 4000 --data ./sessions

要求：PATH 中需有 Node 22+ 和 ffmpeg 6+（需支持 rubberband、libmp3lame、libopus，常见的 ffmpeg 构建版本通常都具备这些）。

从代码检出目录运行：

npm install
npm start                      # same server, data in ./data
npm test                       # integration tests (they boot their own servers)
node examples/agent-demo.mjs   # an agent producing a podcast episode over MCP

可选扩展

以下内容均为可选；NyxMix 无需它们也能运行，并会在功能需要时清楚地告知你。 Python 功能会使用软件包旁边的 .venv（如果存在），否则使用 PATH 中的 python3。

用途	安装
音高修正、音高曲线、混音重制、额外修复功能	Python 3 + pip install numpy scipy pyworld librosa
转录 / 基于文本编辑	Python 3 + pip install faster-whisper（模型由 NYXMIX_WHISPER_MODEL 指定，默认为 small）
文本转语音（生成）	将 Piper 语音放入 NYXMIX_PIPER_VOICES（默认为 /opt/piper-voices）
VST3 效果	Python 3 + pip install pedalboard，插件放在 ~/.vst3 或 VST3_PATH 中
LV2 效果	lv2apply/lilv，插件放在 LV2_PATH 中

设置

变量	默认值	含义
PORT / HOST	3950 / 127.0.0.1	监听地址。除非在前面配置了带 TLS 的代理，否则请保留 127.0.0.1。
NYXMIX_TOKEN	–	API、MCP 和 WebSocket 的 Bearer 令牌。只要其他人能够访问服务器，就务必设置此项。
NYXMIX_DATA	./data（使用 npx 时为 ~/.nyxmix）	会话、音频、渲染文件
PUBLIC_URL	请求主机	提供给 Agent 的绝对 URL 的基址
NYXMIX_PLUGINS	关闭	1 表示允许安装自定义插件（JS/Faust）。插件代码会在你的服务器上运行，因此只有在信任所有有权访问服务器的人时才启用。
NYXMIX_ALLOW_PRIVATE_URLS	关闭	1 表示允许 URL 导入获取私有地址（默认关闭：防范 SSRF）
NYXMIX_RENDER_THREADS	CPU 数 − 1（最多 8）	并行渲染进程数

旧版 KLANG_* 名称仍可使用。

将会话保存为文件（.nyxmix）

保存 .nyxmix（顶栏）会将整个会话下载为一个文件，其中包含无损音频、编排、效果、自动化、标记、版本、撤销历史记录、转录文本、噪声印记、参考视频及所用的自定义插件。在开始页面打开 .nyxmix 压缩包即可在任何 NyxMix 服务器上还原会话；压缩包中附带的插件会经过与常规安装相同的检查后安装（仅在启用了插件的服务器上安装，且绝不会覆盖具有相同 id 的其他插件）。

连接 Agent

• MCP（Streamable HTTP）：claude mcp add --transport http nyxmix http://127.0.0.1:3950/mcp （带令牌时：--header "Authorization: Bearer secret"）
• REST：/openapi.json，纯语言指南见 /llms.txt
• 实时事件：ws://…/ws?project=<id>
• 发送 X-Actor: agent:<name>；界面会以此标记编辑记录。
• Agent 技能：SKILL.md

构建方式

• 一套音频图，两种运行时。 public/js/engine/graph.js 在浏览器的 AudioContext 中构建混音，以供播放；并在服务器的 OfflineAudioContext（node-web-audio-api）中构建混音，以供导出和分析。自定义 DSP（限制器、噪声门、去齿音器、饱和器、BS.1770 响度计）位于 engine/dsp-worklet.js，并在两种环境中都以 AudioWorklet 运行。听到的效果就是导出的效果。
• 每次编辑都是一个操作（server/ops.js）：通过 JSON Schema 验证，以批次原子性地应用（后续操作可以通过 "$0.trackId" 引用较早操作的结果），支持撤销，记录操作作者，并通过 WebSocket 广播。界面使用的调用与 Agent 完全相同。
• 无损存储。 导入的音频会转换为会话采样率下的 32 位浮点 WAV。浏览器获取的是 24 位 FLAC 副本（音质相同，体积约缩小 10 倍）。渲染和破坏性处理都在服务器上以浮点格式运行。
• server/features/*.js 中的功能模块会注册各自的 REST 路由和 MCP 工具：自动闪避、提议与版本、转录和基于文本的编辑、频谱编辑及噪声印记降噪。

功能

编辑 — 多轨时间线；移动、修剪、拆分、波纹删除片段、插入静音、复制/粘贴、重复；吸附；重叠时自动交叉淡化；淡化曲线（线性、等功率、S 曲线、指数）；片段增益；标记和范围标记；采样级缩放；撤销/重做；命名版本。

混音 — 每条音轨的效果链（参数均衡器（带可拖动频段）、压缩器、限制器、噪声门、去齿音、饱和、回声、混响、增益）和预设；带输出路由及推子前/后的发送的总线；音量和声像自动化；语音下方自动闪避；混音器视图；实时峰值/RMS 电平表和 EBU R128 响度表。

修复 — 神经网络语音降噪（RNNoise）、FFT 降噪、噪声印迹消除、嗡声消除、去咔哒声、去齿音、噪声门、语音电平器、响度匹配和标准化、缩短静音、速度和音高调整（Rubber Band）；带框选、衰减和修复功能的频谱编辑器；任何处理都可以仅对选定范围运行，并可在应用前进行 A/B 预览。

语音 — 本地转录，带单词时间戳；删除单词以剪切音频；按语言识别并删除填充词；缩短停顿。

分析 — 综合响度、响度范围、真峰值、采样峰值、RMS、削波、直流偏移、频谱平衡、静音、RMS 包络、波形和频谱图图像（Agent 可以查看）。

导出 — WAV/FLAC（16/24/32 位）、MP3、AAC、Opus；将响度标准化到目标值；将标记作为章节；每条音轨分别导出分轨；混缩为新文件。

Agent — MCP 服务，提供约 70 个工具、REST + OpenAPI、实时同步、每次编辑均标注作者，以及由用户预览并接受或拒绝的提案；可返回到之前的版本。

首个版本以来的新增功能 — 效果参数自动化和片段音量包络；新增 16 种实时效果（共 31 种：多段压缩器、图示均衡器、多模态和自动滤波器、扩展器、瞬态塑形器、失真、位压碎、乒乓延迟、移调器、双声器、人声增强器、激励器、环形调制器、极性/直流偏移）；真峰值限制器；插件（AudioWorklet 模块，安装前经过测试渲染，除非设置 NYXMIX_PLUGINS=1，否则默认关闭）；5.1 环绕声，配备环绕声声像器和 6 声道导出；带同步画面、胶片条、帧截取和场景变更检测的视频轨道；频谱套索、画笔、局部修复和音高显示；自动音高修正（WORLD 声码器）；去削波器；将片段拉伸至精确时长；带监听和实测延迟补偿的打点录音；交付检查（播客、EBU R128、ATSC、流媒体、ACX）；导出标签、章节、分轨和每个范围标记对应的单独文件；会话归档；将音乐混剪至目标时长（匹配节拍的跳接，可作为片段编辑）；在频谱音高显示上手动画制音高曲线；生成菜单（文本转语音、音调、噪声、静音）；可逐项跳转的撤销历史；可重新映射的快捷键；示波器和相位相关性； 用户预设；实时频谱分析仪；触控编辑；在所有核心上通过崩溃隔离进程并行渲染。

NyxMix 与 Adobe Audition 对比

	NyxMix	Adobe Audition
价格	免费、开源（MIT）	订阅制
运行平台	任何现代浏览器；服务器需要 Node 22 + ffmpeg（已在 Linux 上测试）	Windows、macOS
多轨、效果、自动化、总线	✅	✅
频谱编辑器、降噪、去咔嗒声、去嗡声	✅	✅
响度（EBU R128、真峰值）、响度匹配	✅	✅
基于转录文本编辑、移除填充词	✅	–
AI Agent 实时编辑（MCP + REST），每项编辑均标注作者	✅	–
审核 Agent 的更改后再应用	✅	–
多人／多个 Agent 同时参与一个会话	✅	–
将整个会话保存为一个可移植文件	✅ .nyxmix	–
在音轨上运行原生插件（VST/AU）	≈ 在服务器上运行 VST3/LV2	✅
最低监听延迟（ASIO/Core Audio）	≈ 浏览器，带实测补偿	✅

输出质量依据 EBU Tech 3341/3342、ITU-R BS.1770-4 真峰值及逐位精确的空测试进行测量，详见 docs/conformance.md（48/48 项通过）。

与 Audition 官方参考中每项效果和功能的完整对照清单（均有测试支持）见 docs/audition-comparison.md。摘要：

NyxMix 更胜一筹之处：提供开放 API 和 MCP，供 Agent 进行编辑；支持实时共享会话并记录作者信息；可先审核 Agent 的更改，再决定是否应用；支持基于转录文本编辑和移除填充词；支持章节导出；可在浏览器中运行，无需安装任何软件。

Audition 仍然领先之处：可加载 Windows/macOS VST 和 AU 二进制插件，并在音轨上实时运行——浏览器无法加载原生插件；NyxMix 在服务器上托管 275 个原生插件——110 个 VST3 和 165 个 LV2（LSP、ZAM、Dragonfly、DISTRHO、Calf、x42、MDA），支持 A/B 预览；此外还支持 AudioWorklet 和 Faust 插件（POST /api/plugins/faust 使用完整 Faust 库编译 Faust 源代码，例如 re.zita_rev1_stereo，编译结果在预览和导出时的运行表现完全一致）；通过 ASIO/Core Audio 录音的延迟低于任何浏览器所能达到的水平（NyxMix 会通过实测往返延迟进行补偿，但监听时会晚一些听到自己的声音）；支持 CD 布局。超过 20 分钟的文件会在播放时流式传输，而非解码到内存中，从而减轻长会话的负担，但这些片段的时间精度取决于媒体元素（误差为几毫秒），而非精确到采样点；导出始终精确到采样点。

捆绑资源的许可

models/sh.rnnn — Gregor Richards 的 RNNoise 模型“somnolent-hogwash” （github.com/GregorR/rnnoise-models），BSD 许可。

许可证

Adobe 和 Audition 是 Adobe Inc. 的商标。NyxMix 是独立项目，与 Adobe 无关联，也未获其认可。

MIT © Open Cosmic Software（Nyx 🦞 和 Fabian Budde）。请参阅 LICENSE。