关于 livepilot
LivePilot 是一个面向 Ableton Live 12 的 MCP 服务,包含 474 个工具,覆盖编曲、混音、声音查找和版本比较等环节。它面向使用 AI 客户端辅助音乐制作的用户,并通过 Ableton 的撤销栈处理set内的修改。
主要功能
- 01474 个 Ableton Live 控制工具
- 02设备图谱与样本检索
- 03基于频谱的听感分析
- 04语义化音乐操作
- 05可学习的制作偏好记录
适用场景
- 01用 AI 客户端对 Live set 进行编辑与试听比较
- 02按描述查找合适的设备、样本或素材
- 03在制作过程中保留曲目结构与关键元素
MCP 相关
该项目是一个 MCP 服务,将 Ableton Live 的控制能力、设备图谱、样本引擎和分析系统以工具形式暴露给 MCP 客户端,支持 Claude Code、Claude Desktop、Cursor、VS Code 等。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
██╗ ██╗██╗ ██╗███████╗██████╗ ██╗██╗ ██████╗ ████████╗
██║ ██║██║ ██║██╔════╝██╔══██╗██║██║ ██╔═══██╗╚══██╔══╝
██║ ██║██║ ██║█████╗ ██████╔╝██║██║ ██║ ██║ ██║
██║ ██║╚██╗ ██╔╝██╔══╝ ██╔═══╝ ██║██║ ██║ ██║ ██║
███████╗██║ ╚████╔╝ ███████╗██║ ██║███████╗╚██████╔╝ ██║
╚══════╝╚═╝ ╚═══╝ ╚══════╝╚═╝ ╚═╝╚══════╝ ╚═════╝ ╚═╝
做出改动。听听结果。保留有效的部分。
LivePilot 将 AI 客户端连接到 Ableton Live 12。构思创意、编辑工程、比较版本,并从保留下来的选择中学习。
474 个工具 · 57 个领域 · macOS + Windows
说明
LivePilot 适用于任何 MCP 客户端,包括 Claude Code、Claude Desktop、Codex、 Cursor、VS Code 和 Windsurf。Live 工程中的改动会使用 Ableton 的撤销堆栈。 下载、保存的记忆、库扫描和安装程序改动都发生在工程之外, 无法通过 Ableton 撤销。
警告
LivePilot 正在快速迭代。为了保证工作室或现场演出的设置可重复使用,请固定版本, 并在更新前查看更新日志。
从这里开始
设置向导会安装 Ableton Remote Script,创建 Python 环境, 复制 Max for Live Analyzer,并检查连接:
npx livepilot --setup
使用 Claude Desktop?从
Releases 下载最新的 livepilot-<version>.mcpb 并双击。
有关针对特定客户端的设置和手动选项,请参阅安装。
v1.30.0 新增内容
LivePilot 现在大幅减少了介绍自身所占用的上下文,并能更清楚地说明 它实际掌握的信息。
- 聚焦的初次接触。 常规会话会公布 28 个实用入口,而不是一次性发送全部 474 个架构。 其余入口仍可搜索并直接调用。
- 真正有用的选项。 Composer、Atlas 和路由中无实际作用的参数已移除; 采样角色和素材筛选器现在会改变结果;不受支持的抽象事件会给出明确指导, 而不会悄无声息地消失。
- 标明依据的证据。 混音和评估报告会区分实测音频、根据设置推导出的启发式判断 和艺术判断。“降低明亮度”等其他减弱目标现在会按正确方向评分。
- 该深入时再深入。 快速创作请求会走快速路径。三路探索、广泛的记忆读取和完整的评审流程 只会用于确有歧义的情况。
- 更稳健的会话。 启动时不再等待可选服务;网络故障原因不明确时不会重放破坏性编辑; 项目记忆会随 Live 工程变化,而不会因工程内的普通编辑而改变。
此前发布的 v1.29.0 引入了学习式感知偏好、可信的置信度门槛、 可选的 CLAP 距离,以及命名的 Arrangement 定位标记。
完整详情请参阅 CHANGELOG。
LivePilot 的功能
LivePilot 提供两种工作方式:当你明确知道自己想要什么时,可进行精确控制;当你还不确定时,则可获得有依据的帮助。
| 任务 | LivePilot 提供的功能 |
|---|---|
| 直接在 Live 中工作 | 通过明确的工具控制传输、音轨、片段、音符、设备、路由、混音、自动化和 Arrangement View。 |
| 找到合适的声音 | 加载前搜索 Ableton 的音库、你自己的插件和机架、本地采样以及 Splice。 |
| 先听再判断 | 读取实时频谱数据或分析渲染后的音频,然后将结果与编辑前的状态进行比较。 |
| 安全探索 | 预览不同方案、保留最佳方案,并通过 Ableton 的撤销堆栈在工程内应用更改。 |
| 了解你的喜好 | 跨会话记住你会保留哪些操作、设备和版本,而不把喜好当作普遍适用的评分。 |
| 掌握歌曲全局 | 跟踪歌曲身份、尚未完成的创作思路、段落作用和受保护元素,避免局部修复让整首作品失去原有风格。 |
底层能力包括:包含 5,264 个设备的图谱、683 个已映射鼓组、29 种采样处理技巧、44 种语义化操作、实时与离线试听,以及 12 套规划和评估系统。以下各节将介绍每个部分的工作方式。
与 LivePilot 对话的两种方式
根据当前情况,选择最合适的表达方式。两种方式都能调用同一套工具。
方式 A — 艺术家 / 美学风格简述
“听起来像 J Dilla。” “让它更有 Burial 的感觉。” “BoC 风格的铺底音色。”
用制作人或流派作为简述,表达节奏、密度、空间感、质感和设备选择。LivePilot 会将参考转化为具体技巧,而不是假装能复制某人的个人风格。
方式 B — 直接说明音乐意图
“让军鼓提前 4 ms,底鼓保持在网格上,给踩镲添加 ±2 ms 的时序变化,并在军鼓的 380 Hz 附近衰减 3 dB。”
需要精确细节时,直接指出:音符、毫秒、dB、频率、调制深度、包络形状、发送电平、自动化曲线、调式音级或声部进行。
混合使用两种方式
大多数会话会同时用到两种方式。先宽泛描述并试听,再针对音轨需要的部分进行具体调整。
架构
┌──────────────────────────────────────────────────────────────────────┐
│ │
│ KNOWLEDGE PERCEPTION MEMORY │
│ ────────────── ────────────── ────────────── │
│ │
│ Device Atlas 9-band FFT recall by mood, │
│ 5264 devices RMS / peak genre, texture │
│ 120 enriched pitch tracking 29 techniques │
│ 683 drum kits key detection replay into session │
│ │
│ Sample Engine Corpus Intelligence Taste Graph │
│ Splice (local SQLite) EmotionalRecipe move preferences │
│ Browser search GenreChain device affinities │
│ Filesystem scan PhysicalModelRecipe novelty tolerance │
│ 6 fitness critics AutomationGesture │
│ │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ Device │ │ M4L │ │ Technique │ │
│ │ Atlas │──│ Analyzer │──│ Memory │ │
│ └──────┬───────┘ └──────┬───────┘ └──────┬───────┘ │
│ │ │ │ │
│ ┌──────┴───────┐ ┌──────┴───────┐ ┌──────┴───────┐ │
│ │ Sample │ │ Corpus │ │ Composer │ │
│ │ Engine │ │ Intelligence│ │ Engine │ │
│ └──────┬───────┘ └──────┬───────┘ └──────┬───────┘ │
│ └─────────────────┼──────────────────┘ │
│ ▼ │
│ ┌─────────────────┐ │
│ │ 474 MCP Tools │ │
│ │ 57 domains │ │
│ └────────┬────────┘ │
│ │ │
│ Remote Script ──┤── TCP 9878 │
│ M4L Bridge ─────┤── UDP 9880 / OSC 9881 │
│ Splice (local) ─┤── SQLite (downloaded samples) │
│ │ │
│ ┌────────────────┐ │
│ │ Ableton Live │ │
│ │ 12 │ │
│ └────────────────┘ │
└──────────────────────────────────────────────────────────────────────┘
各组件如何协作
远程脚本 (remote_script/LivePilot/) — 在 Ableton 进程内运行的 Python ControlSurface。在 TCP 9878 端口监听。所有 Live Object Model 调用都通过 schedule_message 在 Ableton 主线程上执行。启动时检测 Ableton 版本,并启用四个能力层级:Core(12.0+)、Enhanced Arrangement(12.1.10+)、Full Intelligence(12.3+)、Collaborative(12.4+)。
MCP 服务 (mcp_server/) — Python FastMCP 服务。负责验证输入、通过 TCP 将命令路由到远程脚本、管理 M4L 桥接,并运行图谱、采样引擎、作曲、规划和评估系统。你的 AI 客户端会连接到此服务。
M4L 桥接 (m4l_device/) — 主音轨上可选的 Max for Live 音频效果器。通过 Max 的 LiveAPI 提供深度 LOM 访问,能够触及 ControlSurface API 无法访问的内容。UDP 9880(M4L 到服务)用于传输频谱数据和 LiveAPI 响应。OSC 9881(服务到 M4L)用于发送命令。38 个频谱 / 分析工具严格依赖此桥接;调用桥接的设备和采样工具也提供了优雅降级,因此即使没有安装桥接,核心功能仍可使用。底层由 32 个桥接命令支持,可访问隐藏参数、Simpler 内部状态、变形标记、显示值,以及写入位于子对象上的 Simpler 变形 / Compressor 侧链设置;Python 无法直接访问这些子对象。
Device Atlas (mcp_server/atlas/) — 内存索引式 JSON 数据库。包含 5264 个带浏览器 URI 的设备(内置基线数据),其中 120 个设备附有 YAML 音色配置文件(情绪、流派、质感、推荐效果链)。包含 7 个索引:by_id、by_name、by_uri、by_category、by_tag、by_genre、by_pack。反向索引 device_techniques_index.json 为 atlas_techniques_for_device 提供支持(涵盖 58 个设备的 146 条交叉引用)。加载设备和预设前,会先通过 Atlas 解析选择结果,从而减少猜错名称和无路可走的情况。v1.22.0+:安装后运行 scan_full_library,即可将你的音色包、User Library 和插件编入 ~/.livepilot/atlas/device_atlas.json——你的个人 Atlas 会覆盖基线数据,且在 npm 更新后仍会保留。
Sample Engine (mcp_server/sample_engine/) — 同时搜索三个来源:BrowserSource(Ableton 的资源库)、SpliceSource(通过 SQLite 访问本地 Splice 目录)和 FilesystemSource(用户目录)。每条结果都要通过由 6 项评判组成的适配度测试(调性、速度、频谱、流派、情绪、技术)。提供 29 种处理技巧(Surgeon 精准处理,Alchemist 探索实验)。可构建完整的采样处理方案,提供变速、切片和效果建议。
Splice Client (mcp_server/splice_client/) — 通过两层搜索 Splice 目录:本地 SQLite 数据库(sounds.db,包含已下载的采样)和实时 gRPC API(完整目录,包括你尚未下载的采样)。gRPC 客户端会通过 port.conf 自动检测 Splice 的动态端口,处理自签名 TLS,并在任何下载前确保至少留有 5 个点数。每次调用都设有超时(5–10s),防止 Splice 进程挂起并阻塞 MCP 事件循环。如果未安装 grpcio,会优雅地回退到仅使用 SQL。无需 API 密钥——身份验证由正在运行的 Splice 桌面应用提供。
Composer (mcp_server/composer/) — 从提示词生成方案的流水线。将自然语言(“带工业质感的暗黑极简 Techno,128bpm”)解析为 CompositionIntent(流派、情绪、速度、调性)。使用角色模板(底鼓、贝斯、打击乐、质感、主音、铺底、效果)规划音轨层。将方案编译为工具调用的分步计划,由 Agent 执行。不会自主执行——只返回计划。提供 4 种流派的默认方案(house、techno、trap、ambient)——其他流派会回退到中性音轨层方案。
Corpus (mcp_server/corpus/) — 将解析后的设备知识 Markdown 转换为可查询的 Python 结构:EmotionalRecipe、GenreChain、PhysicalModelRecipe、AutomationGesture。运行时为 Wonder Mode、Sound Design 评判和 Composer 提供结构化的制作参考。
Execution Router (mcp_server/runtime/execution_router.py) — 将多步骤计划中的每个步骤分类为 remote_command(通过 TCP 连接 Ableton)、bridge_command(通过 OSC 连接 M4L)或 mcp_tool(内部工具),然后通过正确的通道分发。
LivePilot 如何做出决策
工具负责编辑。这 12 个系统会帮助决定尝试什么、保护什么、比较什么,以及记住什么。
SongBrain — 歌曲的特征
实时构建会话模型:核心特征(定义这首曲目的要素)、神圣元素(不可轻易破坏的要素)、段落目的(每个部分在情绪上发挥的作用)、能量曲线(歌曲的发展方向)。当编辑使曲目偏离其成功要素时,会检测出特征漂移。
Taste Graph — 你的喜好
在多个会话中学习你的制作偏好。追踪你会保留或撤销哪些操作类型、倾向于使用哪些设备、希望建议有多大的实验性(新颖度区间),以及会避开哪些维度。每次接受或拒绝都会更新图谱。即使两位制作人使用相同的工具,得到的推荐也会有所不同。
语义化操作 — 音乐行动,而非参数
44 种高级意图,涵盖 7 个类别(混音、编曲、过渡、声音设计、演奏、设备创建、采样)——“增加对比”“收紧低频”“让底鼓与贝斯紧密配合”“采样人声幽灵音”“先摧毁再重建”。每种操作都会编译为具体的工具序列,并包含风险等级、目标维度和保护阈值。由分析器控制的操作(tighten_low_end、make_kick_bass_lock)会将频谱预读取标记为可选,因此即使分析器不可用,计划也会继续执行。计划会在任何更改发生前展示其权衡。
Wonder Mode — 摆脱创作困境的工作流
当创作陷入停滞——反复撤销、循环过度润色、结构毫无进展——Wonder Mode 就会启动:
- 诊断 — 判断停滞类型(陷入循环?缺少对比?风格定位不清?)
- 生成 — 找出能够解决诊断结果的语义化操作,并确保各方案真正不同
- 预览 — 应用每个变体、捕获结果并撤销。先试听,再决定是否提交
- 提交或拒绝 — 将选择记录到创作偏好和会话连续性中
创作引擎
| 引擎 | 功能 |
|---|---|
| 混音引擎 | 由评论器驱动的分析:遮蔽、余量、立体声、动态。规划修正操作,并评估更改前后的效果 |
| 声音设计引擎 | 分析音色补丁是否存在音色静态、缺少调制或瞬态乏力等问题。建议参数调整 |
| 过渡引擎 | 对过渡类型(Drop、Build、Breakdown)进行分类。评估质量,并根据典型模式规划改进方案 |
| 作曲引擎 | 分析乐段、检测动机、刻画情绪弧线。规划结构性操作 |
| 演奏引擎 | 为现场演出提供受安全约束的建议。了解哪些操作可能导致音频中断 |
| 参考引擎 | 从参考曲目中提炼创作原则,并将其映射到你的会话,转化为具体操作 |
Hook Hunter
识别最突出的音乐创意——根据跨场景重复出现的次数、动机显著性和乐段位置(高潮乐段加权)为候选项排序。跟踪 Hook 是否得到发展、被忽视或遭到削弱,并在过渡未能兑现预期效果时发出提示。目前节奏方面的排序仍采用启发式方法(鼓轨检测 + 音频片段复用);基于真实起音的节奏特征已列入路线图。
会话连续性
在整个会话中保留创作线索(“副歌需要更有起伏感”)和每轮对话的处理结果。重新打开项目时:“上次你为过渡段保留了滤波器扫频。副歌起伏感的线索仍未解决。”
评估循环
每个引擎都遵循:测量前 → 执行 → 测量后 → 比较。如果更改导致效果变差(遮蔽增加、余量损失、风格定位偏移),系统会在你继续操作前发出提示。
工具
LivePilot 在 57 个领域中提供 474 个工具,但现在不会在每次连接时都向 AI 发送完整的架构。默认的 producer 配置公开了一个专注的 26 工具制作工作流,以及 search_tools 和 call_tool;其他工具仍可搜索,也可按名称直接调用。这样既能将初始目录控制在 40 KB 以内,又能保留完整系统。
使用 LIVEPILOT_TOOL_PROFILE=composition、mixing 或 sampling,可固定加载更多领域工具。对于旧版客户端或目录诊断,请设置 LIVEPILOT_TOOL_PROFILE=full。以下为精选内容——完整目录请见此处。
### 核心 Ableton 控制 — 亮点
| 领域 | # | 涵盖内容 |
|---|---|---|
| 传输控制 | 12 | 播放、速度、拍号、循环、节拍器、撤销/重做、提示点、诊断 |
| 轨道 | 17 | 创建 MIDI/音频/返回轨道、删除、复制、录音准备、静音、独奏、颜色、冻结、扁平化 |
| 片段 | 11 | 创建、删除、复制、触发、停止、循环、启动模式、Warp 模式、量化 |
| 音符 | 8 | 添加/获取/移除/修改 MIDI 音符、移调、复制、逐音符概率 |
| 设备 | 19 | 按名称或 URI 加载、插入原生设备(12.3+)、获取/设置参数、批量编辑、机架、链、鼓链音符分配、预设、插件深度控制 |
| 场景 | 12 | 创建、删除、复制、触发、命名、颜色、速度、场景矩阵 |
| 浏览器 | 4 | 搜索库、浏览树、加载项目、按类别筛选 |
| 混音 | 11 | 音量、声像、发送、路由、电平表、返回轨道、主控、完整混音快照 |
| 编曲 | 21 | 时间线片段、原生编曲片段(12.1.10+)、编曲音符、自动化、录音、提示点 |
| 自动化 | 8 | 16 种曲线类型、15 种配方(滤波器扫频、侧链抽吸、Dub 延音等)、频谱建议 |
| 乐理 | 7 | Krumhansl-Schmuckler 调性检测、罗马数字分析、物种对位法、SATB 和声编配 |
| 和声 | 4 | 新里曼 PRL 变换、Tonnetz 导航、声部进行路径、半音中介调 |
| 生成 | 5 | 欧几里得节奏(Bjorklund)、Tintinnabuli(Arvo Part)、相位偏移(Steve Reich)、加法过程(Philip Glass) |
| 记忆 | 8 | 按情绪/流派/质感保存、调用、重放和管理制作技巧 |
| MIDI 输入/输出 | 4 | 导出/导入 .mid、离线分析、钢琴卷帘提取 |
| 感知 | 4 | 离线响度(综合 LUFS、LRA)、频谱分析、参考比较 |
M4L 桥接 — 38 个分析工具 [optional],32 个桥接命令
M4L 分析器位于主轨上。UDP 9880 将频谱数据传送到服务。OSC 9881 将命令发送回来。ensure_analyzer_on_master 预检(v1.20.3)会在决策需要依赖音频时,以幂等方式加载分析器。
提示
大多数工具无需分析器即可工作 — 它会新增 38 个频谱/分析工具(频率、响度、感知、Simpler、Warp),并闭合反馈回路。
SPECTRAL ─────── 9-band frequency decomposition (sub_low → air)
sub_low (20-60 Hz) split off so kick fundamentals don't hide inside sub
true RMS / peak metering
Krumhansl-Schmuckler key detection
DEEP LOM ─────── hidden parameters beyond ControlSurface API
automation state per parameter
recursive device tree (6 levels into nested racks)
human-readable display values as shown in Live's UI
SIMPLER ──────── replace / load samples
get slice points, crop, reverse
warp to N beats, get audio file paths
WARP ─────────── get / add / move / remove markers
tempo manipulation at the sample level
设备图谱 — 13 个工具
该图谱是一个驻留内存、带索引的数据库,包含 Ableton 的整个设备库。
5264 devices total
120 enriched with sonic intelligence (mood, genre, texture, chains)
47 with aesthetic-tagged signature_techniques
683 drum kits mapped with note assignments
7 indexes: by_id, by_name, by_uri, by_category, by_tag, by_genre, by_pack
146 technique cross-references across 58 devices (reverse-index)
atlas_search Search devices by name, category, or tag
atlas_device_info Full enriched profile for a single device
atlas_suggest Suggest devices for a musical intent (e.g., "warm pad")
atlas_chain_suggest Build a device chain from a genre, artist, or purpose
atlas_compare Compare two devices side-by-side
atlas_describe_chain Free-text describe-a-chain ("granular pad like Tim Hecker")
atlas_techniques_for_device Reverse-lookup: what techniques reference this device?
atlas_pack_info Inspect a single Ableton pack — devices + enrichment coverage
scan_full_library Scan what's actually installed on this machine
reload_atlas Hot-reload the atlas after adding enrichments
extension_atlas_search [v1.23.0+] Search user-local atlas overlays
extension_atlas_get [v1.23.0+] Fetch a single overlay entry by namespace
extension_atlas_list [v1.23.0+] Enumerate overlay namespaces + entity_type counts
# Pack-Atlas Phase C-F (v1.23.4+) — corpus-driven orchestration
atlas_macro_fingerprint [v1.23.4+] "More like this" — find similar presets across 3,813 sidecars by macro fingerprint
atlas_transplant [v1.23.4+] Adapt a demo / preset / workflow to new BPM, scale, or aesthetic — PRESERVE / SCALE / REMAP / REPLACE decisions
atlas_demo_story [v1.23.4+] Track-by-track narrative + production sequence inference for any of 104 factory demo .als
atlas_extract_chain [v1.23.4+] Surgically rebuild a demo track's device chain as an executable plan (load_browser_item + insert_device + set_device_parameter)
atlas_pack_aware_compose [v1.23.4+] Bootstrap a project with pack-coherent track selection from an aesthetic brief; supports `pack_diversity="eclectic"` mode
atlas_cross_pack_chain [v1.23.4+] Execute any of 15 cross-pack workflow recipes step-by-step with aesthetic overrides (target_scale / target_bpm / transpose_semitones)
v1.23.0 — 用户本地扩展: 将 YAML 文件放入 ~/.livepilot/atlas-overlays/<namespace>/,即可用自定义硬件库、标志性链或技巧配方扩展图谱 — npm 更新不会覆盖这些扩展。请参阅 docs/EXTENSION_API.md。
v1.23.4 — Pack-Atlas 阶段 C/D/E/F: 六种全新的、由语料驱动的编排工具,可将解析后的 3,917 个音色包 sidecar 文件和 104 个示例 .als 解析结果转化为可操作的产物 — 查找相似预设、跨 BPM/音阶/流派移植美学风格、讲述示例内容、将轨道链提取为可运行计划、引导创建与音色包风格一致的作品,以及运行 15 种跨音色包工作流配方。所有执行默认均为试运行 — 只返回计划,不会自动修改会话。
### 用户资源库 — 14 个工具 `[v1.23.4+]`
存在的原因。 工厂设备图谱涵盖了 Ableton 随附的内容。大多数工作室还会使用第三方插件、Max for Live 设备、自定义机架、预设和采样包。资源库构建器会为这些本地内容建立索引,让推荐可以使用你实际拥有的工具。
资源库构建器会将你机器上已安装的内容转化为可搜索的制作上下文:
Phase 1 — DETECT Walk plugin folders + run `auval -a` for AUv3 / Mac Catalyst
coverage. Captures format (VST3/AU/AAX/CLAP/LV2),
vendor, version, bundle ID. ~40-200 plugins typical.
Phase 2 — CANONICALIZE Dedupe by vendor+name, prefer VST3 over AU, strip vendor
suffix variants ("Valhalla DSP, LLC" = "Valhalladsp" =
"Valhalla DSP"). Cluster by vendor for batch research.
Phase 3 — RESEARCH Discover local manual files (PDFs, READMEs) per plugin.
Prepare focused plugin and technique research tasks.
Phase 4 — SYNTHESIZE Build a per-plugin identity.yaml
with sonic_fingerprint / reach_for / avoid / key_techniques /
parameter_glossary / comparable_plugins / genre_affinity /
producer_anchors. Keep one primary format tag (no
dual-indexing across formats).
结果存放在 ~/.livepilot/atlas-overlays/user/plugins/<plugin_id>/identity.yaml,并可与工厂设备图谱一起供 atlas_search、atlas_chain_suggest、atlas_macro_fingerprint 和 atlas_describe_chain 使用。每个结果都会标明来源(factory_atlas 或 user_overlay:user),这样你就能看出推荐来自 Ableton 自带设备还是你自己的设备。
corpus_setup_wizard One-shot orchestration — runs the full pipeline
corpus_init Initialize ~/.livepilot/corpus/ + manifest.yaml
corpus_status Inspect manifest, sources, scan history
corpus_list_scanners Enumerate registered scanner types
corpus_add_source Register a new scan source (project / racks / Max / samples)
corpus_remove_source Remove a scan source from manifest
corpus_scan Run scanners on configured sources
corpus_detect_plugins Phase 1 — VST3 / AU / AUv3 / VST2 / AAX / LV2 detection
corpus_canonicalize_plugins Phase 2 — dedupe + VST3-preferred + suffix strip
corpus_cluster_plugins Phase 2.5 — group by vendor for efficient research dispatch
corpus_trim_plugin_identity Slim a yaml to the overlay-required minimum
corpus_discover_manuals Phase 3 — locate local PDFs / READMEs per plugin
corpus_research_targets Phase 3 — prepare research tasks for the agent
corpus_emit_synthesis_briefs Phase 4 — prepare identity briefs per plugin
为何重要。 当你的资源库发生变化时,静态索引会过时。添加插件或机架后重新扫描,LivePilot 就能将它与 Ableton 的工厂设备一并纳入考量。
快速开始:
# In your MCP client (Claude Code / Desktop / Cursor):
corpus_setup_wizard # one-shot orchestration
# OR fine-grained control:
corpus_detect_plugins use_auval=true # finds AUv3 / Mac Catalyst plugins
corpus_canonicalize_plugins # VST3 preference + vendor dedup
corpus_cluster_plugins # vendor-grouped clusters
corpus_research_targets # → agent researches the plugins
corpus_emit_synthesis_briefs # → agent writes identity profiles
完整演练请参阅 docs/USER_CORPUS_GUIDE.md,引擎内部机制请参阅 docs/PLUGIN_KNOWLEDGE_ENGINE.md,驱动整个流程的 Agent 技能请参阅 livepilot/skills/livepilot-corpus-builder/SKILL.md。
采样引擎 — 23 个工具
一同搜索 Ableton、本地文件夹和 Splice,然后根据音乐角色为结果排序,而不是返回一堆文件名。
SOURCES ─────────── BrowserSource (Ableton's built-in library)
SpliceSource (local Splice catalog via SQLite)
FilesystemSource (user-specified directories)
Splice LIVE (gRPC + GraphQL for the full catalog)
CRITICS ─────────── key fitness · tempo fitness · spectral match
genre alignment · mood alignment · technical quality
TECHNIQUES ─────── 29 processing recipes:
Surgeon (precise, transparent) vs.
Alchemist (experimental, transformative)
PLAN-AWARE ─────── Ableton Live plan 100 samples/day (no credit drain)
Sounds+/Creator CREDIT_HARD_FLOOR=5 safety gate
Free samples bypass both gates
Sample analysis & planning
analyze_sample Build complete SampleProfile (material, key, BPM, spectral)
search_samples Multi-source search with critic scoring
evaluate_sample_fit Score a candidate sample against session context
suggest_sample_technique Recommend processing technique for a sample
plan_sample_workflow Full processing pipeline: warp + slice + effects
plan_slice_workflow Slice-specific workflow for breaks / drum loops
get_sample_opportunities Surface sample-friendly spots in the session
Splice LIVE (catalog, collections, presets)
get_splice_credits Plan + remaining credits + daily quota state
splice_catalog_hunt Query the full Splice catalog (gRPC)
splice_download_sample Plan-aware download (credit floor + quota check)
splice_preview_sample Zero-cost audition via PreviewURL
splice_describe_sound Natural-language search via Splice GraphQL
splice_generate_variation Find catalog samples similar to a given UUID
splice_list_collections Enumerate user's Likes / bass / keys folders
splice_search_in_collection / add_to_collection / remove_from_collection / create_collection
splice_list_presets Purchased instrument presets
splice_preset_info · splice_download_preset
splice_pack_info Per-pack metadata
splice_http_diagnose Debug the Splice HTTPS bridge
Splice 集成
LivePilot 会读取 Splice 的本地 SQLite 数据库,以完整元数据搜索你下载的采样。无需 API 密钥——它会直接读取数据库文件。
功能:
- 使用调性、BPM、流派和标签元数据搜索你下载的 Splice 采样
- 作为第三个来源与 Ableton 浏览器和文件系统扫描集成
- 无需 Splice 订阅——此前下载的任何采样都可搜索
工作原理: 采样引擎的 SpliceSource 会读取 ~/Library/Application Support/com.splice.Splice/users/default/*/sounds.db——这是 Splice 本地存储的已下载采样 SQLite 目录。只读,不会发起网络请求。
要求: Splice 桌面应用正在运行(MCP 服务通过 gRPC 与其通信,使用经 port.conf 通告的动态端口和自签名 TLS)。若要完全离线搜索,即使 Splice 应用未运行,也始终可以通过本地 SQLite 回退机制搜索此前下载的采样。
作曲器 — 三种模式(v1.25.0)
从提示词生成编曲方案的工作流。三种模式共用相同的安全检查:重新连接桥接程序、按需加载分析器、为新轨道正确设置监听,并在构建完成后返回编曲视图。整个过程会以一系列工具调用的形式清晰呈现。
"dark minimal techno 128bpm with industrial textures and ghostly vocals"
│
▼
┌─────────────────┐
│ Prompt Parser │ → CompositionIntent (genre, mood, tempo, key)
└────────┬────────┘
▼
┌─────────────────┐
│ Layer Planner │ → role templates (kick, bass, perc, texture, lead, pad, fx)
└────────┬────────┘
▼
┌─────────────────┐
│ Plan Compiler │ → executable tool sequences
└────────┬────────┘
▼
┌─────────────────┐
│ Execution Router │ → dispatches: create tracks, search samples, load devices,
│ │ program notes, set volumes, build arrangement
└─────────────────┘
fast 模式 — compose_fast_apply
快速勾勒循环。在 Session View 中创建单个场景。适合快速构思。
- 搜索顺序:首先从浏览器中查找精选的
.adg链,接着查找设备图谱中的设备,最后才将不带效果器的乐器作为备选 - 包含鼓组角色音高修正(Simpler 默认根音与 MIDI 36 偏移之间的修正)
- 4 种流派默认设置:house、techno、trap、ambient(未知流派则使用中性的分层方案)
- 调用示例:"为我制作一个 [genre] 风格、速度为 [tempo] BPM 的循环"
full 模式 — compose_full_apply
包含歌曲结构的完整流程:前奏、主歌、Hook、间奏、尾奏。采用两阶段 LLM 创意简报流程——LLM 负责创作曲式(段落、音轨列表、各段变体);框架提供词汇(设备搜索顺序、MIDI 生成规则、编曲惯例)。
- 各段的 MIDI 变体可避免编曲中出现重复片段
- 通过
create_native_arrangement_clip创建原生编曲片段(每段一个片段,循环播放以填满段落长度) - 在后处理阶段清理僵尸音轨(移除没有片段且没有乐器设备的音轨)
- 从 fast 模式移植鼓组角色音高修复
- **Atlas 锚点:**通过
KnowledgePack.atlas_anchors提供角色级设备知识,该字段会查询索引化 Atlas,而非匹配文件名。较早的atlas_candidates_per_role字段是已弃用的旧版存根,为保持向后兼容而留空。 - 调用方式:"创作一首 [tempo] BPM 的完整 [genre] 曲目" 或 "构建完整编曲"
develop 模式 — develop_apply
扩展现有的 8 小节循环,同时不干扰种子素材。
- 分析现有会话(根据名称和内容对音轨进行分类)
- 从用户提示词中提取艺人和风格参考
- 为各音轨创作变体,并在种子素材旁添加新的辅助层
- 调用方式:"扩展这个循环" 或 "将现有内容扩展成更长的创意"
KnowledgePack 框架(v1.25.0)
三种模式共用一个 KnowledgePack,用于在运行时提供结构化创意上下文:
event_lexicon— 涵盖 7 个类别(鼓组密度、和声、纹理、人声、节奏律动、张力、效果手法)的 42 种结构事件genre_context— 加载时解析 15 种流派的genre-vocabularies.mdartist_context— 加载时解析约 25 位制作人的artist-vocabularies.mdatlas_anchors— 按角色提供索引化 Atlas 设备锚点(取代旧版atlas_candidates_per_role存根)
核心作曲工具
compose— 根据文本提示词规划多层次作曲(入口,与模式无关)compose_fast_apply— 直接执行 fast 模式compose_full_apply— 直接执行 full 模式develop_apply— 直接执行 develop 模式augment_with_samples— 为现有会话规划基于采样的音层get_composition_plan— 试运行预览(无需检查额度即可查看计划)
Device Forge — 3 个工具
根据 gen~ 模板生成 M4L 音频效果设备,并将其安装到 Ableton 的浏览器中。
forge_device Generate a device from a gen~ template
forge_list_templates Browse available gen~ templates
forge_install Install generated device to browser
### 规划、评估与学习 — 79 个工具
这些工具会读取会话、诊断问题、规划更改、比较结果,并将有用的上下文带入下一次决策。
| 领域 | # | 功能 |
|---|---|---|
| Agent OS | 8 | 会话内核、操作记录、能力状态、路由、轮次预算 |
| Composition | 9 | 乐段分析、动机检测、情感弧线、形式规划 |
| Evaluation | 1 | 通过结构化评分评估前后变化 |
| Mix Engine | 6 | 由评审驱动的混音分析、掩蔽、余量、立体声、动态 |
| Sound Design | 4 | 补丁分析、调制规划、音色评分 |
| Transition Engine | 5 | 转场分类、评分、基于原型的规划 |
| Reference Engine | 5 | 参考作品分析、原则提炼、差距分析 |
| Translation Engine | 3 | 跨领域转换、问题检测 |
| Performance Engine | 3 | 受安全约束的建议、安全操作、场景交接 |
| Song Brain | 3 | 身份推断、神圣元素、偏移监控 |
| Hook Hunter | 9 | Hook 检测、显著性评分、忽略检测、乐句影响 |
| Stuckness Detector | 3 | 动力分析、解困分类、解困工作流 |
| Wonder Mode | 3 | 诊断驱动的变体、兼顾品味的排序 |
| Session Continuity | 7 | 创作线索、轮次解析、会话故事 |
| Creative Constraints | 5 | 约束激活、受参考作品启发的变体 |
| Preview Studio | 5 | 创建变体、渲染预览、比较、提交 |
安装
Claude Desktop:一键安装
从 Releases 页面 下载最新的 livepilot-<version>.mcpb,然后双击。
Claude Desktop 会自动安装所有内容。接着:
- 打开 Ableton Live 12
- Preferences → Link, Tempo & MIDI → Control Surface → LivePilot
- 开始聊天
提示
桌面扩展会在首次启动时自动安装 Remote Script 和 M4L Analyzer。
终端:一条命令完成设置
npx livepilot --setup
运行完整的设置向导:检查 Python、安装 Remote Script、创建 Python 环境、复制 M4L Analyzer,并测试 Ableton 连接。
手动安装:逐步操作
1. 远程脚本
npx livepilot --install
重启 Ableton → Preferences → Link, Tempo & MIDI → Control Surface → LivePilot
2. MCP 客户端
Claude Code — 任选一种(同时安装两种会重复注册 MCP 服务,并导致端口 9878 冲突):
# MCP server only:
claude mcp add LivePilot -- npx livepilot
# Or the full plugin (MCP server + skills + slash commands):
claude plugin marketplace add github:dreamrec/LivePilot
claude plugin install livepilot@dreamrec-LivePilot
Codex App:
npx livepilot --install-codex-plugin
Claude Desktop(macOS) — ~/Library/Application Support/Claude/claude_desktop_config.json:
{
"mcpServers": {
"LivePilot": { "command": "npx", "args": ["livepilot"] }
}
}
Claude Desktop(Windows):
npm install -g livepilot
livepilot --install
%APPDATA%\Claude\claude_desktop_config.json:
{
"mcpServers": {
"LivePilot": { "command": "livepilot" }
}
}
Cursor — .cursor/mcp.json:
{
"mcpServers": {
"LivePilot": { "command": "npx", "args": ["livepilot"] }
}
}
VS Code — .vscode/mcp.json:
{
"servers": {
"LivePilot": { "command": "npx", "args": ["livepilot"] }
}
}
3. M4L 分析器(可选 — 增加 38 个工具)
将 LivePilot_Analyzer.amxd 拖到主轨上,即可进行实时频谱分析。
--setup 向导和桌面扩展安装程序会自动安装此设备及其配套桥接脚本。从 v1.20.3 开始,你的 AI 客户端也可以调用 ensure_analyzer_on_master — 这是一个幂等的预检工具,会在设备缺失时加载它,否则不执行任何操作。只有当决策或验证需要音频证据时,创作工作流才会调用它。
重要: 分析器必须是主轨上的最后一个设备 — 放在所有效果器(EQ、Compressor、Utility)之后,以便读取最终输出信号。预检工具会报告
is_last_on_master: bool,并在这一条件未满足时发出警告。
4. Splice(可选 — 添加采样目录)
如果你已安装 Splice 并下载了采样,采样引擎便可以通过本地 SQLite 数据库搜索这些采样的完整元数据(调性、BPM、流派、标签)。
无需 API 密钥,也无需配置 — 采样引擎会直接读取 Splice 的 sounds.db 文件。
没有 Splice 时,采样引擎仍可搜索 Ableton 的浏览器和你的文件系统。
验证
npx livepilot --status
插件
Codex App
npx livepilot --install-codex-plugin
Claude Code
claude plugin marketplace add github:dreamrec/LivePilot
claude plugin install livepilot@dreamrec-LivePilot
| 命令 | 说明 |
|---|---|
/session | 完整的会话概览与诊断 |
/beat | 引导式节拍创作 |
/arrange | 引导式编曲与歌曲结构设计 |
/mix | 混音助手 |
/sounddesign | 音效设计工作流 |
/perform | 带安全约束的现场演奏模式 |
/evaluate | 评估近期改动的前后效果 |
/memory | 技巧库管理 |
制作人 Agent — 以清晰的阶段处理较长任务:读取会话,检查你保留了哪些内容,搜索素材库,提出计划,应用编辑,然后回听。由你决定哪些内容留在工程中。
核心技能 — 确保工作流程有条不紊:加载前先搜索,操作前后都进行测量,保留撤销能力,并验证每项改动。
CLI
npx livepilot # Start MCP server (stdio)
npx livepilot --setup # Full setup wizard
npx livepilot --install # Install Remote Script
npx livepilot --uninstall # Remove Remote Script
npx livepilot --install-codex-plugin # Install bundled Codex plugin
npx livepilot --uninstall-codex-plugin # Remove bundled Codex plugin
npx livepilot --status # Check Ableton connection
npx livepilot --doctor # Full diagnostic check
npx livepilot --version # Show version
兼容性
| 要求 | 最低版本 |
|---|---|
| Ableton Live | 12(任何版本)。Max for Live 桥接和内置乐器需要 Suite |
| Python | 3.12+(scipy>=1.18 需要 Python 3.12) |
| Node.js | 18+ |
| 操作系统 | macOS / Windows |
| Splice | 带有已下载采样的桌面应用(可选 — 启用 SQLite 元数据搜索) |
版本层级:
- 核心(12.0+): 所有会话工具、混音、设备、MIDI、乐理、生成式功能、记忆
- 增强编曲(12.1.10+): 原生编曲片段、编曲自动化
- 完整智能(12.3+):
insert_device_native,完整的设备插入流程 - 协作(12.4+):
replace_sample_native和更新的采样编辑路由;当 Live 提供原生 LOM 路径时,这些路由会绕过 M4L 回退方案
开发
git clone https://github.com/dreamrec/LivePilot.git
cd LivePilot
python3 -m venv .venv && .venv/bin/pip install -r requirements.txt
# Test runner is not in requirements.txt (runtime-only deps) — install it explicitly:
.venv/bin/pip install pytest pytest-asyncio
.venv/bin/pytest tests/ -v
有关架构详情、代码规范以及如何添加工具,请参阅 CONTRIBUTING.md。
文档
| 文档 | 内容 |
|---|---|
| 手册 | 完整参考:架构、全部 474 个工具、工作流 |
| 规划与评估 | 12 个决策系统如何协同运作——指挥器、操作、预览、评估 |
| 设备图谱 | 已索引 5264 个设备——搜索、推荐、链构建 |
| 采样与切片 | 三源搜索、适配度评估器、切片工作流 |
| 自动化 | 16 种曲线类型、15 个配方、频谱建议 |
| 编曲 | 编曲器、乐段分析、编曲规划 |
| 入门指南 | 五分钟内从零开始制作声音 |
| 工作流 | 节拍、会话设置、声音设计、编曲、混音 |
| MIDI 指南 | 鼓点模式、音阶、和弦、人性化处理 |
| 声音设计 | 乐器、效果、参数配方 |
| 混音 | 增益分级、均衡、压缩、发送、立体声宽度 |
| M4L Bridge | Max for Live 分析器的技术参考 |
| 故障排除 | 连接问题、常见错误、诊断 |
社区
支持
LivePilot 以源代码可用的形式根据 Business Source License 1.1 发布。 如果它能为你的会话增色,你可以支持其持续开发:
赞助资金将用于拓展 Ableton 支持、开展跨平台测试,以及维护技术库。 赞助者还可提前获取构建版本并获得直接支持。
BSL-1.1 — Pilot Studio
姊妹项目:TDPilot(TouchDesigner)· ComfyPilot(ComfyUI)
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。