Lemonade

🍋 Lemonade：快如清新的本地 AI

下载 | 文档 | Discord

Lemonade 是一款本地 AI 服务，能提供与云端 API 同等的能力，同时完全免费且保护隐私。借助自有的 NPU 和 GPU，使用最新模型进行聊天、编码、语音处理和图像生成。

Lemonade 有两种形式：

• Lemonade Server 会安装一个服务，你可以通过标准的 OpenAI、Anthropic 和 Ollama API，将数百款优秀应用连接到该服务。
• Embeddable Lemonade 是一个可移植二进制文件，你可以将其打包到自己的应用中，为用户提供多模态本地 AI，并针对其 PC 自动优化。

这个项目由社区为每一台 PC 打造，并由 AMD 工程师进行优化，充分发挥 Ryzen AI、Radeon 和 Strix Halo PC 的性能。

开始使用

1. 安装：Windows · Linux · macOS · Docker · 源码
2. 获取模型：使用模型管理器浏览并下载
3. 生成内容：通过内置的聊天、图像生成、语音生成等界面试用模型
4. 移动端：随时随地使用 Lemonade：iOS · Android · 源码
5. 连接：将 Lemonade 与你喜爱的应用搭配使用：

                  

想让你的应用也出现在这里？提交一个 marketplace PR 即可！

## 支持的平台

平台	构建

使用命令行

运行 Gemma 并与其聊天：

lemonade run Gemma-4-E2B-it-GGUF

使用 Lemonade 模型进行编码：

lemonade launch claude

多模态：

# image gen
lemonade run SDXL-Turbo

# speech gen
lemonade run kokoro-v1

# transcription
lemonade run Whisper-Large-v3-Turbo

查看可用模型并下载：

lemonade list

lemonade pull Gemma-4-E2B-it-GGUF

管理模型别名，实现与环境无关的命名以及主备故障转移：

lemonade alias add production-llm Gemma-4-E2B-it-GGUF
lemonade alias list

# Instant active-standby failover to a different model target
lemonade alias add production-llm Qwen3-0.6B-GGUF
lemonade alias remove production-llm

查看 PC 上可用的后端：

lemonade backends

对于混合部署，Lemonade 也可以将请求路由到任何兼容 OpenAI 的云服务提供商（Fireworks、OpenAI、OpenRouter、Together 等），同时使用本地模型 — 详见 云端卸载。（实验性功能。）

模型库

Lemonade 支持多种 LLM（GGUF、FLM 和 ONNX）、whisper、stable diffusion 等模型，可在 CPU、GPU 和 NPU 上运行。

使用 lemonade pull 或内置的 Model Manager 下载模型。自定义 GGUF/ONNX 模型可以从 Hugging Face 或 ModelScope 拉取，并保留其来源以便日后更新。

浏览已包含的模型目录 →

支持的配置

Lemonade 支持多种用于 LLM、语音、TTS 和图像生成的推理引擎，每种引擎都有自己的后端和硬件要求。

模态	引擎	后端	设备	操作系统
文本生成	llamacpp	system	x86_64/ARM64 CPU、GPU	Linux
		metal	Apple Silicon GPU	macOS
		cuda	NVIDIA GPU（Turing 或更新版本）**	Windows、Linux
		vulkan	x86_64 CPU、AMD iGPU、AMD dGPU；ARM64 CPU/GPU（Linux）	Windows、Linux
		rocm	ROCm 支持的 AMD GPU	Windows、Linux
		cpu	x86_64 CPU；ARM64 CPU（Linux）	Windows、Linux
	llamacpp-hrx	hrx†	AMD GPU（gfx1100、gfx1151）	Linux
	flm	npu	XDNA2 NPU	Windows、Linux
	ryzenai-llm	npu	XDNA2 NPU	Windows
	vllm	rocm†	Strix Halo iGPU（gfx1151）	Linux
	ds4	rocm‡	适用于 AMD Strix Halo 的预构建 ds4	Linux
语音转文本	whispercpp	npu	XDNA2 NPU	Windows
		metal	Apple Silicon GPU	macOS
		vulkan	x86_64 CPU	Windows、Linux
		rocm	受支持的 AMD ROCm iGPU/dGPU 系列*	Windows、Linux
		cpu	x86_64 CPU	Windows、Linux
	moonshine	cpu	x86_64/arm64 CPU	Windows、Linux、macOS
文本转语音	kokoro	metal	Apple Silicon GPU	macOS
		cpu	x86_64 CPU	Windows、Linux
	openmoss	cuda†	NVIDIA GPU	Windows、Linux
		vulkan†	支持 Vulkan 的 GPU	Windows、Linux
音频生成	thinksound	cuda†	NVIDIA GPU	Windows、Linux
		vulkan†	支持 Vulkan 的 GPU	Windows、Linux
		rocm†	受支持的 AMD ROCm iGPU/dGPU 系列（通过 TheRock 使用 ROCm）	Windows、Linux
	acestep	cuda†	NVIDIA GPU	Windows、Linux
		vulkan†	支持 Vulkan 的 GPU	Windows、Linux
		rocm†	受支持的 AMD ROCm iGPU/dGPU 系列（通过 TheRock 使用 ROCm）	Windows、Linux
图像生成	sd-cpp	metal	Apple Silicon GPU	macOS
		cuda	NVIDIA GPU（Turing 或更新版本）**	Windows、Linux
		vulkan	支持 Vulkan 的 GPU	Windows、Linux
		rocm	受支持的 AMD ROCm iGPU/dGPU 系列*	Windows、Linux
		cpu	x86_64 CPU	Windows、Linux
	thenoise	rocm	受支持的 AMD ROCm 系列	Windows、Linux
3D 生成	trellis	cuda†	NVIDIA GPU	Windows、Linux
		vulkan†	支持 Vulkan 的 GPU	Windows、Linux
		rocm†	受支持的 AMD ROCm iGPU/dGPU 系列（通过 TheRock 使用 ROCm）	Windows、Linux
文本分类	onnxruntime	cpu†	x86_64 CPU	Windows
		cpu†	x86_64/arm64 CPU	Linux
		cpu†	arm64 CPU	macOS

† 实验性后端，‡ 客户端后端。请参阅[后端层级和格式](./docs/api/lemonade.md#backend-tiers-and-formats)。

如需确认你的设备具体支持哪些配方/后端，请运行：

lemonade backends

* 查看支持的 AMD ROCm 平台

架构	平台支持	GPU 型号
gfx1151 (STX Halo)	Windows、Ubuntu	Ryzen AI MAX+ Pro 395
gfx120X (RDNA4)	Windows、Ubuntu	Radeon AI PRO R9700、RX 9070 XT/GRE/9070、RX 9060 XT
gfx110X (RDNA3)	Windows、Ubuntu	Radeon PRO W7900/W7800/W7700/V710、RX 7900 XTX/XT/GRE、RX 7800 XT、RX 7700 XT

** 查看支持的 NVIDIA CUDA 平台

计算能力	架构	GPU 型号
sm_75	Turing	RTX 20-series、GTX 16-series、T4
sm_80 / sm_86	Ampere	RTX 30-series、A100、A40
sm_89	Ada Lovelace	RTX 40-series、L40、L4
sm_90	Hopper	H100、H200
sm_100 / sm_120	Blackwell	RTX 50-series、B100、B200

项目路线图

Lemonade 的路线图由一系列工作组制定。请访问此处的主页，了解各工作组的目标和路线图。

在你的应用中集成可嵌入式 Lemonade

可嵌入式 Lemonade 是 Lemonade 的二进制版本，你可以将其打包到自己的应用中，为应用提供可移植、自动优化的多模态本地 AI 技术栈。这样，用户就能专注于使用你的应用，无需安装 Lemonade，也不会看到 Lemonade 品牌或产生遥测数据。

查看可嵌入式 Lemonade 指南。

将 Lemonade Server 连接到你的应用

你可以使用任何兼容 OpenAI 的客户端库，只需将 http://localhost:13305/v1 配置为基础 URL。下表列出了不同语言中官方及常用的 OpenAI 客户端。

请根据需要选择你偏好的语言。

Python	C++	Java	C#	Node.js	Go	Ruby	Rust	PHP
openai-python	openai-cpp	openai-java	openai-dotnet	openai-node	go-openai	ruby-openai	async-openai	openai-php

Python 客户端示例

from openai import OpenAI

# Initialize the client to use Lemonade Server
client = OpenAI(
    base_url="http://localhost:13305/api/v1",
    api_key="lemonade"  # required but unused
)

# Create a chat completion
completion = client.chat.completions.create(
    model="Gemma-4-E2B-it-GGUF",  # or any other available model
    messages=[
        {"role": "user", "content": "What is the capital of France?"}
    ]
)

# Print the response
print(completion.choices[0].message.content)

点击了解更多关于可用 API的信息，以及如何在自己的应用中嵌入 Lemonade。

常见问题

如需查看常见问题，请参阅我们的常见问题指南

参与贡献

Lemonade 由本地 AI 社区打造！如果你想为该项目贡献力量，请查看我们的贡献指南。

维护者

这是一个由许多维护者共同参与的社区项目，请查看此处的维护者列表，了解他们各自负责的领域。你可以提交 issue 联系我们，也可以加入我们的 Discord。本项目由 AMD 赞助。

代码签名政策

SignPath.io 免费提供代码签名，证书由 SignPath Foundation 提供。

• 提交者和审核者：本仓库的维护者
• 批准者：所有者

隐私政策：除非用户或安装或运行程序的人员明确提出请求，否则本程序不会向其他联网系统传输任何信息。用户请求下载模型或查询模型注册表时，Lemonade 可能会根据用户或打包者选择的模型来源联系 Hugging Face Hub（请参阅其隐私政策）或 ModelScope。

许可证和致谢

本项目：

• 使用 C++（服务端）和 React（应用）构建，❤️ 开源社区；
• 借助以下优秀工具的成果：
  • ggml/llama.cpp
  • ggml/whisper.cpp
  • ggml/stable-diffusion.cpp
  • kokoros
  • OnnxRuntime GenAI
  • Hugging Face Hub
  • ModelScope
  • OpenAI API
  • IRON/MLIR-AIE
  • 等等……
• 基于 Apache 2.0 License 授权。
  • 本项目的部分内容按 LICENSE 中所述的条款授权。