Atomic Chat

Atomic Chat

面向 Agent 的本地 AI 应用和推理引擎。在本地运行开放权重 LLM——私密地运行在你的设备上。

         

快速入门 · Hugging Face · Discord · X / Twitter · 问题反馈

---

📦 下载

桌面端

   

Linux 软件包 — 来自 Atomic Chat 仓库，由你的软件包管理器更新（安装方法）

   

移动端

 

---

🔌 将其用作 API

Atomic Chat 会在 http://localhost:1337/v1 运行一个兼容 OpenAI 的服务，可直接替代 OpenAI SDK。在应用中加载模型，然后将任意客户端指向该服务：

curl http://localhost:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-id-loaded-in-atomic-chat>",
    "messages": [{ "role": "user", "content": "Say hello in one word" }]
  }'

from openai import OpenAI

# Atomic Chat is OpenAI API-compatible — only the base_url changes.
client = OpenAI(base_url="http://localhost:1337/v1", api_key="not-needed")

resp = client.chat.completions.create(
    model="<model-id-loaded-in-atomic-chat>",
    messages=[{"role": "user", "content": "Say hello in one word"}],
)
print(resp.choices[0].message.content)

默认绑定到 127.0.0.1；设置 host: 0.0.0.0 即可在局域网中公开访问。任何支持 OpenAI API 的 Agent、命令行工具或 IDE 插件均可使用——请参阅下方的启动方式。

---

✨ 功能

本地模型

• 在本地运行来自 HuggingFace 的开放权重大模型——Llama、Gemma、Qwen、Mistral、Phi 等
• 多 Token 预测（MTP）推测解码——在受支持的模型上提升 30–70% 的吞吐量，在 Gemma 4 上最高提升 3×
• DFlash 块扩散解码——在 Qwen 3.6、Gemma 4、Kimi K2.5 上最高提速 6×
• Flash Attention 开关（on / off / auto）
• 自动跟踪思维链模型的推理上下文
• 自动扩展上下文窗口，并在溢出时发出通知
• 在 Apple Silicon（MLX）上为 Gemma 4 提供 EAGLE-3 推测解码
• 在 MLX 上为 Qwen 3.5 / 3.6 和 DeepSeek V4 提供 MTP
• 在 llama.cpp 上提供 TurboQuant KV 缓存（turbo3 / turbo4）——现已支持 Windows 和 Linux，不再局限于 macOS：KV 缓存占用最高可缩小约 4.3×，支持 CPU 和 GPU（CUDA / Vulkan）
• 在 MLX-VLM 上提供 TurboQuant KV 缓存——通过 RHT 校正快速路径降低内存占用

云端模型

• 内置服务商：OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot
• 使用自己的密钥，按聊天切换模型，并可自由混用本地模型和云端模型

工具与集成

• 一键启动 Agent——在「集成」选项卡中，只需单击即可启动 Atomic Agent、Claude Code、Codex CLI、Cline、OpenCode、Droid、Goose、OpenHands、Copilot CLI、Kilo Code、Zed 和 ZCode 等 Agent
• Artifacts——用于 HTML/CSS/JS 代码的实时预览面板，支持复制、下载和打印
• 连接多个 MCP 服务——使用自己的工具、文件访问和网页搜索
• 可为每个助手设置系统提示词的自定义助手
• 支持在侧边栏以对话树视图查看对话的项目

本地 API

• 在 http://localhost:1337/v1 提供兼容 OpenAI 的服务，可直接替代 OpenAI SDK
• 适用于任何支持 OpenAI API 的 Agent、命令行工具或 IDE 插件
• 默认绑定到 127.0.0.1；设置 host: 0.0.0.0 即可在局域网中开放访问

隐私

• 可按需在本地运行所有内容——本地服务默认仅监听环回地址
• 对话和密钥都保留在你的设备上

---

⚙️ 推理引擎

底层有三种引擎，均通过 http://localhost:1337/v1 上统一的兼容 OpenAI API 提供：

• atomic-llama-cpp-turboquant — 我们维护的 llama.cpp 分支，针对 TurboQuant KV 缓存（turbo3 / turbo4）进行了优化，以实现更快、内存占用更低的量化推理。现已作为可选的第二个服务商（“Atomic Llama.cpp Turboquant”）支持 三种桌面平台——macOS、Windows 和 Linux，支持 CPU 和 GPU（CUDA / Vulkan）。
• 上游 llama.cpp — 官方 ggml-org 构建版本，是 Windows 和 Linux 上的默认引擎，兼顾最广泛的硬件支持和 MTP 支持。
• MLX-VLM — 专为 Apple Silicon 打造的视觉语言模型引擎，运行于神经网络引擎和统一内存之上。对于受支持的模型，它在 M 系列芯片上的速度比 llama.cpp 更快。

各后端均支持以下推测解码功能：

• MTP（多 Token 预测） — 草稿模型提前预测，由完整模型一次性验证。支持 macOS 和 Windows。
• DFlash — 面向 Qwen 3.6、Gemma 4、Kimi K2.5 等模型的块扩散推测解码。仅支持 Apple Silicon；不能与 MTP 同时启用。
• Flash Attention — 设置 → on / off / auto。

连接到 http://localhost:1337/v1 的工具无需了解底层运行的是哪个后端——无需重新配置客户端即可切换引擎。

这些引擎由 atomic-chat-core 驱动——它是 Atomic Chat 的核心，并托管在独立仓库中。它本身不执行推理，而是负责管理引擎：下载并启动后端、管理模型、在本地引擎和云端服务商之间路由请求，并在 :1337 提供兼容 OpenAI 的 API。桌面应用附带固定版本的 core；core 也可以独立作为命令行工具（atomic-chat-core serve …）或库运行。

---

🚀 启动方式

Atomic Chat 会在 http://localhost:1337/v1 启动一个兼容 OpenAI 的服务，因此，任何支持 OpenAI API 的 Agent、命令行工具、IDE 插件或应用，都能直接使用你的本地模型，无需额外配置。只需将其基础 URL 指向 Atomic Chat，即可开始使用。

以下项目已提供原生支持和专属配置文档：

工具	简介	配置
OpenCode	开源 TUI 编码 Agent。在 opencode.json 中将 Atomic Chat 添加为本地提供方。	配置指南 →
Goose	开源、可扩展的 AI Agent（命令行、桌面应用、API）。	配置指南 →
nanobot	超轻量级个人 AI Agent，支持聊天渠道、MCP 和 WebUI。	代码库 →
nanoclaw	容器化 Agent 运行时，可将 Atomic Chat 作为 MCP 工具调用。	技能指南 →
OpenClaude	面向云端和本地模型的开源编码 Agent 命令行工具。支持列表中包含 Atomic Chat。	提供方列表 →
Kilo Code	面向 VS Code、JetBrains 和命令行的开源 AI 编码 Agent。原生支持 Atomic Chat 提供方并可自动发现。	配置指南 →
Hermes Desktop	Hermes Agent 的原生桌面配套应用。内置 Atomic Chat 本地预设，地址为 http://localhost:1337/v1。	代码库 →
Hermes Workspace	基于 Nous Research 的 Hermes 构建的本地优先 Agent 工作区。使用 Atomic Chat 作为推理后端。	代码库 →

如果你构建了可与 Atomic Chat 配合使用的项目，请提交 PR，我们会将其添加到此处。

---

🛠️ 从源代码构建

先决条件

• Node.js ≥ 20.0.0
• Yarn ≥ 4.5.3
• Make ≥ 3.81
• Rust（用于 Tauri）
• （Apple Silicon）MetalToolchain xcodebuild -downloadComponent MetalToolchain

使用 Make 运行

git clone https://github.com/AtomicBot-ai/Atomic-Chat
cd Atomic-Chat
make dev

此命令会处理所有事项：安装依赖项、构建核心组件并启动应用。

可用的 make 目标：

• make dev — 完整的开发环境配置并启动
• make build — 生产构建
• make test — 运行测试和代码检查
• make clean — 删除所有内容并重新开始

手动命令

yarn install
yarn build:tauri:plugin:api
yarn build:core
yarn build:extensions
yarn dev

---

💻 系统要求

• macOS：13.6+（3B 模型需要 8GB RAM，7B 需要 16GB，13B 需要 32GB）
• Windows：10/11 x64（RAM 建议与 macOS 相同）
• Linux：x86_64，glibc ≥ 2.35（Ubuntu 22.04+、Debian 12+、Fedora 40+、Arch、Mint、Pop!_OS；RAM 建议与 macOS 相同）。可选：GPU 加速需要 Vulkan 加载器（vulkan-1 软件包，或 mesa-vulkan-drivers / 专有 NVIDIA 驱动）。
• iOS：从 App Store 下载
• Android：从 Google Play 下载

---

🐧 在 Linux 上运行

从 Atomic Chat 软件包仓库安装，软件包管理器会随系统一起更新它。软件包会将应用安装到 /opt/atomic-chat，并提供 atomic-chat 命令、菜单项和系统的 WebKitGTK；内置更新程序保持关闭。在 arm64 上，它们需要 glibc 2.38 或更高版本，因为捆绑的 llama.cpp 引擎是针对该版本构建的。该仓库和 rpm 软件包使用 Atomic Chat 软件包密钥签名，密钥位于 packaging/atomic-chat.asc，指纹为 1047 F119 58C6 442D D472 E497 E4C3 D361 FB7F F123。

Debian、Ubuntu — x86-64 上的 Debian 12+ / Ubuntu 22.04+，arm64 上的 Debian 13+ / Ubuntu 24.04+：

curl -fsSL https://atomic-chat-packages.fsn1.your-objectstorage.com/atomic-chat.gpg | sudo tee /usr/share/keyrings/atomic-chat-app.gpg >/dev/null
echo "deb [signed-by=/usr/share/keyrings/atomic-chat-app.gpg] https://atomic-chat-packages.fsn1.your-objectstorage.com/deb stable main" \
  | sudo tee /etc/apt/sources.list.d/atomic-chat-app.list
sudo apt update && sudo apt install atomic-chat

Fedora 40+（x86-64、aarch64）：

sudo curl -fsSL -o /etc/yum.repos.d/atomic-chat-app.repo https://atomic-chat-packages.fsn1.your-objectstorage.com/rpm/atomic-chat.repo
sudo dnf install atomic-chat

Arch Linux（x86-64、aarch64）：yay -S atomic-chat-bin，或使用其他 AUR 助手。

然后从应用菜单启动 Atomic Chat，或运行 atomic-chat。

使用 sudo apt upgrade、sudo dnf upgrade 或 yay -Syu 更新。使用 sudo apt remove atomic-chat、 sudo dnf remove atomic-chat 或 sudo pacman -R atomic-chat-bin 卸载应用，但会保留你的聊天和 模型。仓库保留最近三个版本；每个版本也会在发布页面提供 .deb 和 .rpm 文件。

或者运行独立的 .AppImage——无需安装程序、无需 root 权限，并且会自动更新：

chmod +x Atomic.Chat_*_amd64.AppImage
./Atomic.Chat_*_amd64.AppImage

如果首次启动时提示缺少 FUSE：运行 sudo apt install fuse libfuse2（Debian/Ubuntu）或 sudo dnf install fuse fuse-libs（Fedora）。首次启动时会自动检测 GPU 加速（Vulkan）；Linux 上仅支持 GGUF 模型。

如果你的状态栏有托盘（Omarchy、Waybar 的 tray 模块、KDE），关闭窗口后，Atomic Chat 及其本地 API 仍会在托盘中运行，地址为 :1337；在托盘菜单中选择 退出即可停止。再次启动应用会重新打开窗口。没有托盘时（未安装指示器扩展的 GNOME），关闭窗口会照常退出。

窗口规则（Hyprland、Sway）。 匹配 Wayland 应用 ID（Hyprland 中的 class）chat.atomic.app，例如 ^chat\.atomic\.app$。在 X11/XWayland 下，窗口类仍为 Atomic-Chat。

打包。 负责更新的发行版软件包（AUR、pacman 仓库、Flatpak）应在 .AppImage 旁放置一个空的 atomic-chat-package-managed 文件（或者对于已解压的 AppImage，放在 usr/bin/Atomic-Chat 旁），或使用 ATOMIC_CHAT_PACKAGE_MANAGED=1 启动应用。建议使用文件：因为“启动时运行”条目会直接运行 AppImage 或二进制文件，因此无法读取启动脚本中设置的变量。这样内置更新程序就不会检查、提供或安装更新，设置页面也会引导用户使用软件包管理器。

---

🧯 故障排除

如果遇到问题：

1. 复制错误日志和系统规格
2. 在 GitHub 上提交问题
3. 或在我们的 Discord 寻求帮助

---

👥 贡献者

Atomic Chat 由一支小型核心团队和 140 多位贡献者共同打造，其中包括从项目最早期开始为项目发展作出贡献的所有人。欢迎向这两个仓库提交拉取请求：

• Atomic-Chat（本仓库）——桌面和移动应用：UI、聊天、助手、项目、MCP、集成和设置。请参阅 CONTRIBUTING.md 开始参与。
• atomic-chat-core ——管理各类引擎（llama.cpp、MLX、Foundation Models）的核心：后端和模型管理、云服务提供商、路由器以及兼容 OpenAI 的服务。请参阅其 AGENTS.md 开始参与。

不确定更改应该提交到哪个仓库？在任一仓库中提交问题，我们会为你指明方向。

---

⭐ Star History

---

📄 许可证

Apache 2.0 — 详情请参阅 LICENSE。

🙏 致谢

本项目建立在巨人的肩膀之上：

• llama.cpp
• MLX-VLM
• Tauri
• Scalar

---

🌱 渊源

Atomic Chat 最初是 Menlo Research 开发的 Jan 的分支——这是一款出色的开源本地 AI 应用。我们感谢 Jan 团队及其贡献者打下的基础。此后，Atomic Chat 逐渐发展出自己的方向、引擎和路线图，但我们仍向它的起点致敬。🙏

---

_{© 2026 Atomic Chat · 用 ❤️ 打造 · atomic.chat}