Onde Inference CLI

Onde Inference CLI

Onde Inference 的命令行界面。

Swift · Flutter · React Native · Rust · 网站

---

在终端中管理 Onde Inference 账户、微调本地模型，并将其导出为 GGUF。

安装

使用你喜欢的工具安装 onde-cli。有关软件包文档和完整的安装列表，请参阅 https://ondeinference.com/cli。

npm

npm install -g @ondeinference/cli

Homebrew

brew tap ondeinference/homebrew-tap && brew trust --tap ondeinference/homebrew-tap
brew install onde

pip / uv / uvx

pip install onde-cli
# or
uv tool install onde-cli
uv run onde --tui
# or with
uvx --from onde-cli onde --tui

.NET 工具

dotnet tool install --global Onde.Cli

Dart pub 全局安装

dart pub global activate onde_cli

Dart 软件包是一个轻量级启动器。首次运行时，它会将合适的原生二进制文件下载到 ~/.onde/cli，之后便会重复使用本地副本。

预编译二进制文件

从 GitHub Releases 下载发行版：

# macOS Apple Silicon
curl -Lo onde https://github.com/ondeinference/onde-cli/releases/latest/download/onde-macos-arm64
chmod +x onde && mv onde /usr/local/bin/onde

平台	文件
macOS Apple Silicon	onde-macos-arm64
macOS Intel	onde-macos-amd64
Linux x64	onde-linux-amd64
Linux arm64	onde-linux-arm64
Windows x64	onde-win-amd64.exe
Windows arm64	onde-win-arm64.exe

---

用法

onde --tui

这会打开 TUI。直接运行 onde 会打印用法说明并退出。你可以直接在此注册或登录。

按键	功能
Tab	在字段之间切换
Enter	提交或退出登录
Ctrl+L	前往登录界面
Ctrl+N	前往新账户界面
Ctrl+C	退出

MCP 服务

运行 onde，通过 stdio 将其作为 Model Context Protocol 服务，而不是打开 TUI：

onde --mcp

这会将 Onde 账户和模型目录操作作为 MCP 工具公开——login、me、apps_list、app_create、app_rename、models_list、model_register、model_assign、hf_search——并返回结构化 JSON。stdout 是 JSON-RPC 通道；工具以非交互方式运行，并复用通过 TUI 登录获取的令牌（或通过 login 工具获取的令牌）。将任何 MCP 客户端指向命令 onde --mcp 即可。

微调

onde 包含适用于 Qwen2、Qwen2.5 和 Qwen3 模型的 LoRA 微调流水线。它在本地运行：在 Apple Silicon 上使用 Metal，其他设备上使用 CPU。无需配置云服务，也无需 Python 环境。

流程很简单：下载 safetensors 基础模型，使用 LoRA 对其进行微调，将适配器合并回基础权重，然后导出为 GGUF，以便在 Onde SDK 中使用。

如果你想快速回顾模型在推理时的实际工作方式，Onde 提供了一篇关于前向传播的简短说明。

训练数据格式

每行应为一段完整对话，并采用 Qwen 的聊天模板：

{"text": "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nWhat is LoRA?<|im_end|>\n<|im_start|>assistant\nLoRA adds small trainable matrices to frozen layers, letting you fine-tune large models without updating all the weights.<|im_end|>"}

将文件保存到任意位置。TUI 支持直接指定文件路径。

运行

onde --tui
  → Models tab (Tab from Apps)
  → Select a safetensors model (↑↓, Enter)
  → Press f

只有 safetensors 模型可以微调。GGUF 模型已经过量化，因此其权重不可微分。

配置运行参数：

字段	默认值	说明
训练数据	~/.onde/finetune/train.jsonl	JSONL 文件的路径
LoRA rank	8	值越大，容量越高，内存占用也越大
训练轮数	3	完整遍历数据集的次数
学习率	0.0001	AdamW 默认值

按 Enter 开始。正常情况下，损失通常会在第 2 轮开始下降。如果损失保持不变，可以尝试 0.0003。

训练完成后

对于 0.6B 模型上的 rank 8，适配器大小约为 1.5 MB。在微调完成界面中：

• 按 m 将适配器合并到基础模型
• 按 g 将合并后的模型导出为 GGUF

生成的 GGUF 可直接加载到 Onde SDK，用于设备端 AI 推理。

支持的基础模型

模型	大小	说明
Qwen/Qwen3-0.6B	~1.2 GB	体积最小、训练最快
Qwen/Qwen2.5-1.5B-Instruct	~3.0 GB	适合指令微调的默认选择
Qwen/Qwen3-1.7B	~3.4 GB	较新的小型 Qwen3 模型
Qwen/Qwen3-4B	~8.0 GB	质量最佳，更适合 macOS

你可以在 Models 标签页中按 / 搜索这些模型。

---

调试

日志写入 ~/.cache/onde/debug.log。

如果你通过 pub.dev 安装，启动器缓存位于 ~/.onde/cli 下。

---

许可证

采用 MIT 和 Apache 2.0 双重许可。

版权

© 2026 Splitfire AB（Onde Inference）。