关于 Ollama
Ollama 允许在本地计算机上轻松运行和管理开源大模型。支持模型下载、管理和交互,集成到终端工作流中,无需依赖远程 API。
主要功能
- 01下载并在本地运行开源大模型(如 Gemma、Llama)
- 02管理多个模型版本和变体
- 03通过命令行直接与模型交互
- 04集成到脚本和自动化工作流中
适用场景
- 01在本地开发环境测试和评估开源大模型
- 02构建离线 AI 应用,无需依赖云服务
- 03为 Agent 和编码工具提供本地推理能力
安装
选择你的系统或包管理器,复制命令到终端运行。
$
安装完成后运行ollama --version确认安装成功。
命令示例
常用命令按使用顺序排列。
01
02
03
详细介绍
Ollama
开始使用开放模型进行构建。在本地或云端访问最新版本,充分保护隐私。
下载
macOS
curl -fsSL https://ollama.com/install.sh | sh
或手动下载
Windows
irm https://ollama.com/install.ps1 | iex
或手动下载
Linux
curl -fsSL https://ollama.com/install.sh | sh
Docker
官方 Ollama Docker 镜像 ollama/ollama 可在 Docker Hub 获取。
库
社区
开始使用
ollama
系统会提示你运行模型,或将 Ollama 连接到现有的 Agent 或应用,例如 Claude Code、OpenClaw、OpenCode、Codex、Copilot 等。
编码
启动特定集成:
ollama launch claude
支持的集成包括 Claude Code、Codex、Copilot CLI、DeepSeek Harness、Droid 和 OpenCode。
AI 助手
使用 OpenClaw,将 Ollama 变成可在 WhatsApp、Telegram、Slack、Discord 等平台使用的个人 AI 助手:
ollama launch openclaw
与模型聊天
运行并与 Gemma 4 聊天:
ollama run gemma4
完整列表请参阅 ollama.com/library。
详情请参阅快速入门指南。
REST API
Ollama 提供用于运行和管理模型的 REST API。
curl http://localhost:11434/api/chat -d '{
"model": "gemma4",
"messages": [{
"role": "user",
"content": "Why is the sky blue?"
}],
"stream": false
}'
所有端点请参阅 API 文档。
Python
pip install ollama
from ollama import chat
response = chat(model='gemma4', messages=[
{
'role': 'user',
'content': 'Why is the sky blue?',
},
])
print(response.message.content)
JavaScript
npm i ollama
import ollama from "ollama";
const response = await ollama.chat({
model: "gemma4",
messages: [{ role: "user", content: "Why is the sky blue?" }],
});
console.log(response.message.content);
支持的后端
- llama.cpp 项目由 Georgi Gerganov 创立。
文档
社区集成
想要添加你的项目?请提交拉取请求。
聊天界面
网页
- Open WebUI - 可扩展、可自托管的 AI 界面
- Onyx - 互联的 AI 工作区
- LibreChat - 增强版 ChatGPT 克隆,支持多服务商
- Lobe Chat - 现代化聊天框架,带插件生态(文档)
- NextChat - 跨平台 ChatGPT 界面(文档)
- Perplexica - AI 驱动的搜索引擎,开源的 Perplexity 替代方案
- big-AGI - 面向专业人士的 AI 套件
- Lollms WebUI - 多模型网页界面
- ChatOllama - 带知识库的聊天机器人
- Bionic GPT - 本地部署的 AI 平台
- Chatbot UI - ChatGPT 风格的网页界面
- Hollama - 极简网页界面
- Chatbox - 桌面和网页 AI 客户端
- chat - 面向团队的聊天 Web 应用
- Ollama RAG Chatbot - 使用 RAG 与多个 PDF 对话
- 基于 Tkinter 的客户端 - Python 桌面客户端
桌面
- Dify.AI - 大模型应用开发平台
- AnythingLLM - 适用于 Mac、Windows 和 Linux 的一体化 AI 应用
- Maid - 跨平台移动端和桌面客户端
- Witsy - 适用于 Mac、Windows 和 Linux 的 AI 桌面应用
- Cherry Studio - 多服务商桌面客户端
- Ollama App - 适用于桌面和移动端的多平台客户端
- PyGPT - 适用于 Linux、Windows 和 Mac 的 AI 桌面助手
- Alpaca - 适用于 Linux 和 macOS 的 GTK4 客户端
- SwiftChat - 跨平台,包括 iOS、Android 和 Apple Vision Pro
- Enchanted - 原生 macOS 和 iOS 客户端
- RWKV-Runner - 多模型桌面运行器
- Ollama Grid Search - 评估和比较模型
- macai - 适用于 Ollama 和 ChatGPT 的 macOS 客户端
- AI Studio - 多服务商桌面 IDE
- Reins - 参数调优,支持推理模型
- ConfiChat - 注重隐私,可选加密
- LLocal.in - Electron 桌面客户端
- MindMac - 适用于 Mac 的 AI 聊天客户端
- Msty - 多模型桌面客户端
- BoltAI for Mac - 适用于 Mac 的 AI 聊天客户端
- IntelliBar - 适用于 macOS 的 AI 驱动助手
- Kerlig AI - 适用于 macOS 的 AI 写作助手
- Hillnote - Markdown 优先的 AI 工作区
- Perfect Memory AI - 基于屏幕和会议记录的个性化效率 AI
移动端
- Ollama Android Chat - 在 Android 上一键运行 Ollama
上文列出的 SwiftChat、Enchanted、Maid、Ollama App、Reins 和 ConfiChat 也支持移动平台。
代码编辑器与开发
- Cline - 用于多文件/整个仓库编码的 VS Code 扩展
- Continue - 适用于任意 IDE 的开源 AI 代码助手
- Void - 开源 AI 代码编辑器,Cursor 的替代品
- Copilot for Obsidian - 适用于 Obsidian 的 AI 助手
- twinny - Copilot 及 Copilot 聊天的替代方案
- gptel Emacs 客户端 - 适用于 Emacs 的大模型客户端
- Ollama Copilot - 将 Ollama 用作 GitHub Copilot
- Obsidian Local GPT - 适用于 Obsidian 的本地 AI
- Ellama Emacs 客户端 - 适用于 Emacs 的大模型工具
- orbiton - 免配置文本编辑器,支持 Ollama Tab 补全
- AI ST Completion - Sublime Text 4 的 AI 助手
- VT Code - 基于 Rust、集成 Tree-sitter 的终端编码 Agent
- QodeAssist - 适用于 Qt Creator 的 AI 编码助手
- AI Toolkit for VS Code - Microsoft 官方出品的 VS Code 扩展
- Open Interpreter - 面向计算机的自然语言接口
- oxi - 原生 Rust 桌面编码 Agent,内置编辑器、Git 面板和终端
库与 SDK
- LiteLLM - 面向 100+ 大模型服务商的统一 API
- Semantic Kernel - Microsoft AI 编排 SDK
- LangChain4j - Java 版 LangChain(示例)
- LangChainGo - Go 版 LangChain(示例)
- Spring AI - Spring 框架的 AI 支持(文档)
- LangChain 和 LangChain.js,附示例
- Ollama for Ruby - Ruby 大模型库
- any-llm - Mozilla 推出的统一大模型接口
- OllamaSharp for .NET - .NET SDK
- LangChainRust - Rust 版 LangChain(示例)
- Agents-Flex for Java - Java Agent 框架(示例)
- Elixir LangChain - Elixir 版 LangChain
- Ollama-rs for Rust - Rust SDK
- LangChain for .NET - .NET 版 LangChain(示例)
- chromem-go - 使用 Ollama 嵌入的 Go 向量数据库(示例)
- LangChainDart - Dart 版 LangChain
- LlmTornado - 面向多种推理 API 的统一 C# 接口
- Ollama4j for Java - Java SDK
- Ollama for Laravel - Laravel 集成
- Ollama for Swift - Swift SDK
- LlamaIndex 和 LlamaIndexTS - 面向大模型应用的数据框架
- Haystack - AI 流水线框架
- Firebase Genkit - Google AI 框架
- Ollama-hpp for C++ - C++ SDK
- PromptingTools.jl - Julia 大模型工具包(示例)
- Ollama for R - rollama - R SDK
- Portkey - AI 网关
- Testcontainers - 基于容器的测试
- LLPhant - PHP AI 框架
框架与 Agent
- AutoGPT - 自主 AI Agent 平台
- crewAI - 多 Agent 编排框架
- Strands Agents - 由 AWS 提供的模型驱动 Agent 构建工具
- Cheshire Cat - AI 助手框架
- any-agent - 由 Mozilla 提供的统一 Agent 框架接口
- Stakpak - 开源 DevOps Agent
- Hexabot - 对话式 AI 构建器
- Neuro SAN - 多 Agent 编排(文档)
RAG 与知识库
- RAGFlow - 基于深度文档理解的 RAG 引擎
- R2R - 开源 RAG 引擎
- MaxKB - 开箱即用的 RAG 聊天机器人
- Minima - 本地部署或完全本地化的 RAG
- Chipper - 带 Haystack RAG 的 AI 界面
- ARGO - 在 Mac/Windows/Linux 上运行的 RAG 与深度研究工具
- Archyve - 支持 RAG 的文档库
- Casibase - 带 RAG 与 SSO 的 AI 知识库
- BrainSoup - 带 RAG 与多 Agent 自动化的原生客户端
机器人与消息
- LangBot - 支持多平台的消息机器人,集成 Agent 与 RAG
- AstrBot - 支持多平台的聊天机器人,带 RAG 与插件
- Discord-Ollama 聊天机器人 - 使用 TypeScript 编写的 Discord 机器人
- Ollama Telegram 机器人 - Telegram 机器人
- LLM Telegram 机器人 - 用于角色扮演的 Telegram 机器人
终端与命令行
- aichat - 一体化大模型命令行工具,集成 Shell 助手、RAG 与 AI 工具
- oterm - Ollama 的终端客户端
- gollama - 基于 Go 的 Ollama 模型管理工具
- tlm - 本地 Shell 副驾驶
- tenere - 大模型 TUI
- ParLlama - Ollama 的 TUI
- llm-ollama - Datasette 的 LLM 命令行 插件
- ShellOracle - Shell 命令建议
- LLM-X - 面向大模型的渐进式 Web 应用
- cmdh - 自然语言转 Shell 命令
- VT - 极简多模态 AI 聊天应用
效率与应用
- AppFlowy - AI 协作工作区,可自托管的 Notion 替代方案
- Screenpipe - 24/7 屏幕与麦克风录制,支持 AI 驱动的搜索
- Vibe - 会议转录与分析
- Page Assist - 用于 AI 辅助浏览的 Chrome 扩展
- NativeMind - 隐私优先、端侧运行的浏览器 AI 助手
- Ollama Fortress - Ollama 的安全代理
- 1Panel - 基于 Web 的 Linux 服务器管理
- Writeopia - 集成 Ollama 的文本编辑器
- QA-Pilot - GitHub 代码仓库理解
- Raycast 扩展 - Raycast 中的 Ollama
- Painting Droid - 集成 AI 功能的绘画应用
- Serene Pub - AI 角色扮演应用
- Mayan EDMS - 基于 Ollama 工作流的文档管理
- TagSpaces - 文件管理,支持 AI 标签
可观测性与监控
- Opik - 调试、评估和监控大模型应用
- OpenLIT - 面向 Ollama 与 GPU 的原生 OpenTelemetry 监控
- Lunary - 大模型可观测性,提供分析与 PII 脱敏
- Langfuse - 开源大模型可观测性
- HoneyHive - 面向 Agent 的 AI 可观测性与评估
- MLflow Tracing - 开源大模型可观测性
数据库与嵌入
- pgai - PostgreSQL 作为向量数据库(指南)
- MindsDB - 将 Ollama 连接到 200+ 数据平台
- chromem-go - 适用于 Go 的可嵌入向量数据库(示例)
- Kangaroo - AI 驱动的 SQL 客户端
基础设施与部署
云服务
- Google Cloud
- Fly.io
- Koyeb
- Harbor - 容器化大模型工具包,默认后端为 Ollama
包管理器
评论
支持 Markdown