mcpField
O
ollama-setup

ollama-setup

github.com/jeremylongshore云与 DevOps2.9k69 次安装2 天前更新
代码仓库

关于 ollama-setup

面向希望在自有硬件上运行 LLM 推理的开发者，提供 Ollama 本地部署指导。它会评估系统资源、推荐模型、指导安装，并协助通过 Python、Node.js 或 REST 接入应用。

主要功能

  1. 01评估操作系统与硬件
  2. 02按 RAM 推荐模型
  3. 03在 macOS、Linux 或 Docker 上安装
  4. 04提供 Python、Node.js 和 REST 集成指导
  5. 05验证本地推理和 API

适用场景

  1. 01在开发工作站部署 Ollama
  2. 02在离线 Ubuntu 服务器提供模型服务
  3. 03在基于 Docker 的 CI 流水线使用 Ollama

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/jeremylongshore/tons-of-skills-marketplace --skill ollama-setup

安装后在 Claude Code 中输入/ollama-setup确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
errors.md
examples.md
skill-workflow.md

详细介绍

Ollama 设置

概述

自动配置 Ollama，用于本地部署大模型，省去托管 API 的费用，并支持离线 AI 推理。此技能可评估系统、根据可用硬件（RAM、GPU）选择模型、在 macOS/Linux/Docker 上安装，并与 Python、Node.js 和 REST API 客户端集成。

前提条件

  • macOS 12+、Linux（Ubuntu 20.04+、Fedora 36+）或 Docker 运行时
  • 运行 7B 参数模型至少需要 8 GB RAM；运行 13B 模型需要 16 GB；运行 70B 模型需要 32 GB+
  • 可选：配备 CUDA 驱动的 NVIDIA GPU，可加速推理（使用 nvidia-smi 验证）
  • 可选：Apple Silicon（M1/M2/M3），可在 macOS 上使用 Metal 加速推理
  • 磁盘空间：视模型大小而定，需要 4-40 GB（量化权重）
  • 包管理器：brew（macOS）、curl（Linux）或 docker（容器化）

说明

  1. 使用 uname -s、free -h（Linux）或 vm_stat（macOS），以及 nvidia-smi（如果存在 GPU）检测主机操作系统和可用硬件
  2. 根据可用 RAM 选择合适的模型：
    • 8 GB：llama3.2:7b（4 GB）、mistral:7b（4 GB）、phi3:14b（8 GB）
    • 16 GB：codellama:13b（7 GB）、mixtral:8x7b（量化后为 26 GB）
    • 32 GB+：llama3.2:70b（40 GB）、codellama:34b（20 GB）
  3. 使用适用于相应平台的方法安装 Ollama：
    • macOS：brew install ollama && brew services start ollama
    • Linux：curl -fsSL https://ollama.com/install.sh | sh && sudo systemctl start ollama
    • Docker：docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  4. 拉取推荐的模型：ollama pull llama3.2
  5. 列出可用模型（ollama list）并运行测试提示词（ollama run llama3.2 "Say hello"），以验证安装
  6. 确认 REST API 可访问：curl http://localhost:11434/api/tags
  7. 使用适当的客户端库（Python ollama、Node.js ollama 或原始 HTTP）配置与目标应用的集成
  8. 如果检测到 NVIDIA 或 Apple Silicon 硬件，则配置 GPU 加速
  9. 如果需要使用默认存储位置以外的位置，则配置模型持久化存储和缓存目录
  10. 验证所选模型的端到端推理延迟和吞吐量

详细工作流和代码片段请参阅 ${CLAUDE_SKILL_DIR}/references/skill-workflow.md。

输出

  • 已确认 Ollama 安装完成，并作为系统服务或 Docker 容器运行
  • 已拉取所选模型并缓存在本地，且已验证其推理能力
  • REST API 端点可通过 http://localhost:11434 访问
  • 适用于目标语言（Python、Node.js 或 cURL）的集成代码片段
  • 硬件评估报告：操作系统、RAM、GPU 可用性、推荐模型
  • 性能基准：所选模型在本地硬件上的每秒令牌数

错误处理

错误原因解决方案
ollama: command not found安装未完成或 PATH 尚未更新重新运行安装脚本；重启 shell 会话；确认 /usr/local/bin/ollama 存在
拉取模型时超时失败网络连接问题或无法访问 Ollama 注册表检查互联网连接；在公司代理后重试 ollama pull --insecure
推理时内存不足模型大小超过可用 RAM改用更小的量化模型（例如 7B 而非 13B）；关闭占用大量内存的应用
未检测到 GPU缺少 CUDA 驱动或驱动版本不兼容安装 CUDA toolkit >= 11.8；使用 nvidia-smi 验证；安装驱动后重启 Ollama 服务
端口 11434 已被占用其他服务正在占用 Ollama 的默认端口停止冲突的服务；或设置 OLLAMA_HOST=0.0.0.0:11435 环境变量

更多错误情况请参阅 ${CLAUDE_SKILL_DIR}/references/errors.md。

示例

场景 1：开发人员工作站配置——在配备 16 GB 内存的 macOS M2 设备上安装 Ollama。拉取 codellama:13b，用于代码生成任务。使用 ollama Python 包与 Python FastAPI 应用集成。预期吞吐量：在 Apple Silicon 上为每秒 30–50 个令牌。

场景 2：隔离网络服务器部署——通过预先下载的二进制文件，在离线 Ubuntu 服务器上安装 Ollama。通过 USB 传输模型权重。将其配置为可自动重启的 systemd 服务。通过 REST API 提供 llama3.2:7b，供内部团队使用。

场景 3：基于 Docker 的 CI 流水线——在 CI/CD 流水线中以 Docker 容器运行 Ollama，用于自动化代码审查。拉取 mistral:7b，在端口 11434 上开放 API，并与 Node.js 测试框架集成，向其发送代码差异以进行分析。

资源

评论

支持 Markdown