mcpField
M
mac-mini-llm-lab

mac-mini-llm-lab

github.com/bagelhole云与 DevOps1.2k311 次安装23 周前更新
代码仓库

关于 mac-mini-llm-lab

面向希望在 Mac mini 上运行本地大模型服务的用户，介绍搭建常驻 AI 主机的步骤。内容涵盖 Ollama、MLX、远程访问、自动启动、安全和监控。

主要功能

  1. 01安装并运行 Ollama 与 MLX
  2. 02配置服务自动启动和电源管理
  3. 03设置 Tailscale、SSH 或 Caddy 远程访问
  4. 04部署 Open WebUI
  5. 05主机安全、性能调优与监控

适用场景

  1. 01搭建本地大模型推理服务器
  2. 02创建私有 AI 开发环境
  3. 03为小团队提供常驻模型服务
  4. 04从远程网络访问 Mac mini 上的模型

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/bagelhole/devops-security-agent-skills --skill mac-mini-llm-lab

安装后在 Claude Code 中输入/mac-mini-llm-lab确认已加载。

详细介绍

Mac mini LLM 实验室

将 Mac mini 打造成低噪音、全天候运行的本地 AI 设备。

适用场景

在以下情况下使用此技能：

  • 设置专用的本地 LLM 推理服务
  • 构建私有 AI 开发环境
  • 需要全天候提供模型服务，且不产生云服务费用
  • 运行需要 Apple Silicon 统一内存（32-192GB）的模型
  • 为小型团队搭建家庭实验室 AI 服务

前提条件

  • 搭载 Apple Silicon（M2/M3/M4，推荐 16GB+ 统一内存）的 Mac mini
  • macOS Sonoma 14+ 或 Sequoia 15+
  • 以太网连接（推荐使用以太网而非 Wi-Fi）
  • 用于电源保护的 UPS（可选，但推荐）

初始系统设置

# Update macOS
softwareupdate --install --all

# Install Xcode command-line tools
xcode-select --install

# Install Homebrew
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

# Core packages
brew install tmux htop btop wget jq git neovim

# Python environment (for MLX and custom scripts)
brew install [email protected] uv

# Monitoring
brew install prometheus node_exporter

Ollama 设置

# Install Ollama
brew install ollama

# Pull models based on your RAM
# 16GB Mac mini:
ollama pull llama3.1:8b
ollama pull nomic-embed-text
ollama pull codellama:7b

# 32GB Mac mini:
ollama pull llama3.1:8b
ollama pull qwen2.5:14b
ollama pull deepseek-coder-v2:16b
ollama pull nomic-embed-text

# 64GB+ Mac mini:
ollama pull llama3.1:70b
ollama pull qwen2.5:32b
ollama pull codellama:34b

# Verify Metal acceleration
ollama run llama3.1:8b --verbose
# Look for: "metal" in output

MLX 框架（原生支持 Apple Silicon）

MLX 可在 Apple Silicon 上原生运行模型，并提供出色的性能：

# Install MLX
uv pip install mlx mlx-lm

# Run a model
python3 -c "
from mlx_lm import load, generate
model, tokenizer = load('mlx-community/Llama-3.1-8B-Instruct-4bit')
response = generate(model, tokenizer, prompt='Explain Docker in 3 sentences', max_tokens=200)
print(response)
"

# MLX server (OpenAI-compatible API)
uv pip install mlx-lm[server]
mlx_lm.server --model mlx-community/Llama-3.1-8B-Instruct-4bit --port 8080

使用 launchd 自动启动


<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>Label</key>
    <string>com.ollama.serve</string>
    <key>ProgramArguments</key>
    <array>
        <string>/opt/homebrew/bin/ollama</string>
        <string>serve</string>
    </array>
    <key>EnvironmentVariables</key>
    <dict>
        <key>OLLAMA_HOST</key>
        <string>0.0.0.0</string>
        <key>OLLAMA_NUM_PARALLEL</key>
        <string>4</string>
        <key>OLLAMA_MAX_LOADED_MODELS</key>
        <string>2</string>
        <key>OLLAMA_FLASH_ATTENTION</key>
        <string>1</string>
    </dict>
    <key>RunAtLoad</key>
    <true/>
    <key>KeepAlive</key>
    <true/>
    <key>StandardOutPath</key>
    <string>/tmp/ollama.log</string>
    <key>StandardErrorPath</key>
    <string>/tmp/ollama.err</string>
</dict>
</plist>

# Load the service
launchctl load ~/Library/LaunchAgents/com.ollama.serve.plist

# Check status
launchctl list | grep ollama

# Unload if needed
launchctl unload ~/Library/LaunchAgents/com.ollama.serve.plist

电源与可靠性

# Prevent sleep (keeps running with lid closed on Mac mini)
sudo pmset -a disablesleep 1
sudo pmset -a sleep 0

# Auto-restart after power failure
sudo pmset -a autorestart 1

# Schedule weekly reboot (Sunday 4 AM)
sudo pmset repeat shutdown MTWRFSU 03:55:00
sudo pmset repeat poweron MTWRFSU 04:00:00

# Check power settings
pmset -g

远程访问

Tailscale（推荐）
# Install Tailscale for easy secure remote access
brew install --cask tailscale

# Enable from menu bar, authenticate
# Access your Mac mini from anywhere: http://mac-mini:11434
SSH 安全加固
# Enable remote login
sudo systemsetup -setremotelogin on

# Edit SSH config
sudo nano /etc/ssh/sshd_config
# Add:
# PasswordAuthentication no
# PubkeyAuthentication yes
# PermitRootLogin no
# AllowUsers yourusername

# Restart SSH
sudo launchctl unload /System/Library/LaunchDaemons/ssh.plist
sudo launchctl load /System/Library/LaunchDaemons/ssh.plist
使用 Caddy 设置反向代理
brew install caddy

# Caddyfile
cat > /opt/homebrew/etc/Caddyfile << 'EOF'
llm.local:443 {
    tls internal
    reverse_proxy localhost:11434

    @api path /v1/*
    handle @api {
        reverse_proxy localhost:11434
    }
}

webui.local:443 {
    tls internal
    reverse_proxy localhost:3000
}
EOF

brew services start caddy

Open WebUI 设置

# Run Open WebUI via Docker
docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -e WEBUI_AUTH=true \
  -v open-webui:/app/backend/data \
  --restart unless-stopped \
  ghcr.io/open-webui/open-webui:main

# Or install Docker first if not available
brew install --cask docker

监控

# Health check script
cat > ~/scripts/llm-health.sh << 'SCRIPT'
#!/bin/bash
# Check Ollama
if curl -sf http://localhost:11434/api/tags > /dev/null; then
    echo "$(date): Ollama OK"
    curl -s http://localhost:11434/api/ps | python3 -m json.tool
else
    echo "$(date): Ollama DOWN"
    # Restart
    launchctl kickstart -k gui/$(id -u)/com.ollama.serve
fi

# System stats
echo "CPU: $(top -l 1 -n 0 | grep 'CPU usage')"
echo "Memory: $(vm_stat | head -5)"
echo "Disk: $(df -h / | tail -1)"
echo "Thermal: $(sudo powermetrics --samplers smc -n 1 2>/dev/null | grep 'CPU die' || echo 'N/A')"
SCRIPT
chmod +x ~/scripts/llm-health.sh

# Schedule health check every 5 minutes
# Add to crontab: crontab -e
# */5 * * * * ~/scripts/llm-health.sh >> ~/logs/llm-health.log 2>&1
各模型的内存用量
模型所需 RAM每秒令牌数（M2）每秒令牌数（M4）
llama3.1:8b (Q4)~5 GB~25 t/s~45 t/s
qwen2.5:14b (Q4)~9 GB~15 t/s~30 t/s
llama3.1:70b (Q4)~40 GB~5 t/s~10 t/s
nomic-embed-text~300 MBN/AN/A
codellama:13b~8 GB~18 t/s~35 t/s

安全检查清单

# Enable FileVault disk encryption
sudo fdesetup enable

# Enable firewall
sudo /usr/libexec/ApplicationFirewall/socketfilterfw --setglobalstate on
sudo /usr/libexec/ApplicationFirewall/socketfilterfw --setstealthmode on

# Disable unnecessary sharing services
sudo launchctl disable system/com.apple.screensharing
sudo launchctl disable system/com.apple.AirPlayXPCHelper

# Set strong admin password
# System Settings > Users & Groups

# Restrict Ollama to local network only (if not using Tailscale)
# Set OLLAMA_HOST=127.0.0.1 in launchd plist

性能调优

# Increase file descriptor limits for concurrent requests
sudo launchctl limit maxfiles 65536 200000

# Check unified memory pressure
memory_pressure

# Monitor GPU usage (Metal)
sudo powermetrics --samplers gpu_power -n 1

# Optimize for inference (disable Spotlight indexing on model dirs)
mdutil -i off ~/.ollama

故障排除

问题解决方案
模型加载缓慢首次加载时会缓存到内存；后续加载速度很快
内存不足使用较小的量化版本（Q4_K_M），降低 OLLAMA_MAX_LOADED_MODELS
Mac 进入睡眠运行 sudo pmset -a disablesleep 1
Ollama 未启动检查 `launchctl list
Wi-Fi 网络速度慢使用以太网；Wi-Fi 会增加流式响应的延迟
热降频确保通风良好，并检查 powermetrics

相关技能

评论

支持 Markdown