mcpField
L
local-llm-ops

local-llm-ops

github.com/bobmatnyc云与 DevOps78453 次安装15 周前更新
代码仓库

关于 local-llm-ops

面向 Apple Silicon 本地 LLM 使用者的 Ollama 工具链技能，提供安装配置、命令行聊天、基准测试和诊断脚本。适合管理本地模型并评估运行表现。

主要功能

  1. 01Ollama 环境设置脚本
  2. 02多种命令行聊天启动器
  3. 03编码、创意与分析任务模式
  4. 04基准测试工作流
  5. 05故障诊断脚本

适用场景

  1. 01设置本地 Ollama 环境
  2. 02从命令行启动指定模型聊天
  3. 03比较模型的基准测试表现
  4. 04排查服务或安装配置问题

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/bobmatnyc/claude-mpm-skills --skill local-llm-ops

安装后在 Claude Code 中输入/local-llm-ops确认已加载。

附带文件metadata.json

详细介绍

Local LLM Ops（Ollama）

概览

你的 localLLM 仓库在 Apple Silicon 上提供完整的本地大模型工具链：设置脚本、功能丰富的 CLI 聊天启动器、基准测试和诊断工具。操作流程如下：安装 Ollama，确保服务正在运行，初始化 venv，拉取模型，然后启动聊天或基准测试。

快速开始

./setup_chatbot.sh
./chatllm

如果没有模型：

ollama pull mistral

设置清单

  1. 安装 Ollama：brew install ollama
  2. 启动服务：brew services start ollama
  3. 运行设置脚本：./setup_chatbot.sh
  4. 验证服务：curl http://localhost:11434/api/version

聊天启动器

  • ./chatllm（主要启动器）
  • ./chat 或 ./chat.py（备用启动器）
  • 别名：运行 ./install_aliases.sh，然后使用 llm、llm-code、llm-fast

任务模式：

./chat -t coding -m codellama:70b
./chat -t creative -m llama3.1:70b
./chat -t analytical

基准测试工作流

基准测试脚本位于 scripts/run_benchmarks.sh：

./scripts/run_benchmarks.sh

此脚本会使用以下配置运行 bench_ollama.py：

  • benchmarks/prompts.yaml
  • benchmarks/models.yaml
  • 多次运行和最大 token 限制

诊断

设置失败时，运行内置诊断脚本：

./diagnose.sh

常见修复方法：

  • 重新运行 ./setup_chatbot.sh
  • 确保 ollama 位于 PATH 中
  • 至少拉取一个模型：ollama pull mistral

操作说明

  • 虚拟环境位于 .venv
  • 聊天配置和会话位于 ~/.localllm/ 下
  • Ollama API 运行于 http://localhost:11434

相关技能

  • toolchains/universal/infrastructure/docker

评论

支持 Markdown