关于 offline-mcp
offline-mcp 是使用 Ollama 和开放权重模型进行本地推理并提供离线部署指南的 MCP 服务,面向网络连接受限的部署场景,工具涵盖模型状态、推理、硬件适配建议和降级运行。
主要功能
- 01检查本地 Ollama 状态与模型
- 02通过本地 Ollama 模型运行提示词
- 03浏览推荐的开放权重模型
- 04离线降级运行指南
- 05支持非洲语言的模型目录
- 06多种设备的部署指南
适用场景
- 01在无网络时运行推理
- 02检查本地可用的 Ollama 模型
- 03为本地任务选择开放权重模型
- 04规划 Raspberry Pi 或笔记本部署
MCP 相关
向 MCP 客户端提供六种工具,用于查询本地 Ollama 状态和推理、发现模型、获取离线运行指导及本地部署信息。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
6收录的工具列表 · 更新于 1 周前
此工具无需参数。
详细介绍
offline-mcp
安装:pip install offline-mcp · 可与任何 MCP 客户端搭配使用。
本地 AI 推理基础设施——Ollama 封装器、开放权重模型目录,以及面向东非的降级模式指南。
**原因:**永远不要假设 OpenAI 会一直运行、Anthropic 始终可访问,或出口管制会消失。 这在非洲比在其他任何地方都更重要。
**发达国家的对应方案:**Ollama、LLaMA、Mistral 本地部署
存在的意义:数据主权
“如果你接受这笔交易,你就会被剥削。如果你不接受,你就会死。”
— Frank Ssekamwa,乌干达数字权利专家
在全球南方,社区的 AI 和健康数据正被提取并在海外处理, 用于构建模型,而这些模型创造的价值却流向了数据来源社区之外。
offline-mcp 是东非协作技术栈的主权底线。
当它运行在配备 50W 太阳能板和 256GB SD 卡的 Raspberry Pi 4 上时:
- 健康数据留在诊所。健康指导由本地模型提供。
- 土地记录留在土地管理办公室。查询不会触及国外服务。
- 公民数据留在县内。AI 辅助功能无需互联网即可运行。
无需 API 密钥。无需依赖云端。数据不会离开社区。
通过 offline-mcp 提供的模型(Llama 3.2、Qwen 2.5)完全在设备上运行。
用于生成 AI 输出的社区数据不会形成发送回模型提供方的数据集。
这不是一项隐私功能,而是数字独立的架构基础。
研究基础
此服务实现了经同行评审研究验证的模式,适用于带宽受限环境中的离线优先 AI:
arXiv:2603.03339(2026)——面向低连接环境中自适应学习的离线优先 LLM 架构——证实,只要根据硬件情况选择模型并针对基础设施受限的部署进行设计,就能实现有实际意义的 AI 支持。 主要发现:离线优先是一种互补范式,而非妥协。
采用的设计原则:
- 本地优先:所有核心操作均可在无互联网连接时执行
- 优雅降级:功能减少也胜过完全不可用
- JSONL 队列:离线期间累积的事件会在连接恢复时同步
- 感知硬件:工具选择会根据可用算力进行调整
东非背景: 肯尼亚、坦桑尼亚、乌干达——网络连接不稳定的农村地区是主要部署目标。此服务并非为理想条件而设计, 而是为真实环境而设计。
安装
pip install offline-mcp
工具(6 个)
| 工具 | 描述 |
|---|---|
check_ollama_status | 检查 Ollama 是否在本地运行,并列出可用模型 |
run_local_inference | 使用本地 Ollama 模型运行提示词 |
list_recommended_models | 适用于东非使用场景的优选开放权重模型 |
degraded_mode_guide | 用于离线运行的 4 级降级模式架构 |
open_weights_directory | 支持非洲语言的开放权重模型目录 |
local_deployment_guide | 笔记本电脑、服务端、Raspberry Pi、Android 的部署指南 |
使用场景
可在 50W 太阳能板和 Raspberry Pi 4 上运行。适用于肯尼亚农村地区的诊所、学校和社区办公室。
许可证
MIT © Gabriel Mahia | [email protected]
东非协调技术栈的一部分
此 MCP 服务是肯尼亚协调基础设施的一部分。
将它连接到 africa-coord-bus —
这个协调事件总线会自动在不同领域之间路由信号。
pip install africa-coord-bus
所有服务:pypi.org/user/gmahia 在线演示:coord-cascade-demo
知识产权与协作
采用 MIT 许可。仅通过 GitHub Issues 接收反馈 — 不接受拉取请求。演示数据标记为 DEMO,不适用于运营决策。完整政策:docs/architecture/IP_POLICY.md。安全问题报告:请参阅 SECURITY.md。
东非协调技术栈的一部分
- 安装并运行:
pip install reli-cli && reli list— 官方 MCP Registry 中io.github.gabrielmahia名下的 MCP 服务 - 评估模型在斯瓦希里语 Agent 任务上的表现: kipimo · 数据集 · 排行榜
- 跨服务协调: africa-coord-bus — 内置肯尼亚路由表、离线优先的事件总线
- 数据集: huggingface.co/gmahia · 文档中心: nairobi-stack
专为模型无关而设计:封闭 API、开放权重模型和小型蒸馏模型均是一等公民。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。