self-hosted-ai

Sovereign AI MCP

将 Sovereign AI Blog 提供给 AI Agent 使用的 MCP 服务。该博客是一份关于在 NVIDIA DGX Spark（GB10/SM121A）上可自托管 AI 的实践工程日志。

在线端点： https://mcp.sovgrid.org/self-hosted-ai 传输方式： Streamable HTTP (FastMCP) 身份验证： 无（免费层，每个 IP 每分钟 60 次请求）

为什么使用它

关于小众硬件（GB10、SM121A、ARM64 上的 SGLang）的训练数据稀少且过时。此 MCP 可让 Agent 直接、结构化地访问 180 多篇文章，其中记录了实际配置、修复方案和基准测试。如果你正在类似的技术栈上开发或调试，Agent 可以获取经过验证且版本最新的信息，而不是凭空捏造。

语料库涵盖 GB10 上的 SGLang 和 vLLM 补丁、ARM64 上的 voxtral 和 TTS 流水线、KV 缓存与量化的权衡、播客级音频生成、MCP 服务设计、知识库构建，以及在经过加固的欧洲 VPS 上运行这一切的运维工作。

工具

工具	用途
search_blog(query, tag?, sort?, n?)	TF-IDF 全文搜索。可选的 tag 筛选条件，sort 可按相关性或 date_desc 排序。query 为空时列出最新文章。返回带有质量评分、风格、slug 和摘录的 SearchResult 条目。
list_articles(tag?, sort?, limit?, offset?)	直接分页列出文章，不产生 TF-IDF 开销。可按标签筛选，并按 date_desc、date_asc、title_asc 或 quality_desc 排序。返回 ArticleSummary 条目。
list_tags(sort?)	列出语料库中的所有主题标签及文章数量。按 count_desc（默认）或 alpha 排序。可用于在筛选 search_blog 之前了解主题范围。
get_article(slug)	按 slug 获取完整文章正文和 frontmatter。返回 Markdown 内容以及标签、质量评分和发布日期。
diagnose_sglang(error_message)	将运行时错误与针对 GB10/SM121A 上 SGLang 整理的规则集进行模式匹配。返回匹配的修复方案及相关配置文章链接。

所有工具均为只读、幂等，并使用 ToolAnnotations 声明，以便 MCP 客户端校准重试策略和信任信号。输入使用 Pydantic Annotated[type, Field(description=...)]，使参数文档可通过自省提供给 Agent。输出采用类型化的 BaseModel 结构——这些架构定义真实有效，并非空洞的 dict。

快速开始

使用 Claude Code

claude mcp add sovereign-ai --transport http https://mcp.sovgrid.org/self-hosted-ai

验证：

claude mcp list | grep sovereign-ai

使用 Cline / Continue / 其他 MCP 客户端

将以下内容添加到客户端的 MCP 服务配置中：

{
  "sovereign-ai": {
    "type": "http",
    "url": "https://mcp.sovgrid.org/self-hosted-ai"
  }
}

本地运行

从源码运行（uv）

git clone https://github.com/cipherfoxie/sovereign-mcp.git
cd sovereign-mcp
uv sync
uv run uvicorn src.main:app --host 127.0.0.1 --port 8002

Docker

git clone https://github.com/cipherfoxie/sovereign-mcp.git
cd sovereign-mcp
docker build -t sovereign-mcp .
docker run -p 8002:8002 sovereign-mcp

仓库附带一个占位文件 data/knowledge-base.json（包含 0 篇文章，符合有效架构），以便服务开箱即用地启动并正常响应 MCP 内省请求。要填入实际内容，请使用 scripts/generate_knowledge_base.py 从 sovgrid.org 博客源文件生成，或根据 src/knowledge.py 中的架构构建自己的知识库。也可以直接使用在线端点 https://mcp.sovgrid.org/self-hosted-ai。

使用纯文本和大模型构建可自托管的知识库介绍了相同的知识库模式（Markdown 加 JSON 索引，不使用向量存储）。

架构

• FastMCP 1.27+，在路径 /self-hosted-ai 上使用 Streamable HTTP 传输
• **通过 TransportSecuritySettings 防范 DNS 重绑定：**仅允许 Host: mcp.sovgrid.org 的请求（或用于健康检查的 localhost）
• 健康端点 /health 会返回文章数量和知识库生成时间戳
• 知识库是一个由博客 Markdown 内容生成的扁平 JSON 文件；启动时加载，并通过 TF-IDF 查询 search_blog

该服务是无状态的。所有博客内容均已公开（CC BY-SA 4.0）。不包含个人身份信息、身份验证令牌或机密信息。

运维

线上部署通过 Docker 运行在一台注重隐私的欧洲 VPS 上，前置由 Caddy 提供 TLS。服务器日志会流入尊重隐私的分析管道（Caddy JSON 访问日志，不进行客户端跟踪，不使用 JS 像素）。

许可证

• **服务器代码：**MIT，参见 LICENSE
• 博客内容（由工具返回）：CC BY-SA 4.0，参见 creativecommons.org/licenses/by-sa/4.0/

联系方式

• 博客：sovgrid.org
• Nostr：[email protected]（NIP-05）— npub1ndrjgfcwkc0y4753zyj3p7qjf795pvjq2dn4m7y7f72vmu7t0nrs6y363u
• Bug 报告 / 问题：提交 issue