LLMVerify

llmverify

你发布了一项 AI 功能。就在同一天，你的大模型编造了引用内容、泄露了客户的电子邮箱，还听从了埋藏在用户输入中的提示词注入攻击。llmverify 是一层安全防护，位于你的大模型与用户之间。

为任何大模型提供本地优先的验证、PII 脱敏、提示词注入防御和运行时监控。只需执行一次 npm install。零遥测。免费套餐无需 API 密钥。

最后更新： 2026 年 8 月 21 日 版本： 1.7.0 Node： >= 18.0.0 许可证： MIT

---

链接

• 产品页面： haiec.com/llmverify
• npm： npmjs.com/package/llmverify
• GitHub： github.com/subodhkc/llmverify-npm
• Python（占位项目）： pypi.org/project/llmverify — 仅预留命名空间，并非此软件包的移植版本
• 作者： Subodh Kc

---

问题所在

你使用 GPT-4、Claude、Gemini 或任何大模型进行开发。模型会：

• 编造不存在的事实和引用。
• 泄露 PII——在回复中泄露电子邮箱、电话号码、SSN、API 密钥。
• 听从提示词注入——用户诱骗模型忽略你的指令。
• 返回有问题的 JSON，导致解析器崩溃。
• 质量随时间变化，却无人察觉，直到用户投诉。

你需要在模型与用户之间设置一道防护栏。这就是 llmverify。

---

安装

npm install llmverify

所有操作都在本地运行。免费套餐不会发出任何网络请求，也无需 API 密钥。免费套餐限额：每天 500 次验证调用（在本地跟踪，从不发送到任何地方）。

---

功能一览

功能	一行示例	功能说明
verify(content)	await verify(aiResponse)	执行幻觉、一致性、安全性和 CSM6 检查；返回风险等级和发现项
isInputSafe(input)	isInputSafe(userMessage)	在提示词注入、越狱和恶意输入到达模型之前将其拦截
redactPII(text)	redactPII(aiResponse)	屏蔽电子邮箱、电话号码、SSN、信用卡号和 API 密钥
containsPII(text)	containsPII(text)	如果存在 PII，则返回 true
detectAndRepairJson(...)	detectAndRepairJson(prompt, response)	检测并修复有问题的 JSON 输出
monitorLLM(client)	monitorLLM(openaiClient)	包装任意大模型客户端；跟踪延迟、令牌漂移和行为变化
sentinel.quick(...)	await sentinel.quick(client, model)	在用户看到更改之前，针对模型运行回归测试
classify(...)	classify(prompt, response)	意图检测、幻觉信号和指令遵循情况
auditLog(event)	auditLog({ ... })	追加一条仅含哈希的本地审计记录，作为 SOC 2 / HIPAA / GDPR 证明材料
run、prodVerify、ciVerify	await prodVerify(content)	为开发、生产、严格、快速和 CI 场景预设的流水线

---

快速开始（30 秒）

const { verify, isInputSafe, redactPII } = require('llmverify');

// 1. Block prompt injection before it reaches the model.
if (!isInputSafe(userMessage)) {
  return { error: 'Invalid input detected' };
}

// 2. Verify the model's output.
const aiResponse = await yourLLM.generate(userMessage);
const result = await verify(aiResponse);

if (result.risk.level === 'critical') {
  return { error: 'Response failed safety check' };
}

// 3. Strip PII before the response reaches a user or a log.
const { redacted } = redactPII(aiResponse);
console.log(redacted);

只需三行，就能在你的大模型与用户之间加入安全防护。无需配置文件，也无需 API 密钥。

---

工作原理

llmverify 在本地运行确定性的模式匹配引擎——不会调用模型，免费套餐也不会访问网络。相同输入加相同规则，结果始终相同。每项结果都包含明确的 limitations 数组，说明检查了哪些内容、未检查哪些内容，确保你不会把良好评分误认为保证。

框架对齐（仅基线映射，不代表认证）：

• OWASP LLM Top 10
• NIST AI RMF
• EU AI Act
• ISO 42001
• CSM6（HAIEC 的 38 条规则控制集）

---

CLI

# Verify a string from the terminal.
npx llmverify verify "The capital of France is London."

# Start a local HTTP API for IDE / tool integration (localhost only by default).
npx llmverify-serve --port=9009

# Expose to the network only on a trusted network. There is no auth on the API.
npx llmverify-serve --host=0.0.0.0 --port=9009

服务默认绑定到 127.0.0.1，将 CORS 限制为 localhost 来源，并对客户端进行速率限制（100 次请求 / 60s）。它需要 express（默认安装的可选依赖）。

---

MCP 服务

llmverify 内置了 Model Context Protocol 服务——同一引擎通过 stdio 向兼容 MCP 的 Agent 和 IDE 开放：

npx llmverify mcp

// MCP client config
{
  "mcpServers": {
    "llmverify": {
      "command": "npx",
      "args": ["-y", "llmverify", "mcp"]
    }
  }
}

六种工具：verify_llm_content、assess_hallucination_risk、check_prompt_injection、check_pii、redact_pii、get_llmverify_capabilities。仅使用 stdio，不进行任何出站网络通信，输入和输出均有界，响应经过 PII 过滤，并采用诚实的 notChecked/审计语义。

需要 Node.js ≥ 20（这是 MCP SDK 的最低版本要求；其余软件包支持 ≥ 18）。MCP SDK 和 zod 是常规依赖项——mcp 命令会延迟加载它们，因此其他命令不会产生任何启动开销。

完整的工具参考和安全模型请参阅 docs/MCP.md。

---

限制

llmverify 是一个分流工具，不是真相判定器。请如实看待它能做什么、不能做什么：

• 它无法确凿证明内容存在幻觉。 幻觉信号基于模式。「法国的首都是伦敦」得分较低，因为这段文字看起来前后一致。验证事实真伪需要你提供源文档。
• 它不能替代人工审查。 用它进行分流，而不是审批。
• PII 检测基于正则表达式。 它能识别标准格式（电子邮件、美国电话号码、SSN、信用卡和常见 API 密钥），但无法识别经过混淆、嵌入图像或编码的 PII。对于标准格式，准确率约为 90%；对于变体，准确率较低。
• 提示词注入检测基于模式。 新型或经过混淆的注入可能绕过检测。
• 免费层完全在本地运行。 ML 增强功能需要付费层和显式 API 密钥；免费层绝不发起网络请求，也绝不向任何地方发送数据。

如果某项声明很重要，请自行核实。llmverify 可以缩小风险范围，但无法消除风险。

---

文档

• 快速开始
• 入门指南
• API 参考
• MCP 服务
• 风险级别
• CLI 参考
• 限制

---

HAIEC 的一部分

llmverify 是 HAIEC（Human AI Evidence Company）AI 治理平台的一部分。可将它与 AI Security Scanner、CI/CD pipeline integration 和 Runtime Injection Testing 配合使用。

---

支持

• 问题反馈： GitHub Issues
• 文档： 完整文档

---

许可证

MIT — 请参阅 LICENSE。

---

建议（不构成法律建议）： 对每个传递给用户的模型输出运行 verify()，对每个传递给模型的用户输入运行 isInputSafe()。将风险级别视为分流信号，而非审批结论。