Tokenectomy Razor

Tokenectomy Razor

解决 Claude Code 和 Cursor 的速率限制：零延迟本地 AI 网关与 Rust 编写的上下文手术 MCP 服务

别再为 node_modules 堆栈跟踪浪费 20,000 个令牌。Tokenectomy Razor 是一个亚毫秒级本地 AI 网关反向代理（127.0.0.1:8080）及配套 MCP 服务，使用安全的 Rust 编写。它可从终端错误日志中剔除 41.7%–99.7% 的框架噪声，屏蔽泄露的数据库凭据/JWT，并免费缓存提示词。

快速开始（10 秒） • 架构 • 问题所在 • 前后对比 • 在线交互式演示 • 基准测试

                                 ┌────────────────────────────────────────────────────────┐
                                 │                   Autonomous Agents                    │
                                 │  Claude Code • Cursor • Antigravity • Cline • Windsurf │
                                 └───────────────────────────┬────────────────────────────┘
                                                             │
                                                             ▼ (HTTP / SSE Outbound Prompts)
   ┌──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
   │                                 ⚡ TOKENECTOMY AI GATEWAY (127.0.0.1:8080)                                       │
   │                                                                                                                  │
   │  ┌─────────────────────────┐   ┌───────────────────────────┐   ┌──────────────────────────────────────────────┐  │
   │  │   Zero-Cost Prompt      │   │   Zero-Leak Credential    │   │         Polyglot Trace Surgery               │  │
   │  │         Cache           │   │         Redaction         │   │            (9 Languages)                     │  │
   │  │  <1ms Hit • 100% Free   │   │  API Keys • JWTs • DB URIs│   │  node_modules • site-packages • .cargo       │  │
   │  └───────────┬─────────────┘   └─────────────┬─────────────┘   └──────────────────────┬───────────────────────┘  │
   │              │                               │                                        │                          │
   │              └───────────────────────────────┼────────────────────────────────────────┘                          │
   │                                              ▼                                                                   │
   │                                 Smart Upstream Auto-Router                                                       │
   │                         (Anthropic • OpenAI • Groq • Ollama Local)                                               │
   └──────────────────────────────────────────────┬───────────────────────────────────────────────────────────────────┘
                                                  │
                 ┌────────────────────────────────┼────────────────────────────────┐
                 ▼                                ▼                                ▼
       api.anthropic.com                  api.openai.com                   localhost:11434
    (Claude 3.5 / 3.7 Sonnet)         (GPT-4o / o1 / o3-mini)              (DeepSeek / Llama)

⚡ 快速开始（10 秒）

0. 零配置单行封装器（wrap）

无需手动设置环境变量，即可在 Tokenectomy 的隐私保护与缓存网关后直接运行任意编码 Agent 或测试套件：

# Wrap Claude Code CLI
razor wrap -- claude

# Wrap Aider with DeepSeek or Ollama (Auto-Transpiled on the fly!)
razor wrap -- aider --model deepseek/deepseek-chat

# Wrap test runs to scrub logs and prevent accidental credential leakage
razor wrap npm test

1. 启动独立 AI 网关（手动模式）

npx -y tokenectomy-razor --proxy

💡 默认启用智能多提供商自动路由与通用大模型转译器！ Tokenectomy 会自动分析请求路径和标头。需要让 Claude Code 使用 DeepSeek 或 Ollama 吗？Tokenectomy 会在运行时透明地将 Anthropic /v1/messages 格式转译为 OpenAI /v1/chat/completions 格式，反之亦然。

2. 连接你喜欢的 Agent

将编码 Agent 或命令行工具指向 127.0.0.1:8080 上的本地网关：

3. 实时 FinOps 与安全仪表板

在浏览器中打开 http://127.0.0.1:8080/dashboard，实时查看 Token 减少量、提示词缓存命中次数、节省金额以及已脱敏的凭据。

4. 配套 MCP 服务设置（Sub-Cortex）

适用于调用深度诊断工具（get_error_context、analyze_code、apply_code_patch）的 Agent：

Claude Code CLI

claude mcp add tokenectomy npx -y tokenectomy-razor --mcp

Google Antigravity / Gemini CLI

agy mcp add tokenectomy-razor -- npx -y tokenectomy-razor --mcp

Cursor Composer（.cursor/mcp.json）

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

Claude Desktop（claude_desktop_config.json）

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

5. 终端管道与 CLI 脱敏

npm test 2>&1 | npx tokenectomy-razor

🛑 问题：为什么你的 AI 会触发速率限制并产生幻觉

在开发过程中，如果你的应用崩溃（Next.js、Express、FastAPI、Tokio），运行时会从 node_modules 或 site-packages 输出数百行第三方框架代码。

当你将原始崩溃转储内容粘贴到 Cursor 或 Claude 中时：

1. 耗尽 5 小时速率限制额度：单个 Express/Prisma 错误就可能输出 5,000 到 45,000 个 Token 的第三方库代码，而这些代码并非你编写。几次崩溃循环就很容易耗尽会话限额。
2. 引发 AI 幻觉：Claude 会迷失在框架内部代码中（node_modules/express/lib/router/layer.js 或 starlette/routing.py），并尝试编辑库文件，而不是你的实际应用代码。
3. 泄露机密与凭据：错误跟踪信息中包含的原始数据库密码、JWT 持有者 Token 和云密钥等连接字符串，会被转发到外部模型服务。

Raw Terminal Crash (45,820 tokens + Leaked Secrets)
     │
     ▼  <0.2ms Local Rust DFA Engine
[Redact Passwords & Keys] ──► [Strip Third-Party Framework Frames] ──► [Isolate Root Cause]
     │
     ▼
Clean Context (118 tokens • Zero Secrets • Sub-millisecond)

🔍 前后对比

❌ 不使用 Tokenectomy：AI 产生幻觉并耗尽上下文

TypeError: Cannot read properties of undefined (reading 'token')
    at loadComponents (/app/node_modules/next/dist/server/load-components.js:14:2)
    at renderToHTML (/app/node_modules/next/dist/server/render.js:50:5)
    at nextServer (/app/node_modules/next/dist/server/next-server.js:80:12)
    at processTicksAndRejections (node:internal/process/task_queues:95:5)
    at runMicrotasks (node:internal/process/task_queues:120:3)
    at checkoutHandler (/app/pages/api/checkout.ts:42:15)
Database connection failed: postgresql://admin:[email protected]:5432/primary
API key leaked: sk-ant-api03-abcdef1234567890abcdef1234567890

**Claude 的操作：**分析 load-components.js 和 next-server.js，猜测 Webpack / Next.js 内部实现，并将连接凭据泄露到远程推理日志中。

✅ 使用 Tokenectomy：上下文清晰，立即修复

// [Tokenectomy Surgery: 5 internal framework frames pruned (83.3%)]
// Source: /app/pages/api/checkout.ts:42:15
42 |   const sessionToken = req.headers.authorization.token;
   |                                                  ^ TypeError: Cannot read properties of undefined (reading 'token')
🛡️ [CONNECTION_STRING_REDACTED]
🛡️ [ANTHROPIC_KEY_REDACTED]

**Claude 的操作：**立即发现 checkout.ts 第 42 行试图访问未定义请求头中的 .token。随即建议使用可选链 req.headers.authorization?.token。凭据会在传输前脱敏。

🔬 可验证的基准测试

所有性能声明均以硬件测试为依据，并可在实体硬件上独立复现（测试环境为 10 核 Intel Core i5-1235U @ 15W，运行 Arch Linux，内核版本为 6.13）：

**硬件依赖说明：**性能取决于硬件；所报告的吞吐量是在指定测试硬件（10 核 Intel Core i5-1235U @ 15W TDP）上测得的结果。更高 TDP 的桌面/服务器 CPU 和更快的内存总线可提升吞吐量。我们鼓励开发者使用下方的复现命令独立验证性能。

$ cargo test --release --test stress_benchmark -- --nocapture

=====================================================================================
🧪 TOKENECTOMY OSS VERIFIABLE HEAVY STRESS BENCHMARK (100% REPRODUCIBLE IN OSS)
   Hardware: 10-Core / 12-Thread Intel Core i5-1235U | OS: Arch Linux | Kernel Telemetry Active
   Initial Baseline Process Memory (VmRSS): 3.45 MB
=====================================================================================

🔥 [TEST 1/3] QUARTER-MILLION LINES LOG REDACTION TORTURE (250,000 LINES / 25MB+ BUFFER)
  ├── Buffer Size: 24.44 MB (250000 lines)
  ├── Redaction Latency: 471.05ms (51.9 MB/sec)
  ├── Line Throughput: 530,735 lines/sec
  ├── Peak Memory (VmRSS): 76.05 MB (Delta: +72.60 MB)
  └── Status: ✅ PASSED (100% of 250,000 lines sanitized, zero memory balloon)

🔥 [TEST 2/3] REDOS CATASTROPHIC BACKTRACKING TORTURE (50,000 CHARS PAYLOAD)
  ├── Attack Payload Size: 50,082 characters
  ├── Execution Latency: 1.165 ms
  └── Status: ✅ PASSED (Linear O(N) evaluation, ReDoS-resistant on tested payloads)

🔥 [TEST 3/3] HIGH-CONCURRENCY TORTURE (100 PARALLEL OS THREADS)
  ├── Thread Concurrency: 100 concurrent OS threads
  ├── Successful Operations: 100/100 (100.0%)
  ├── Total Elapsed: 11.31ms
  ├── Concurrency Throughput: 17,688 ops/sec
  ├── Final VmRSS: 78.99 MB
  └── Status: ✅ PASSED (Zero race condition, zero deadlock)

=====================================================================================
🏆 TOKENECTOMY OSS STRESS BENCHMARK: 3/3 PASSED (100% GREEN)
   Total Suite Duration: 580.83ms
   Bounded Final VmRSS: 78.99 MB
=====================================================================================
test test_oss_heavy_stress_benchmark ... ok

test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.58s

🛡️ 自动脱敏与机密信息清理基准测试

在内部基准测试夹具（tests/fixtures/）中的 12 个多语言崩溃跟踪（Rust、Python、TypeScript、Go、YAML）上进行了评估，其中包含 22 个真实凭据和干净的负向对照样本。并与 Gitleaks v8.30.1（默认规则集）进行了直接对比。

架构说明： Gitleaks 主要设计用于扫描代码仓库中的提交和差异，而非对内存中的运行时跟踪进行脱敏。Tokenectomy Razor 专为运行时流脱敏和堆栈跟踪处理而设计。

1. 各类别的精确率、召回率与 F1 分数

2. 直接性能对比与架构总结

3. Token 减少与大模型上下文节省（tiktoken cl100k_base）

🔌 高级 Agent 与网关配置

1. 多提供商 AI 网关选项（--proxy）

Tokenectomy 的网关在 127.0.0.1:8080 上本地运行，无需手动配置。在复杂的开发环境或容器化 Agent 拓扑中，你可以自定义绑定和路由：

# Default Smart Auto-Routing (routes Anthropic, OpenAI, and Ollama requests dynamically):
razor --proxy

# Safety Circuit Breaker: Prevent runaway agent loops from burning your hourly budget or 5-hour window:
razor --proxy --max-hourly-tokens 200000

# Resilient 429 Auto-Retry: Automatically pause and retry when hitting upstream rate limits (default: on):
razor --proxy --max-retries 5

# Explicit upstream override (e.g. Groq, vLLM, or OpenRouter):
razor --proxy --upstream-url https://api.groq.com/openai/v1

# Secure remote container binding with mandatory bearer token:
razor --proxy --proxy-bind 0.0.0.0:8080 --allow-remote --proxy-token "$MY_GATEWAY_TOKEN"

实时指标与 Prometheus 导出

Tokenectomy 通过 JSON 提供实时 FinOps 和 Token 经济数据：

curl http://127.0.0.1:8080/v1/metrics

即时返回 rate_limits_mitigated、circuit_breaker_trips、last_latency_ms、current_hourly_tokens、cache_hits、cache_tokens_saved 和 estimated_cost_saved_usd 的遥测数据。

2. 独立命令行与终端脱敏

调试或直接管道传输终端测试输出时：

# Pipe terminal test failures through the surgical redactor:
npm test 2>&1 | razor --scrub

# Sanitize a specific raw log file:
razor --scrub --file /var/log/app/error.log > sanitized.log

# Offline local air-gapped mode (zero external network calls):
cat failure.log | razor --scrub --local-only

🛠️ 暴露的 MCP 工具

Tokenectomy Razor 符合 Glama A 级工具定义质量评分（TDQS），并明确界定参数边界：

🌐 支持的多语言生态系统

📦 安装选项

方法 1：通过 npx 即时运行（无需配置工具链）

npx -y tokenectomy-razor --mcp

方法 2：Cargo（crates.io）

cargo install tokenectomy

方法 3：预编译独立二进制文件

可在 GitHub Releases 获取零依赖的独立发行版二进制文件：

• Linux： x86_64-unknown-linux-gnu、x86_64-unknown-linux-musl、aarch64-unknown-linux-gnu
• macOS： aarch64-apple-darwin（Apple Silicon M1/M2/M3/M4）、x86_64-apple-darwin（Intel）
• Windows： x86_64-pc-windows-msvc.exe

方法 4：多架构 Docker 容器（GHCR）

docker pull ghcr.io/tokenectomy-labs/razor:latest
docker run -i ghcr.io/tokenectomy-labs/razor:latest --mcp

⚖️ 版本对比

需要企业级 AST 自我修复功能？ 了解 Sentinel 版本

🗺️ 路线图与里程碑

🔒 安全与不变量

• 默认本地执行： 所有堆栈跟踪解析、帧裁剪和密钥脱敏均在本地物理硬件上执行。
• 已记录的网络出口： 在 MCP 服务模式下，search_stack_overflow 是唯一具有出站网络访问能力的工具（通过 HTTPS 访问 api.stackexchange.com）。负载严格限定为经过净化和脱敏的错误特征文本（不包含代码行、本地路径或任何凭据）。在气隙环境中，使用 --local-only 可完全禁用网络搜索。
• 确定性线性时间模式匹配： 所有模式匹配器均采用无回溯 DFA 正则表达式引擎（$O(N)$ 线性时间）和 Aho-Corasick 自动机进行评估。
• 路径遍历边界隔离： 文件操作严格限制在当前工作区根目录（CWD）内。路径遍历（../）和未经授权的符号链接均会被阻止。
• 安全的 Rust 实现： 核心执行路径通过有界流读取器（.take()）确保 Rust 内存安全，防止资源耗尽。

如需披露漏洞，请查阅我们的安全政策。

⚖️ 法律声明与下游分叉免责声明

Tokenectomy Razor 仅用于合法的开发者效率提升、可观测性、日志处理和防御性凭据脱敏。任何下游分叉、克隆、再分发或私有部署均独立于原作者运行。Tokenectomy Labs 及其维护者对第三方使用此代码库或其衍生版本实施的非法、恶意或未经授权的行为不承担任何责任。所有下游运营者均须对遵守当地及国际网络安全法律承担全部个人责任。完整法律条款请参阅 DISCLAIMER.md。

❓ 常见问题（FAQ）

Tokenectomy Razor 如何防止 Claude Code 和 Cursor 触及速率限制？

当测试或终端构建崩溃时，Next.js、Express、Jest 和 Django 等框架会转储数千条内部堆栈帧（node_modules、site-packages）。发送原始的 5,000 行崩溃日志，每条提示词会消耗 15,000 到 45,000 个令牌，几分钟内就会耗尽 5 小时会话限额。Tokenectomy Razor 会拦截日志并剔除 95% 无助于采取行动的框架代码，将 40,000 个字符的崩溃日志缩减至不足 200 个必要令牌，耗时不到 0.2 毫秒。

如何阻止 Cursor 将 node_modules 错误日志发送给大模型？

将 Tokenectomy Razor 作为本地 AI 网关反向代理运行（npx -y tokenectomy-razor --proxy）。在 Cursor 设置中，将 OpenAI Base URL 指向 http://127.0.0.1:8080/v1。Composer 粘贴或引用的任何终端错误输出，在到达模型服务之前都会自动经过脱敏、清理和缓存。

Tokenectomy 如何防止凭据从错误日志中泄漏？

所有日志处理和机密脱敏都会在向外发送之前，完全在你的设备本地内存中执行。Razor 使用确定性的线性时间正则表达式和 Aho-Corasick 自动机，通过 [REDACTED] 标记检测并脱敏 PostgreSQL/MongoDB 连接 URI、JWT bearer 令牌和云 API 密钥。脱敏无需任何云端传输。

🤝 社区与资源

• 🌐 官方网站
• 📖 文档
• 🏗️ 系统架构
• 📋 变更日志
• 🤝 贡献指南
• 🔒 安全政策
• ⚖️ 免责声明与责任