Token Enhancer

Token Enhancer

一个本地代理，会在网页进入 AI Agent 的上下文窗口之前，将其精简为干净的文本。

抓取一次 Yahoo Finance：704,760 个 token → 2,625 个 token。减少 99.6%。

无需 API 密钥。无需大模型。无需 GPU。只需 Python。

问题

AI Agent 将原始 HTML 页面加载到上下文中，浪费了大部分 token 预算。单个 Yahoo Finance 页面就包含 704K 个 token，其中充斥着导航栏、广告、脚本和垃圾内容。在开始推理之前，你的 Agent 就得为这些内容全部买单。

解决方案

Token Enhancer 位于 Agent 与网络之间。它会抓取页面、清除噪声、缓存结果，并且只返回干净的数据。

来源	原始 token 数	使用代理后	减少比例
Yahoo Finance（AAPL）	704,760	2,625	99.6%
Wikipedia 文章	154,440	19,479	87.4%
Hacker News	8,662	859	90.1%
GitHub 仓库页面	171,234	6,976	95.9%

安装

pip install xelektron-token-enhancer

快速开始（从源代码安装）

git clone https://github.com/xelektron/token-enhancer.git
cd token-enhancer
chmod +x install.sh
./install.sh
source .venv/bin/activate
python3 test_all.py --live

用法

作为独立代理

source .venv/bin/activate
python3 proxy.py

然后在另一个终端中：

curl -s http://localhost:8080/fetch \
  -H "content-type: application/json" \
  -d '{"url": "https://finance.yahoo.com/quote/AAPL/"}' \
  | python3 -m json.tool

作为 MCP 服务（Claude Desktop、Cursor、OpenClaw）

这是即插即用的选项。你的 AI Agent 会自动发现这些工具并自行使用。

pip install xelektron-token-enhancer

Claude Desktop： 添加到配置文件中

Mac：~/Library/Application Support/Claude/claude_desktop_config.json

Windows：%APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "token-enhancer": {
      "command": "python3",
      "args": ["-m", "mcp_server"],
      "env": {
        "REQUESTS_CA_BUNDLE": "/etc/ssl/certs/ca-certificates.crt"
      }
    }
  }
}

在 SSL 验证失败的 Linux 主机上，上方的 env 块会覆盖默认的 CA 证书包。在 macOS/Windows 上请将其移除。

Cursor： 添加到项目中的 .cursor/mcp.json：

{
  "mcpServers": {
    "token-enhancer": {
      "command": "python3",
      "args": ["-m", "mcp_server"]
    }
  }
}

连接后，你的 Agent 会获得三个工具：

fetch_clean 抓取任意 URL 并返回干净的文本（缩减 86% 至 99%）

fetch_clean_batch 一次抓取多个 URL

refine_prompt 可选的提示词清理功能，会同时显示两个版本供你选择

作为 LangChain 工具

from langchain.tools import tool
import requests

@tool
def fetch_clean(url: str) -> str:
    """Fetch a URL and return clean text with HTML noise removed."""
    r = requests.post("http://localhost:8080/fetch", json={"url": url})
    return r.json()["content"]

将 fetch_clean 添加到 Agent 的工具列表中。请先启动 python3 proxy.py。

功能

数据代理（第 2 层） 抓取任意 URL，清除 HTML/JSON 噪声，并返回干净的文本。会缓存结果，因此重复抓取可即时完成。支持 HTML、JSON 和纯文本。

提示词优化器（第 1 层，可选） 清除填充词和含糊表达，同时保护股票代码、日期、金额、否定词和对话引用。你可以查看两个版本并自行选择。

MCP 服务 接入 Claude Desktop、Cursor、OpenClaw 或任意 MCP 客户端。Agent 会自动发现并使用这些工具。

API 端点（代理模式）

端点	方法	描述
/fetch	POST	抓取 URL、清除噪声并返回干净的数据
/fetch/batch	POST	一次抓取多个 URL
/refine	POST	可选的提示词优化
/stats	GET	会话统计信息

运行测试

python3 test_all.py           # Layer 1 only (offline)
python3 test_all.py --live    # Layer 1 + Layer 2 (needs internet)

路线图

• 第 1 层：提示词优化器
• 第 2 层：带缓存的数据代理
• MCP 服务集成
• LangChain 工具示例
• 浏览器回退方案（Playwright），用于被机器人拦截的网站
• 经过身份验证的会话管理
• 第 3 层：输出/历史记录压缩
• CLI 工具
• 仪表板 UI

要求

Python 3.10+。无需 API 密钥。无需 GPU。

许可证

MIT