mcpField
G
GenPark LLM Token Bucket & Sliding Window Rate Limiter

GenPark LLM Token Bucket & Sliding Window Rate Limiter

本地服务
genpark.aiAI 与智能体71 周前更新

关于 GenPark LLM Token Bucket & Sliding Window Rate Limiter

这款 Python MCP 服务通过自适应多层限制、漏桶排队和突发等待估算,管理大模型的令牌与请求速率,适用于需要控制 TPM 和 RPM 用量的工作流。

主要功能

  1. 01自适应多层 TPM 与 RPM 限制
  2. 02漏桶排队
  3. 03突发等待时间估算
  4. 04基于 Python 3 标准库实现

适用场景

  1. 01限制 TPM 用量
  2. 02限制 RPM 用量

MCP 相关

可作为 MCP 服务配置到 Claude Desktop 或 Cursor。其用途是限制大模型令牌和请求的使用速率。

配置

本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。

暂未收录安装方式

我们还没有获取到这个服务的安装包或远程地址,请按项目 README 中的说明安装。

代码仓库
安装包
mcpbgenpark-llm-token-bucket-sliding-window-rate-limiter-skill.mcpb

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。

详细介绍

genpark-llm-token-bucket-sliding-window-rate-limiter-skill

Verified by Smithery LinkedIn Website

支持自适应多层级 TPM 和 RPM 的速率限制器,采用平滑漏桶排队,并可预测突发请求的等待时间

快速安装与 MCP 集成

添加到 Claude Desktop 或 Cursor 配置中:

{
  "mcpServers": {
    "genpark-llm-token-bucket-sliding-window-rate-limiter-skill": {
      "command": "python",
      "args": ["mcp_server.py"]
    }
  }
}

零依赖

完全使用 Python 3 标准库实现。

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。