mcpField
O
omni-cache

omni-cache

github.com/cheaper-inference云与 DevOps82.3k1.0k 次安装今天更新
代码仓库

关于 omni-cache

omni-cache 是用于管理 LLM 响应缓存的 API 技能，涵盖统计数据、缓存条目和推理缓存，适合通过经认证的端点检查或清理缓存的服务运维人员。

主要功能

  1. 01获取缓存统计数据
  2. 02查看各缓存层的详细统计
  3. 03列出缓存条目和推理数据
  4. 04清除缓存、条目或统计数据
  5. 05使用 Bearer 令牌或会话 Cookie 认证

适用场景

  1. 01查看缓存用量和详细统计
  2. 02维护期间清除缓存响应
  3. 03检查或清除推理缓存数据

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/cheaper-inference/omniroute --skill omni-cache

安装后在 Claude Code 中输入/omni-cache确认已加载。

详细介绍

概述

管理大模型响应缓存。查看缓存统计信息、清除条目、配置 TTL 策略，并控制语义相似度缓存阈值。

身份验证

所有请求都需要有效的 Bearer 令牌或会话 Cookie。通过 POST /api/auth/login 获取令牌，或在本地开发时配置 REQUIRE_API_KEY=false。

端点

GET /api/cache

获取缓存统计信息

curl http://localhost:20128/api/cache \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache

清除所有缓存

curl -X DELETE http://localhost:20128/api/cache \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
GET /api/cache/stats

获取详细的缓存统计信息

返回所有缓存层的详细统计信息。

curl http://localhost:20128/api/cache/stats \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache/stats

清除缓存统计信息

curl -X DELETE http://localhost:20128/api/cache/stats \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
GET /api/cache/entries

获取缓存 › 条目

curl http://localhost:20128/api/cache/entries \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache/entries

删除缓存 › 条目

curl -X DELETE http://localhost:20128/api/cache/entries \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
GET /api/cache/reasoning

获取缓存 › 推理

curl http://localhost:20128/api/cache/reasoning \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache/reasoning

删除缓存 › 推理

curl -X DELETE http://localhost:20128/api/cache/reasoning \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"

负载

如需详细的请求/响应架构，请查看完整的 OpenAPI 规范：GET /api/openapi/spec 或 docs/openapi.yaml。

评论

支持 Markdown