mcpField
O
omni-cache

omni-cache

github.com/cheaper-inferenceクラウド・DevOps82.3k1.0k 回インストール今日更新
リポジトリ

omni-cache について

omni-cacheは、LLM応答キャッシュを管理するAPIスキルで、統計情報、キャッシュエントリー、推論キャッシュを扱います。認証付きエンドポイントでキャッシュを確認・消去するサービス運用担当者向けです。

主な機能

  1. 01キャッシュ統計の取得
  2. 02キャッシュ層ごとの詳細統計の確認
  3. 03キャッシュエントリーと推論データの一覧
  4. 04キャッシュ、エントリー、統計の消去
  5. 05Bearerトークンまたはセッションクッキー認証

活用シーン

  1. 01キャッシュ使用状況と詳細統計を確認
  2. 02メンテナンス中に応答キャッシュを消去
  3. 03推論キャッシュのデータを確認または消去

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/cheaper-inference/omniroute --skill omni-cache

インストール後、Claude Code で/omni-cacheを入力して読み込まれたか確認します。

詳細

概要

LLM の応答キャッシュを管理します。キャッシュ統計の表示、エントリのクリア、TTL ポリシーの設定、セマンティック類似度キャッシュのしきい値の制御を行います。

認証

すべてのリクエストには、有効な Bearer トークンまたはセッション Cookie が必要です。POST /api/auth/login でトークンを取得するか、ローカル開発用に REQUIRE_API_KEY=false を設定してください。

エンドポイント

GET /api/cache

キャッシュ統計を取得します

curl http://localhost:20128/api/cache \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache

すべてのキャッシュをクリアします

curl -X DELETE http://localhost:20128/api/cache \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
GET /api/cache/stats

詳細なキャッシュ統計を取得します

すべてのキャッシュレイヤーの詳細な統計を返します。

curl http://localhost:20128/api/cache/stats \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache/stats

キャッシュ統計をクリアします

curl -X DELETE http://localhost:20128/api/cache/stats \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
GET /api/cache/entries

キャッシュ › エントリを取得

curl http://localhost:20128/api/cache/entries \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache/entries

キャッシュ › エントリを削除

curl -X DELETE http://localhost:20128/api/cache/entries \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
GET /api/cache/reasoning

キャッシュ › 推論を取得

curl http://localhost:20128/api/cache/reasoning \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"
DELETE /api/cache/reasoning

キャッシュ › 推論を削除

curl -X DELETE http://localhost:20128/api/cache/reasoning \
  -H "Authorization: Bearer $OMNIROUTE_TOKEN"

ペイロード

リクエスト／レスポンスのスキーマの詳細については、完全な OpenAPI 仕様を GET /api/openapi/spec または docs/openapi.yaml でご確認ください。

コメント

Markdown 対応