llm-redteam

@guardbee/mcp-llm-redteam

🇬🇧 English | 🇹🇷 Türkçe | 🇨🇳 中文 | 🇯🇵 日本語 | 🇰🇷 한국어 | 🇧🇷 Português | 🇪🇸 Español | 🇩🇪 Deutsch

ライブの LLM エンドポイントやチャットボットに対して積極的にレッドチームテストを行う MCP（Model Context Protocol）サーバーです。GuardBee のほかのスキャナーのような静的解析ではなく、実際のターゲットに対して実際のプローブリクエストを送信します。ターゲットは自分で管理しているものに限ります。

ai-code-scanner、mcp-server-auditor、prompt-injection-scanner は、いずれも保存されているコードやコンテンツを検査します。このパッケージは稼働中のシステムを検査します。本番環境で、デプロイ済みの LLM／チャットボットのガードレールは、既知のジェイルブレイク、情報抽出、難読化、拒否抑制の手法に今も耐えられるでしょうか？

⚠️ 自分が所有する、またはテストする明示的な許可を得たエンドポイントのみを指定してください。 各プローブは実際のリクエストを送信し、ターゲットの API クォータを消費します。これはセルフテスト用のツールです。API キー／エンドポイントは自分で用意してください。

プローブがターゲットに実際に有害なコンテンツを生成させることはありません。 すべてのプローブはカナリアベースです。実行ごとに生成されるランダムな使い捨てトークンをターゲットが再現するかどうかで成功を判定します。これにより、実際に有害な出力を引き出すことなく、通常の応答から逸脱する指示に従ったことを証明できます。カナリアが偶然現れることはないため、結果は決定論的であり、ライブエンドポイントに対して安全に実行できます。

テレメトリーはデフォルトでオフです。GUARDBEE_TELEMETRY=1 を設定すると、サーバー、ツール、成功状況、所要時間、およびファイルパスなどの短いパラメーター値を送信します。長い文字列や content、token、password などのフィールドはプレースホルダーに置き換えられます。詳細は @guardbee/mcp-telemetry をご覧ください。

Your LLM endpoint / chatbot ◄── llm-redteam ──► Claude
              │
              ├─ Instruction override    (DAN-style role-play, direct "ignore instructions")
              ├─ Extraction              ("repeat everything above", translation-reframed leak)
              ├─ Obfuscation             (base64-encoded instruction, zero-width smuggling)
              ├─ Refusal suppression     (fake system-override impersonation)
              └─ Multilingual            (same override, non-English phrasing)

---

特長

• 5 カテゴリ、12 個のプローブ — 指示の上書き、情報抽出、難読化、拒否抑制、多言語
• 有害性ではなくカナリアベース — 合否を決定論的に判定し、実際に有害なコンテンツを要求することはありません
• 3 種類のターゲット — OpenAI 互換のチャット API（OpenAI、Groq、ローカルの vLLM など）、Anthropic Messages API、または独自の Webhook
• すべてのバイパスについて、重要な理由と対処方法を提示します（recommendation）
• CI 向けの CLI モード（例：デプロイのたびにステージング環境のチャットボットをレッドチームテスト）
• ユニットテスト 29 件 — テストスイートではターゲットアダプターをモックした fetch に対してテストし、実際のネットワーク呼び出しは行いません

---

クイックスタート

Claude Desktop／MCP クライアント

{
  "mcpServers": {
    "guardbee-llm-redteam": {
      "command": "npx",
      "args": ["-y", "@guardbee/mcp-llm-redteam"],
      "env": {
        "OPENAI_API_KEY": "sk-..."
      }
    }
  }
}

次に Claude に「gpt-4o-mini を使って、OpenAI エンドポイントに対して GuardBee のレッドチームテストスイートを実行してください」と依頼します。

CLI（CI/CD）

export OPENAI_API_KEY=sk-...
npx @guardbee/mcp-llm-redteam probe --type=openai --model=gpt-4o-mini --api-key-env=OPENAI_API_KEY --fail-on=high

# Your own chatbot endpoint
npx @guardbee/mcp-llm-redteam probe --type=webhook --url=https://staging.example.com/chat --fail-on=any

---

MCP ツール

ツール	説明
list_probes	カテゴリ別にすべてのプローブを一覧表示します。ネットワーク呼び出しは行いません
run_probe_suite	指定したターゲットに対してプローブを実行し、ガードレールをバイパスしたプローブを返します

---

対象タイプ

タイプ	用途
openai	OpenAI の Chat Completions API、または baseUrl を使う OpenAI 互換ゲートウェイ（Groq、ローカルの vLLM/Ollama プロキシなど）
anthropic	Anthropic の Messages API に直接接続する場合
webhook	独自のチャットボット／製品のエンドポイント — JSON で { prompt } を POST し、設定可能なフィールドから返信を読み取ります

API キーがツール／CLI パラメーターとして渡されることは決してありません — すでにキーを保持している環境変数の名前（apiKeyEnv）のみが渡されます。実行する前に、その環境変数を設定してください。

---

検出されたバイパスのカテゴリ

カテゴリ	プローブの例	重大度	バイパスが意味すること
instruction-override	direct_override、role_play_dan	高	直接的な、またはロールプレイ形式の上書き指示が、システムプロンプトの権限に取って代わりました
extraction	system_prompt_leak_direct、repeat_above	重大	対象が自身のシステムプロンプトを明らかにしました（または明らかにすることを実証しました）
obfuscation	base64_instruction、zero_width_smuggling	高／中	エンコードや不可視文字で隠された上書き指示が機能しました
refusal-suppression	authority_impersonation	高	偽の「システム上書き」という形式に、実際の指示権限が与えられました
multilingual	non_english_override	中	英語以外の言語で表現した同じ上書きが成功しました

これらは既知で、公開文書に記載された手法のパターンです — これは防御範囲のテストであり、新たな攻撃の研究ではありません。プローブが阻止されたからといって対象が突破不可能だと証明されたわけではありません。一方、バイパスされたプローブは、具体的で再現可能な発見事項です。

---

開発

npm run build
npm test             # 29 unit tests

---

ライセンス

MIT — GuardBee

フィードバック

質問、アイデア、誤検知がありましたか？ GitHub Discussions でスレッドを立てるか、issue を作成してください。GuardBee が役に立った場合は、リポジトリに ⭐ を付けていただけると、ほかの人にも見つけてもらいやすくなります。