Vigilis

👁️ Vigilis

AI が記述したコードのための QA ゲート。
安全なテストのずれを自動修正し、実際のリグレッションを拒否し、すべての判断を独立して検証可能な証明書に署名して記録します。

---

課題

コーディングエージェントに 「CI を通して」 と指示すると、グリーンにする最も手っ取り早い方法は、バグを検出したテストを削除することです。 AI は今や、自らテストを記述して修正します。だからこそ、重要なのはただ1つ、その作業を信頼できるか？ ということです。

Vigilis がその問いに答えます。すでにお使いの Playwright、Cypress、Selenium のテストスイートを指定してください。テストが失敗すると、次のように判断します。

• 見た目上のずれ（セレクターの名前変更など）→ ロケーターを修正し、再実行して成功を検証したうえで、PR を作成します。
• 実際の動作の変化（チェックアウトの合計が $49 から $0 になったなど）→ テストには手を加えず、ゲートを失敗させ、バグを覆い隠すのではなく表面化させます。

さらに、すべての判断は独立した公証人によって署名され、オフラインで検証可能な証明書に封印されます。 そのため、拒否したことを単に主張するのではなく、証明できます。

自動修復は入り口にすぎません。本質は検証可能な証拠です。

チームでの活用例： AI が記述したコードのゲートとして · バグを隠さずに自動修復 · 監査可能なテスト実行 · SOX／決済管理向けの監査水準の証拠 · エージェントネイティブ（MCP）。→ ユースケースを見る

実際のバグを拒否する様子を見る

エージェントは仕様テストを実行して失敗を確認し、セレクターがすべて正しいことを確かめたうえで、アプリのログインが実際に壊れていると判断し、修復を拒否しました。その後、誰でもオフラインで検証できる証明書を封印しました。

クイックスタート

npm i -D vigilis                      # in your Playwright / Cypress / Selenium project
npx playwright install chromium       # one-time, for browser automation
export ANTHROPIC_API_KEY=sk-ant-...   # a pay-as-you-go API key (not a Claude.ai subscription)

npx vigilis init                                   # scaffold vigilis.config.json (auto-detects your framework)
npx vigilis generate https://your-app.com --run    # explore the app → write + run a real spec
npx vigilis heal https://your-app.com --spec tests/login.spec.ts   # heal drift → verify green → PR (refuses real bugs)

# already have a suite running in CI? attest the run you just did — no API key, no secrets:
npx playwright test --reporter=json > report.json
npx vigilis attest-run report.json --commit $GITHUB_SHA --exit-code $?
npx vigilis verify .vigilis/attestation/qa-run-*.json    # offline: chain intact, or broken at record #N

独自のキーと chromium を使って、CI で実行できます。高速モデル（--model claude-haiku-4-5）では、1回の実行につき約 10¢ です。品質を重視し、デフォルトでは Opus を使用します。

他との違い

	Vigilis
修復	見た目上のずれに合わせてロケーターを書き換え、成功を再検証し、PR を作成します。
拒否	実際のリグレッションは、厳格なフェイルクローズの契約です。バグを検出したアサーションを弱めることはありません。
証明	修復も拒否もすべて、独立してオフライン検証可能な証明書に封印されます（Treeship 経由）。

証明は検証可能かつ監査可能であり、エージェントが何をどの順序で行い、改変がなかったかを証明します。ただし、エージェントの判断が正しかったと主張するものではありません。この誠実さこそが重要です。Vigilis はシグナルを改善しますが、失敗を隠すことはありません。

拒否に信頼性がある理由：どのレイヤーも自分の作業を採点しません。 実行者（任意のエージェント）がコードとテストを記述し、Vigilis が動作を評価してデプロイのゲートとなり、独立した公証人（Treeship）が判定に署名します。Vigilis は自分の宿題に自ら署名しません。だからこそ、あなたをもともと信頼しているわけではない人にとっても、証明に価値が生まれます。

オプション：拒否時にアラートを送信

実際のバグを理由に拒否した場合、Vigilis はSlack にアラートを投稿し、重複を防止した Linear チケットを作成できます。どちらにも署名済みの証明書へのリンクが含まれます。デフォルトでは無効で、SLACK_WEBHOOK_URL／LINEAR_API_KEY を設定するまでは何も行いません。docs/REFUSAL-ACTIONS.md を参照してください。

Claude から操作する（MCP）

同じツールを MCP サーバー（vigilis-mcp、公式 MCP レジストリに登録済み）としても提供しています。Claude Desktop、Claude Code、または Cursor から直接、生成・トリアージ・修復を実行できます。MCP クライアントの設定に追加してください。

{
  "mcpServers": {
    "vigilis": {
      "command": "npx",
      "args": ["-y", "vigilis-mcp"],
      "env": { "ANTHROPIC_API_KEY": "sk-ant-..." }
    }
  }
}

詳しいセットアップについては、docs/MCP.md をご覧ください。

プロベナンス証明

証明は シークレット不要 ですぐに利用できます。アカウント、API キー、ネットワークは必要ありません。

• vigilis attest-run <report.json> は、Vigilis 独自のものに限らず、あらゆるテスト実行を証明として封印します。Playwright レポートのダイジェスト、コミット SHA、ランナーの終了コードをハッシュチェーンでつなぎ、改ざんを検出できるバンドルとして .vigilis/attestation/ に保存します。CI で既存の playwright test ステップの後に追加すれば、実行のたびに証拠が残ります。
• vigilis heal は、トリアージと修復のセッション全体を同じ方法で封印します。すべてのツール呼び出しと判断が、実行順にハッシュチェーンで記録されます。
• vigilis verify <bundle> は、オフラインでチェーンを再検証し、chain intact（チェーンは完全）または broken at record #N（レコード #N で破損）と報告します。ファイルを持っている人なら誰でも確認できます。いずれかの手順を編集または削除すると、それ以降のすべてのハッシュが無効になります。

Treeship CLI がインストールされている場合、heal の証明はさらに 独立した公証人によって署名 されます。treeship verify last で検証するか、ホストされた URL を共有してください。必須の依存関係ではありません。利用しない場合は --no-receipt を指定します。docs/TREESHIP.md をご覧ください。

ローカルのバンドルは検証・監査可能です（改変されていない順序どおりの記録により、エージェントが何をしたか は証明しますが、その判断が正しかったことまでは証明しません）。Treeship を使うと、独立した公証人が署名した証明にアップグレードできます。

これを作った理由

私はキャリアを通じて QA に携わってきましたが、AI がその仕事を一変させました。今やエージェントは自分でテストを書き、修正します。大幅なスピードアップですが、テストが存在する唯一の理由を、気づかないうちに損なってしまいます。エージェントが失敗するテストを成功に変えたとき、それはバグを 修正 したのでしょうか。それとも、バグを見つけたテストを削除したのでしょうか。大規模になると、すべての変更を人手で確認することはできません。

そこで Vigilis は、単なる自己修復ツールではありません。修復はありふれた機能になりつつあります。Vigilis は、どの失敗を修復し、どの失敗を拒否するかを 誠実に 判断するレイヤーであり、すべての呼び出しに署名することで、Vigilis の言葉を鵜呑みにせずに済むようにします。

私の考えでは、git はコードの台帳であり、Vigilis はエージェントの判断の台帳 です。あなたをすでに信頼しているとは限らない相手にも渡せる証拠です。

— Piyush

---

仕組み

Vigilis は QA ツールを 一度だけ定義 し、1 つの Claude エージェントループを通じて、MCP サーバーと CLI の 2 つの形で公開 します。

                     ┌──────────────────────────────┐
                     │   core                       │  Anthropic Messages API + tool use
                     │   Agent loop + Tool Registry │  browser · dom · fs · playwright · git
                     └───────┬───────────────┬──────┘
                ┌────────────▼──┐         ┌──▼───────────────┐
                │ vigilis-mcp   │         │ vigilis (CLI)    │
                │ MCP server    │         │ npx vigilis ...  │
                │ (Claude)      │         │ (used in CI)     │
                └───────────────┘         └──────────────────┘

ループの流れは、生成（URL を探索 → 仕様を書く）→ トリアージ（実際のバグか、変化によるずれか、フレークかを判定）→ 修復（変化によるずれを修正 → 成功を検証 → PR を作成。実際のバグは拒否）です。作成（平易な英語での意図 → テスト計画）はロードマップに含まれています。

リポジトリの構成

vigilis/
├─ packages/
│  ├─ core/   # agent loop, tool registry, Claude client, prompts, refusal actions
│  ├─ mcp/    # MCP server wrapping the registry
│  └─ cli/    # the `vigilis` command (generate | triage | heal | attest-run | verify)
├─ apps/
│  ├─ sample-shop/   # Next.js demo target (login + products + cart, with seeded drift/bug toggles)
│  ├─ cloud/         # governance cloud — org audit dashboard over signed receipts
│  └─ web/           # landing page → vigilis.dev
└─ tests/            # generated specs land here

開発

pnpm install
cp .env.example .env    # add ANTHROPIC_API_KEY
pnpm build && pnpm test

付属のデモアプリでループ全体を実行する方法については、docs/DEMO.md をご覧ください。

ロードマップ

• ✅ 生成・トリアージ・修復（Playwright、Cypress、Selenium に対応し、すべて実動検証済み）
• ✅ GitHub Actions QA ゲート・署名付きプロベナンス証明・MCP サーバー
• ✅ 拒否アクション（Slack + Linear）・governance-cloud 監査ダッシュボード
• ✅ シークレット不要の証明：attest-run + verify — あらゆるテスト実行の証明に対応、キー不要
• 🚧 作成（意図 → テスト計画）・エージェント証明の対象範囲拡大

クレジット

プロベナンス証明は、独立した証明のプリミティブである Treeship によって実現され、ガバナンス対象のメモリーには ZMem が使われています。どちらも Zerker Labs が開発しています。Vigilis を支える信頼のプリミティブを提供してくれた Zerker Labs のチームに感謝します。

ライセンス

MIT © Piyush Pathak