Agent Failure Archive

エージェント障害アーカイブ

AI エージェントのマルチセッションシステムを本番環境で8か月運用して得られた、186件の事後分析です。 x402で従量課金できます。登録、API キー、サブスクリプションは不要です。

ライブ版：https://desktop-ai2ata5-1.tailfeb765.ts.net 今すぐ無料でお試しください：/sample

公開リポジトリにあるのは、うまく動いたコードです。こちらはそのもう半分です。配線は正しく見え、レビューを通り、何週間も動いていたのに、最初からずっと機能していなかった事例です。

---

このアーカイブを作った理由

エージェントシステムにおける高くつく障害は、目立つものではありません。クラッシュは1時間で修正できます。 厄介なのは気づかれない障害です。誰も受け取らないシグナルに接続された修復ルーチン、セッションの期限が切れた後に終了コード0で終了する監視プロセス、システムが正常でも故障していても同じ出力を返す検出器などです。

こうした障害が記録に残ることはほとんどありません。記録するには、被害に遭うほど長くシステムを動かし、記録を残しておく必要があるからです。このアーカイブは、その記録です。

実際の事例（ケース adr-136）：

ブロードキャスト呼び出しが内部エラーで失敗しました。呼び出し元にはエラーが見えました。しかし、受信側の5つのセッションが確認していたのは確認応答だけだったため、何も気づかず、永久に再試行し続けました。 7つのセッションがハートビートを書き込む一方で再試行が殺到し、データベースはロック競合で機能停止しました。

根本原因：失敗は送信側には見え、受信側には見えませんでした。問題はブロードキャストのバグそのものではなく、エラーの見え方が非対称だったことです。

186件のうち、174件には測定された証拠（時間、件数、割合）があり、155件は症状だけでなく根本原因を特定しています。

---

測定に関する事例

8か月間、このシステムは1つの問いに取り組みました。ある人の言葉遣いが一般的な言葉遣いからどの程度離れているかを、その人をスコアに置き換えることなく測定できるでしょうか。

ほとんど失敗しました。そして、その失敗は目標そのものよりも興味深いものでした。186件のうち107件は測定上の失敗です。シグナルが存在していてもいなくても同じ出力を返す検出器、同じパラメーターが実際には別々の2つの処置だった用量反応の実験群、実行されなかった陽性対照、申告されたファイル数より2.3倍も小さかったコーパス、自らを測定し、その測定値を調査結果として報告し続けた計測器などです。

これらは /research の背景となった事例です。文体、性格、著者の特定、プロファイルとの適合性など、人を測定すると主張するものを構築しているなら、その主張が破綻したことに気づく前にどのように破綻するのかを示す事例集です。

エンドポイント

ルート	価格	提供内容
GET /	無料	サービスのメタデータ
GET /sample	無料	支払い不要の完全な事例2件
GET /contents	無料	すべての事例タイトルと、示されている落とし穴のタグ。?theme= で絞り込めます
GET /audit?claim=<conclusion>&evidence=<what you measured>	$0.02	自分の主張に適用される、思い込みを防ぐための9つのチェック
GET /search?q=<symptom>	$0.01	症状、根本原因、修正、予防策、証拠を含む事例3件
GET /brief?action=<what you are about to do>	$0.05	5件の事例に基づく、事前リスク概要とチェックリスト
GET /research?q=<topic>	$0.25	上記の測定失敗107件
GET /archive	$1.00	すべての事例を1回のレスポンスで、1回の支払いで入手できます

支払い：Base 上の USDC（eip155:8453）で、キー不要のファシリテーターを通じて決済されます。x402 クライアントならどれでも利用でき、ブラウザーでは生の JSON の代わりにウォレット接続のペイウォールが表示されます。

# free, no wallet needed
curl https://desktop-ai2ata5-1.tailfeb765.ts.net/sample

# paid, via any x402-capable client
curl https://desktop-ai2ata5-1.tailfeb765.ts.net/search?q=silent+failure+cron

「判明した」と書く前に使うのが /audit です。結論と、実際に測定した内容を渡すと、その主張が該当するチェックを返します。陽性対照のないヌル結果、同じパラメーターを設定しただけで同じ処置をしていない処置群、同じ単位を繰り返し数えている分母、何もしていないのに終了コード0で終わったプロセス、状態であるかのように読み取られたキャッシュ済みビュー。9つのチェックはいずれも、実際にここで起きた失敗で、当時測定された数値も含まれています。

判定は決定論的です。モデルは参照されないため、同じ入力には常に同じ監査結果が返り、ミリ秒単位で応答し、誤りがあればその理由を正確に確認できます。問題が見つからなくても、主張が正しい証明にはなりません。これは、既知の9つの思い込みの原因を検討したという意味です。

整った主張ではなく、段落を貼り付けてください。 /precheck と /audit はどちらも、claim= の代わりに text= を受け付けます。調査結果の文章を渡すと、何かを主張している文を抽出し、それぞれを個別にチェックします。

curl -sG https://desktop-ai2ata5-1.tailfeb765.ts.net/precheck \
  --data-urlencode "text=We ran the new ranker on 40 sampled queries and found no significant
difference. The watcher is healthy: it exits 0 every run. Our corpus contains 4279 documents,
2x the previous release."

3つの主張が返され、それぞれ異なる理由で保留になります。ヌル結果には陽性対照がなく、正常なウォッチャーは何もしていなくても同じように見え、コーパスの件数は再ダンプされたスナップショットを数えている可能性があります。文の選択も決定論的で、モデルではなく同じチェック表に基づいているため、主張を含まない文章には、結果をでっち上げるのではなく空の結果が返されます。

不可逆な操作を実行する前に使うのが /brief です。操作の内容を平易な言葉で説明すると、その種の操作が実際にどのような問題を引き起こしたかと、各事例から得られた予防策が返されます。

/contents は事例の一覧です。サンプル事例2件だけでは、コーパス全体に1ドルの価値があるかどうかは判断できません。そこで、すべての186件のタイトルと、それぞれが示す9つの落とし穴のタグだけを返します。今日時点の内訳は、キャッシュ済みビューを状態として読み取る事例が108件、同じ単位を二重に数える分母が関わる事例が83件、呼び出し元なしで構築されたものが関わる事例が71件、何もしていないのに終了コード0で終わったプロセスが関わる事例が36件です。タイトルのみで、本文はなく、支払いも不要です。

/archive があるのは、コーパスは分割するより全体で価値が高いからです。1回の支払いで取引が完了し、その後にキャンセルすることはできません。

---

MCP サーバーとして使う

mcp_server.py は、アーカイブ全体を Claude Desktop、Cursor、または MCP 対応エージェント向けのツールとして公開します。無料のツールにはウォレットも設定も必要ありません。

pip install "mcp[cli]" requests            # free tools only
pip install "x402[mcp]" eth-account        # add this for the paid tools

{
  "mcpServers": {
    "agent-failure-archive": {
      "command": "python3",
      "args": ["/absolute/path/to/mcp_server.py"],
      "env": { "X402_PRIVATE_KEY": "0x..." }
    }
  }
}

ツール	ウォレットが必要	機能
precheck	いいえ	9つのチェック項目のうち、どれに結論が抵触するか
sample	いいえ	完全な事後分析を2件
service_info	いいえ	内容と価格
audit	はい	完全な監査、$0.02
search	はい	一致するインシデントを3件、$0.01
brief	はい	飛行前のリスク概要、$0.05
research	はい	107件の計測失敗、$0.25
archive	はい	すべて、$1.00

X402_PRIVATE_KEY はあなたのウォレットです。キーはお使いのマシン内に保持され、支払い承認への署名にローカルで使用されます。どこにも送信されず、このサーバーがログに記録することもありません。無料のツールだけを使う場合は、env ブロック全体を削除してください。

キーがない場合、有料ツールは何も通知せず失敗することはありません。理由、支払いチャレンジ、無料の代替手段への案内を返します。

mcp 2.1.0 および 1.x の FastMCP レイアウトでテスト済みです。ツールが8つ表示され、ウォレットなしで precheck が応答し、audit は理由を明示して機能を制限した状態で応答しました。

---

含まれていないもの

• 個人データはありません。人物、業務上の関係、金額に言及するソース文書は、一行ずつ伏せ字にするのではなく、文書全体を除外しています。
• オペレーターの発言はありません。コーパスには各インシデントの構造だけを残し、発言の内容は含めません。
• ウォレットアドレス、自宅のパス、IP アドレス、メールアドレス、API キー、セッション識別子は、文書が採用対象として検討される前にマスキングされます。

フィルターは、すべてのビルドで意図的に埋め込んだ検査用文字列を使ってテストされます。検出器が捕捉できなければ、ビルドは中止されます。現在の状態：186件中リーク0件、陽性対照は合格。

---

市場についての計測結果

これを1ドル分売ろうとする過程で、x402 の発見方法と収益が実際にどう機能するかを計測したところ、広く信じられているいくつかの前提が誤りだと分かりました。認証なしで行える呼び出しを正確に記載しているので、鵜呑みにせず確認できます：MARKET.md。

要約：最頻価格は0.1セントから3セントですが、1回の呼び出しにつき0.85ドル、月に125,000回を売り上げる事業者も存在します。上位10社の購入者のうち8社は、まったく同じ1社の事業者に支払っており、見出しにある取引量はマーケットプレイスではなく垂直統合によるものです。誰もがサービス発見に使えると思っているディレクトリのチャットは、5月以降使われていません。また、ファシリテーターのディレクトリに登録するために必要なのは、販売の成立ではなく、観測された支払い試行が1回です。

---

正直な制約

• これはある1人のオペレーターのシステムです。先行事例であり、保証ではありません。また、エージェントシステム全般の統計的サンプルでもありません。
• 対象範囲は、そのシステムが頻繁に扱う分野に偏っています。複数セッションの調整、フックと cron の接続、検索パイプライン、プロセス間メッセージング、定期修復、および上記の計測作業です。
• 後になって修正が誤りだと判明した失敗を記録している項目もあります。修正内容のほうがより有用なことが多いため、訂正とともに残しています。
• ここに掲載したものは、まだ何も売れていません。 執筆時点で、受取アドレスが受け取った金額は正確に $0.00 です。この金額はサーバーログではなくオンチェーンで確認しており、変わった時点でこの記述を更新します。

---

自分で実行する

pip install -r requirements.txt
X402_PAY_TO=0xYourAddress uvicorn server:app --port 8402

X402_PAY_TO が設定されていない場合、有料ルートは何も通知せず失敗するのではなく、本文に理由を記載して 503 を返します。この動作は偶然ではありません。このサービス自身のコードに adr-546 を適用したものです。