failure-taxonomy

失敗分類

AI の失敗はすべて同じではありません。幻覚は拒否とは異なり、トーンの不一致とも異なります。失敗分類では失敗の種類を分類し、チームが体系的に追跡、優先順位付け、対処できるようにします。

失敗カテゴリ

コンテンツの失敗：

• 幻覚：AI が誤った情報を事実として提示します
• 不正確さ：AI が詳細（日時、数値、名前など）を誤ります
• 不完全さ：AI が重要な情報を見落とします
• 関連性の欠如：AI の回答がユーザーの実際の質問に答えていません
• 矛盾：AI が回答内または回答間で矛盾します 振る舞いの失敗：
• 不適切な拒否：AI が妥当なリクエストを拒否します
• 拒否の欠如：AI が拒否すべきリクエストに応じます
• トーンの不一致：AI のトーンが状況に合っていません
• ペルソナの逸脱：AI が定義されたペルソナから外れます
• 過剰な生成：AI が必要以上に多くの内容を生成します 技術的な失敗：
• 遅延：応答に時間がかかりすぎます
• 途中切れ：応答が途中で切れています
• 形式エラー：出力の形式または構造が正しくありません
• ツールの失敗：AI がツールを使用しようとして失敗します
• コンテキストの喪失：AI が会話履歴を追えなくなります 安全性の失敗：
• 有害なコンテンツ：AI が害を引き起こす可能性のあるコンテンツを生成します
• プライバシー侵害：AI が機密情報を明らかにします
• バイアスの表出：AI の出力に、特定のグループに対するバイアスが表れます
• 操作：AI の出力が、欺瞞や操作に利用される可能性があります

深刻度レベル

• 重大：危害を引き起こす、または重大な信頼の侵害につながります。直ちに修正する必要があります。
• 高：ユーザー体験やタスクの達成度を大きく損ないます。数日以内に修正します。
• 中：ユーザーが回避策を取れるものの、明らかに品質を損なう問題です。数週間以内に修正します。
• 低：軽微な品質上の問題です。追跡し、ほかの修正とまとめて対応します。

分類の活用

• ログ記録：検出した失敗をすべて種類と深刻度で分類します
• 傾向の追跡：失敗の種類ごとの頻度を経時的に追跡します
• 優先順位付け：深刻度と頻度が最も高い失敗から対処します
• 根本原因分析：失敗を種類ごとにまとめ、体系的な原因を特定します
• 予防：失敗のパターンを活用して、ガードレールの設計やプロンプトの改善に役立てます

設計成果物

• 失敗分類の参照ドキュメント
• 失敗ログのテンプレート
• 深刻度分類の基準
• 失敗傾向のダッシュボード
• 根本原因分析のプロトコル