memory-quality-auditor について
memory-quality-auditorは、エージェントの短期・中期・長期メモリーを対象に、検索品質を監査するスキルです。指標をベースラインと比較し、検証可能な改善タスクにまとめます。
主な機能
- 01検索のずれと古いメモリーの割合を確認
- 02証拠注入のカバレッジを測定
- 03引用の利用状況と根拠性を確認
- 04ベースラインおよび閾値と指標を比較
- 05テスト条件と指標目標付きの修正項目を作成
活用シーン
- 01各メモリー層の検索品質の定期確認
- 02古いメモリーや昇格時の問題の発見
- 03修正後の検索結果の検証
- 04注入されたメモリーの引用根拠の確認
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ oimiragieo/ agent-studio --skill memory-quality-auditorインストール後、Claude Code で/memory-quality-auditorを入力して読み込まれたか確認します。
同梱ファイル
SKILL.md と一緒にインストールされる参考資料やスクリプト。
commands/memory-quality-auditor.mdhooks/post-execute.cjspre-execute.cjsreferences/research-requirements.mdrules/memory-quality-auditor.mdschemas/input.schema.jsonoutput.schema.jsonscripts/main.cjstemplates/implementation-template.md詳細
メモリ品質監査
メモリシステムを統合された検索レイヤー(STM/MTM/LTM ファイル+インデックス+スポーンの引用結果)として監査します。
対象範囲
- 検索のドリフトを示すシグナル
- 古いメモリの割合
- エビデンス注入のカバレッジ
- 引用の使用状況/根拠の継続性
ワークフロー
- メモリの成果物と最新の評価レポートを読みます。
- 品質指標としきい値の状態を算出します。
- TDD チェック付きの修正バックログを作成します。
- 監査結果をメモリに記録し、必要に応じて進化に関する推奨事項を提示します。
絶対遵守事項
- 必ず監査前に指標のベースラインスナップショットを取得してください。ドリフトは以前の測定値との比較があって初めて意味を持ちます。ベースラインなしで監査すると、絶対値は得られても、リグレッションを特定できません。
- 決して影響を受けた検索クエリを再実行せずにメモリに関する指摘をクローズしないでください。検証せずにクローズすると、誤った改善指標が生まれ、劣化が続いていても見過ごされます。
- 監査の実行ごとに、必ず引用根拠のチェックを含めてください。引用のないメモリ注入はエージェントのスポーンにおけるハルシネーションの主な原因です。このチェックを省略すると、最もリスクの高い障害モードを検出できません。
- 決してSTM 層だけを監査しないでください。劣化はMTM/LTMへの昇格時の破損に起因することがよくあります。完全な監査サイクルでは、3つの層すべてをサンプリングする必要があります。
- 失敗するテストの条件と期待する指標のしきい値を含む、TDD 対応の修正項目を必ず作成してください。「メモリ品質が低い」のような曖昧な指摘は、どのエージェントも対応できません。
反パターン
| 反パターン | 失敗する理由 | 正しいアプローチ |
|---|---|---|
| ベースラインなしで監査する | リグレッションと定常状態を区別できず、すべての指摘が曖昧になります | セッション開始時に現在の指標をスナップショットとして保存し、前回の実行との差分を算出します |
| 再確認せずに指摘をクローズする | 誤検知による解決を招き、緑の指標の裏で劣化がひそかに続きます | 修正後に対象の検索クエリを再実行し、指標が緑であることを確認してからクローズします |
| 引用根拠の確認を省略する | 引用の失敗はエージェントのハルシネーションの主な原因です。この確認を省くと、最も重大度の高い欠陥クラスを見落とします | すべての監査レポートに citation_coverage と grounded_ratio の指標を含めます |
| スポーンごとにフルモード監査を行う | フル監査は高コストです。無条件に実行すると費用が増え、ワークフローが遅くなります | 定常的なチェックには --mode summary を使用し、--mode full は予定された監査またはトリガーされた監査に限定します |
| STM だけを監査する | STM のみのスキャンでは MTM/LTM の破損を検出できず、古いLTMエントリが以降のセッションを汚染します | STM(現在のセッション)、MTM(直近10セッション)、LTM(永続的な要約)の3つすべてをサンプリングします |
メモリプロトコル(必須)
開始前:
.claude/context/memory/learnings.md を読みます。
完了後:
- 新しいパターン →
.claude/context/memory/learnings.md - 問題の発見 →
.claude/context/memory/issues.md - 決定事項 →
.claude/context/memory/decisions.md
中断を想定してください。メモリに記録されていないことは、起きていないのと同じです。
コメント
Markdown 対応