hermes-dojo

概要

Hermes Dojo は、エージェントのトレーニングジムです。過去のセッションを読み込み、エージェントが苦手としている部分を見つけ、その弱点を解消するスキルを作成または改善し、時間の経過に伴う改善を追跡します。

基本のサイクル：測定 → 弱点の特定 → 修正 → 進化 → 検証 → 報告

コマンド

• /dojo または /dojo analyze — 最近のセッションを分析して、失敗パターンを特定します
• /dojo improve — 主な弱点を修正します（スキルのパッチ適用と自己進化の実行）
• /dojo report — 現在のパフォーマンス指標と改善履歴を表示します
• /dojo history — 時間の経過に伴う学習曲線を表示します
• /dojo auto — 夜間の cron を設定します。午前 6 時に分析、改善、報告を実行します
• /dojo status — エージェントの状態を簡潔にまとめて表示します

ワークフロー

ステップ 1：分析

python3 ~/.hermes/skills/hermes-dojo/scripts/monitor.py を実行して、最近のセッションをスキャンします。

~/.hermes/state.db を読み込み、次の情報を含む JSON レポートを生成します。

• ツールごとの成功率／失敗率
• エラーパターン（ツールとエラーの種類ごとにグループ化）
• ユーザーによる訂正の兆候（「no,」「wrong」「I meant」「not what I」を含むメッセージ）
• スキルの不足の検出（スキルがない状態で繰り返される手動タスク）
• セッション単位の指標（セッションごとのツール呼び出し数、再試行のパターン）

結果をわかりやすいダッシュボードとして提示します。

=== Hermes Dojo Analysis ===
Sessions analyzed: 23 (last 7 days)
Total tool calls: 156
Overall success rate: 78%

Top Weaknesses:
1. terminal_run: 73% success (12 failures) — common error: "command not found"
2. web_extract: 81% success (4 failures) — common error: "timeout"
3. No skill for: CSV parsing (requested 4 times)

User Corrections Detected: 7
- 3x wrong file path
- 2x wrong command syntax
- 2x misunderstood request

ステップ 2：改善

特定した弱点ごとに、修正方法を判断します。

A）既存のスキルが失敗する → パッチを適用します：

1. 現在のスキルの SKILL.md を読みます
2. ステップ 1 の失敗パターンを分析します
3. skill_manage で action "patch" を指定し、エラー処理、よりよい手順、またはエッジケースへの対応を追加します
4. 変更を記録します

B）繰り返し発生するニーズに対応するスキルがない → 作成します：

1. この機能が必要だったセッションのパターンを分析します
2. skill_manage で action "create" を指定し、新しいスキルを作成します
3. 過去のセッションでうまくいった方法に基づき、具体的な手順を含めます
4. 作成を記録します

C）スキルはあるが、さらに改善が必要 → 自己進化を実行します：

1. 次を実行します：cd ~/.hermes/hermes-agent-self-evolution && .venv/bin/python3 -m evolution.skills.evolve_skill --skill <name> --hermes-repo ~/.hermes --iterations 5 --eval-source synthetic
2. これにより、GEPA を使って実行トレースを分析し、的を絞った改善案を提案します
3. 進化の出力を確認し、スコアが向上していれば採用します
4. 変更前後のスコアを記録します

ステップ 3：検証

改善後に、次の手順を実行します。

1. monitor.py を再実行して、新しい指標を計算します
2. 改善前後の成功率を比較します
3. 改善率が 5% 未満の場合は、手動レビューが必要としてフラグを立てます
4. 結果を指標の履歴に保存します

ステップ 4：報告

python3 ~/.hermes/skills/hermes-dojo/scripts/reporter.py を実行して、レポートを生成します。

Telegram での配信形式：

🥋 Hermes Dojo — Overnight Report

📊 Analyzed: 23 sessions, 156 tool calls
📈 Overall: 78% → 85% (+7%)

✅ Improved:
  • terminal_run: 73% → 96% (added PATH check)
  • web_extract: 81% → 95% (added retry + timeout)

🆕 New skill created:
  • csv-handler: for CSV parsing you keep asking about

⚠️ Still working on:
  • File path resolution (need more examples)

📉 Learning curve: 71% → 78% → 85% (3 days)

ステップ 5：追跡

python3 ~/.hermes/skills/hermes-dojo/scripts/tracker.py save を実行して、指標を保存します。 python3 ~/.hermes/skills/hermes-dojo/scripts/tracker.py history を実行して、学習曲線を表示します。

夜間の cron の設定

ユーザーが /dojo auto と入力した場合：

毎日午前 6 時に実行する cron ジョブを設定します。 「/dojo analyze を実行し、次に上位 3 つの弱点について /dojo improve を実行してから、自分のホームチャンネルにレポートを送信します。」

これにより、ユーザーが眠っている間もエージェントが実際に改善を続けます。

重要な注意事項

• バンドルされたスキル（hermes-agent/skills/ 内）は変更しないでください。~/.hermes/skills/ 内のユーザースキルのみを変更してください
• 自己進化には、~/.hermes/hermes-agent-self-evolution がクローンされている必要があります
• 指標は ~/.hermes/skills/hermes-dojo/data/metrics.json に保存されます
• 各分析の実行にはタイムスタンプが付与されるため、数日から数週間にわたる改善を追跡できます