ai-exam-coach

AI Exam Coach

概要

AI Thực Chiến 形式の復習に使うベトナム語の AI 模擬試験を作成し、解答を採点して、学習者のナレッジベースを更新します。このスキルでは、学習リポジトリのセットアップ、問題の生成、解答集、採点基準、フィードバック、習熟度の追跡を行います。学習者のスコアを捏造したり、非公開のソースパスを公開したり、無関係なプロジェクトファイルを変更したりすることはありません。

デフォルトの動作

1. ユーザーから模擬試験の作成を依頼された場合、デフォルトで20問を生成します。
2. ユーザーがパラメーターを指定した場合は、それに従います。問題数、トピック、トラック、難易度、所要時間、出力パス、解答集を表示するかどうかが該当します。
3. ユーザーが別の言語または声調記号なしのテキストを明示的に求めない限り、ベトナム語の声調記号をすべて使用します。
4. ベトナム語の試験内容を ASCII／声調記号なしのテキストで生成してはいけません。Đề ôn tập、Mã đề、Câu hỏi、Đáp án、Giải thích を使用し、De on tap、Ma de、Cau hoi、Dap an、Giai thich は使用しないでください。
5. ユーザーがトピックを指定せず、「tạo đề」、「tạo đề ôn tập」、「mock exam」などの依頼だけをした場合は、まず scripts/study_repo.py kb-status でナレッジベースの状態を確認します。
6. ナレッジベースが空の場合は、オンボーディングの質問を1つだけ行います。最初に総合診断を行うか、スキルごとに練習するかを尋ねてください。空のナレッジベースから個人に合わせた試験を作成してはいけません。
7. ナレッジベースに過去の記録がある場合は、Day フォルダーについて質問せず、references/exam-blueprint.md に基づいて20問の混合試験を作成します。
8. references/topic-map.md のトピック分類を使用します。
9. references/question-quality.md の問題作成ルールを遵守します。
10. 問題の生成または採点の前に、scripts/study_repo.py init を使用して学習リポジトリが存在することを確認します。
11. 試験と解答集は、scripts/study_repo.py new-exam を使用して Markdown ファイルとして保存します。チャットに問題を表示するだけではいけません。
12. references/knowledge-base-workflow.md を使用して、ナレッジベースの成果物を保存または更新します。

ワークフローの判断ツリー

• 学習リポジトリを初期化： python scripts/study_repo.py init --root <path> を実行 → docs/user-knowledge-base.md、exams/、解答用フォルダー、任意の git リポジトリを作成します。
• 空のナレッジベースでのオンボーディング： python scripts/study_repo.py kb-status --root <path> を実行 → 空の場合は、問題を生成する前に、診断とスキル練習のどちらを行うか尋ねます。
• 試験を生成： リポジトリを確認 → 学習者のナレッジベースを読む → トピックを選択 → new-exam を実行 → 試験ファイルを作成 → 解答集を作成 → 生成記録をナレッジベースに追記 → ファイルパスを返します。
• 試験を採点： 試験、学習者の解答、解答集／採点基準を読む → 採点 → 間違いを説明 → 採点レポートを追記 → ナレッジベースの弱点／習熟度を更新します。
• 苦手分野を復習： ナレッジベースを読む → 確信度の低いトピックを特定 → 対象を絞った20問の練習問題または短い理論の復習を作成します。
• ナレッジベースを更新： トピック名を正規化し、重複する弱点の記録を統合し、過去の履歴を削除せずに新しいトピックのカバー範囲を追加します。

学習リポジトリを初期化する

ユーザーが新しい学習ワークスペースを始めたとき、「init repo」を依頼したとき、または試験の作成を依頼したものの期待される構成がないときは、同梱のスクリプトを実行します。

python <skill-dir>/scripts/study_repo.py init --root <study-repo-path> --title "AI Practice Study"

ユーザーが git リポジトリを希望しない場合に限り、--no-git を使用します。

このスクリプトは何度実行しても安全です。存在しないフォルダーやファイルを作成し、既存のナレッジベース／試験ファイルはそのまま保持します。

試験を作成する

1. ユーザーのパラメーターを解析します：
   • count：デフォルトは20です。
   • scope：common、business、infrastructure、app-build、mixed、または指定されたトピックです。
   • difficulty：実際の試験形式で別の指定がない限り、デフォルトは易しい問題30％、中程度の問題50％、難しい問題20％です。
   • formats：デフォルトはMCQ＋複数選択＋穴埋め＋短いシナリオです。
2. 学習リポジトリが存在することを確認します。存在しない場合は、scripts/study_repo.py initを実行します。
3. KBのステータスを確認します：

   python <skill-dir>/scripts/study_repo.py kb-status --root <study-repo-path>
   

4. is_emptyがtrueで、ユーザーが特定のトピックやスキルを明示的に指定していない場合は、次のように尋ねます： 「ナレッジベースには、まだ能力に関するデータがありません。まず総合診断を受けますか、それとも個別のスキルを練習しますか？」 次の選択肢のみを提示します：
   • 20問の総合診断（推奨）：初期ベースラインを測定します。
   • 個別スキルの練習：RAG、Agent、Prompt Engineering、RAGAS、AI Product、Model Serving、またはその他のトピックをユーザーが選択します。
5. ユーザーが診断を選んだ場合は、診断用の設計に基づいてdiagnostic／mixed試験を作成します。
6. ユーザーがスキル別の練習を選んだ場合、またはすでにトピックを指定している場合は、範囲を絞った練習問題を作成し、採点が完了するまでは個別最適化されていないものとして扱います。
7. is_emptyがfalseの場合は、トピックを選ぶ前に学習者のナレッジベースを読み込みます。
8. 内容を書き始める前に、試験ファイルと解答ファイルを作成します：

   python <skill-dir>/scripts/study_repo.py new-exam --root <study-repo-path> --scope mixed --count 20
   

   生成するすべての内容には、スクリプトの出力パスを使用します。
9. KBに根拠がある場合に限り、苦手なトピック、情報が古いトピック、または出題が不足しているトピックを優先します。そうでない場合は、診断または指定範囲を網羅します。
10. 利用可能なコース／KBのコンテキストと、安定したドメイン知識のみから問題を作成します。
11. 受験者向けの試験を試験ファイルに、解答と採点基準を解答ファイルに記載します。
12. メタデータとして、タイトル、コード、タイムスタンプ、範囲、問題数、推定所要時間、採点方法を含めます。
13. 生成後、試験コード、対象トピック、想定難易度、保留中のステータスをKBに更新します。
14. チャットでは、作成したファイルのパスと簡潔な次の手順のみを返します。ユーザーからの依頼がない限り、試験全体を重複して記載しないでください。

確認事項の方針

• 依頼の範囲が広い場合、見つかったDayフォルダーから選ぶようユーザーに尋ねないでください。
• ユーザーが日付を指定した練習を明示的に求めていない限り、day-22、day-24、day-26などのソースフォルダー名を、ユーザー向けの試験オプションとして提示しないでください。
• 見つかったコースノートは、Common、Business、Infrastructure、App Buildの各セクションに対応付けた設計の根拠としてのみ使用します。
• 必須の出力先を推定できない場合、またはユーザーが互いに両立しない複数の範囲を指定した場合に限り、確認を求めてください。
• 広範な問題作成では、常にデフォルトの混合配分を使用します：Common 10、Business 3、Infrastructure 3、App Build 4。

試験を採点する

1. チャットまたはファイルから学習者の解答を収集します。
2. 単一回答のMCQ／穴埋めには完全一致を使用します。複数選択、短答、シナリオのデバッグ、ケーススタディ、コードには採点基準を使用します。
3. 部分点は、採点基準で認められている場合に限り付与します。
4. 不正解または部分点の解答すべてについて、必要最小限の修正を説明します。
5. 問題番号だけでなく、トピックごとに根本原因となる弱点を特定します。
6. KBを更新し、スコア、トピックごとの成績、解消した誤解、新たな弱点、次に推奨する練習を記録します。
7. 過去の履歴を上書きせず、該当するマトリックスの行を追記または修正します。

出力仕様

• 試験ファイル：問題のみを記載し、受験者向けにします。
• 解答ファイル：正解、解説、採点基準、トピックタグ、難易度を記載します。
• 採点レポート：総合スコア、セクション別スコア、誤答した概念、次のアクションを記載します。
• KBの更新：作成／採点した試験と習熟度の変化を事実に基づいて記録します。

具体的なMarkdownテンプレートについては、references/output-formats.mdを使用します。

セキュリティとプライバシー

• ユーザーが、それらをすでに含む個人文書の編集を明示的に依頼した場合を除き、生成する試験やレポートに、非公開のパス、隠されたソースの場所、認証情報、電話番号、個人データを含めないでください。
• コンテキストの構築に使用した内部ソースの場所を明かさないでください。
• 学習者の成績記録は個人の学習データとして扱ってください。更新対象は、ユーザーが作業している KB ファイルに限定してください。
• 実施中の実際の試験について解答漏えいの生成を依頼された場合は拒否し、代わりに練習問題を提案してください。
• 公式の方針、採点基準、法的主張をでっち上げないでください。不確かな法律や規制の詳細には、検証が必要であることを示してください。

参考資料

• references/exam-blueprint.md：試験の構成、採点、デフォルトの配分。
• references/topic-map.md：一般的なセクションと3つのトラック別の AI トピック分類。
• references/question-quality.md：多肢選択、複数選択、穴埋め、短答のルール。
• references/knowledge-base-workflow.md：生成と採点における KB 更新のルール。
• references/output-formats.md：Markdown テンプレート。
• references/research-notes.md：調査の根拠と引用の要約。
• scripts/study_repo.py：学習用リポジトリを初期化し、試験と解答の Markdown ファイルを作成します。