ai-engineering-toolkit

⚠️ AUTHORIZED USE ONLY このスキルは、教育目的または許可を得たセキュリティ評価のみを対象としています。 このツールを使用する前に、システム所有者から明示的な書面による許可を得る必要があります。 このツールの不正使用は違法であり、固く禁じられています。

必須の確認ゲート 対象を調査、悪用、変更、永続化、データ抽出する、または認証情報へのアクセスを試みるコマンドを実行する前に、次の手順を行ってください。

1. 正確な対象の URL、IP アドレス、アカウント、またはリソースをユーザーに明示してもらいます。
2. 書面による許可と許可された範囲を確認するよう、ユーザーに依頼します。
3. 正確なコマンドを提示し、想定される影響を説明します。
4. 現在の会話内で明示的な確認が得られるまで待ちます。

その確認がない場合は、読み取り専用にとどめ、防御的なガイダンスのみを提供してください。サンドボックス、使い捨て VM、または管理されたラボを優先してください。

AI エンジニアリングツールキット

概要

AI コーディングアシスタントを、AI エンジニアリングのシニアパートナーへと変える、構造化された6つの専門家レベルのワークフローをまとめたものです。各スキルには、再現可能な手法が組み込まれています。単に「AI に助けを求める」のではなく、定量的なスコアリング、チェックリスト、意思決定ツリーを備えた段階的な意思決定フレームワークです。

場当たり的な AI 支援との主な違いは、評価者、モデル、コンテキストによってスコアや定性的な出力が異なる可能性がある点です。比較を行う前に、評価基準を調整し、バージョンを記録してください。スコアリングシステムはチームのベースラインとして使用でき、CI/CD パイプラインに組み込むこともできます。

このスキルを使用する場面

• 本番環境へのデプロイ前に、LLM システムプロンプトを評価または最適化するとき
• RAG パイプラインを設計し、定型コードだけでなく、構造化されたアーキテクチャ上の判断が必要なとき
• コンテキストウィンドウのゾーン間でトークン予算の配分を計画するとき
• AI エージェントのリリース前セキュリティ監査を実施するとき
• LLM アプリケーションの評価フレームワークを構築するとき
• コードを書く前にプロダクト戦略を検討するとき

提供状況と範囲

この AAS ツリーに含まれるのは、この概要のみです。名前が示されている6つのワークフローパッケージ、65件のテストケース、CI テンプレートは含まれていません。実際に提供された評価基準、ケース、ハーネス、実行記録がない限り、65件のテストを実行した、または評価スコアを算出したと主張しないでください。上流のコレクションは、別途レビューする任意のソースです。インストールしても、本番システムの妥当性が確認されるわけではありません。

仕組み

スキル1：プロンプト評価ツール

定義された評価ツールが、明瞭さ、具体性、完全性、簡潔さ、構成、根拠、安全性、堅牢性の8つの観点から、プロンプトを1〜10の尺度でスコアリングし、重み付け集計によって0〜100のスコアを算出します。最も弱い3つの観点を特定し、対象を絞った書き換えを生成して再評価します。単一プロンプト、A/B 比較、バッチ評価の各モードに対応しています。

スキル2：コンテキスト予算プランナー

5つのコンテキストゾーン（システム、Few-shot、ユーザー入力、検索、出力）におけるトークンの分布を分析し、最適化された配分計画を作成します。各ゾーンの圧縮戦略を選択する意思決定ツリーも含まれています。よくある問題は、出力ゾーンが6%未満に圧縮されてしまうことです。このスキルは、切り捨てが起きる前にその問題を検出します。

スキル3：RAG パイプラインアーキテクト

ドキュメント形式 → 解析戦略 → チャンク分割方式（固定／セマンティック／再帰） → 埋め込みモデルの選定 → 検索方式（ベクトル／キーワード／ハイブリッド） → 評価指標（忠実性、関連性、コンテキスト精度）という、完全なアーキテクチャの意思決定ツリーに沿って進めます。Naive RAG、Advanced RAG、Modular RAG のパターンを扱います。

スキル 4：エージェント安全性ガード

5 つの攻撃カテゴリ（直接的なプロンプトインジェクション、RAG ドキュメントを介した間接的なプロンプトインジェクション、情報抽出（システムプロンプト／API キーの漏えい）、ツールの悪用（SQL インジェクション、パストラバーサル、コマンドインジェクション）、目標の乗っ取り）にわたる 65 項目のレッドチーム監査を実行します。AI は評価用の敵対的なテストプロンプトを作成し、各テストフェーズの前にユーザーに確認を求め、合否を判定して修正案を提示します。すべてのテストは評価コンテキスト内で完結し、外部システムとはやり取りしません。サンドボックス環境（Docker/VM）で監査を実行することを推奨します。

スキル 5：評価ハーネスビルダー

LLM アプリケーション向けの評価指標システムを設計します。バイアス軽減策（位置バイアス、冗長性バイアス、自己強化バイアス）を備えた LLM-as-Judge スコアリングフレームワークが含まれます。CI/CD ですぐに利用できる評価パイプラインのテンプレートを出力します。

スキル 6：プロダクトセンスコーチ

5 段階のガイド付き会話フレームワークです。動機を掘り下げる → 市場機会を評価する → 進むべき道を見つける → シナリオを設計する → 競合を分析する、の順に進みます。コードを書く前に「これを作るべきか？」を検討するのに役立ちます。

例

例 1：プロンプトの評価

質問：「このシステムプロンプトを評価してください」

You are a customer support agent. Help users with their questions. Be nice and helpful.

説明用の応答形式であり、実測による評価ではありません。総合スコアは 28/100 です。最も弱い評価項目は、安全性（1/10、インジェクション対策なし）、具体性（2/10、出力形式の指定なし）、構成（2/10、セクションなし）です。仮の書き換えでは、適用範囲の境界、応答形式、エスカレーションルール、安全ガードレールを追加し、82/100 のスコアになります。

例 2：セキュリティ監査

質問：「カスタマーサポートエージェントのセキュリティ監査を実行してください」

レポート形式の例にすぎません：65 件のテストを実行。重大な失敗が 3 件見つかりました。Base64 でエンコードされた指示によるバイパス、ツール呼び出しを介したパストラバーサル、ロールプレイを介したシステムプロンプトの抽出です。それぞれに修正案が提示されます。

ベストプラクティス

• ✅ 本番環境へのデプロイ前に prompt-evaluator を実行し、チームの基準値（例：≥70/100）を設定する
• ✅ 切り詰めの問題が発生してからではなく、開発の早い段階で context-budget-planner を使用する
• ✅ agent-safety-guard をインシデント発生後ではなく、リリース前のゲートとして実行する
• ✅ スキルを順番に組み合わせる：RAG の設計 → コンテキストの最適化 → プロンプトの仕上げ → セキュリティ監査 → 評価の設定
• ❌ 単一の評価項目のスコアだけに頼らず、全体のプロファイルを確認する
• ❌ 「社内ツールにすぎない」という理由でセキュリティ監査を省略しない

セキュリティと安全性に関する注意事項

• この概要は助言を目的としています。外部ハーネスを実行すると、ファイルの読み書き、プロンプトの送信、または費用が発生する場合があります。これらの操作には、実際の適用範囲と権限が必要です。
• agent-safety-guard スキルは評価目的のみで敵対的なテストプロンプトを作成します。これらは評価コンテキスト内で完結し、外部システムとはやり取りしません。
• agent-safety-guard は攻撃的スキルに分類されます：許可されたセキュリティテスト用の攻撃ペイロード（プロンプトインジェクション、SQL インジェクション、コマンドインジェクション）を生成します。このスキルでは、各テストフェーズの実行前にユーザーの明示的な確認が必要です。可能な場合はサンドボックス環境で実行してください。
• 武器化されたペイロードは含まれていません。すべての敵対的なプロンプトは教育目的のものです。

インストール

# Via skill install command (Claude Code / WorkBuddy / Cursor)
/skill install -g viliawang-pm/ai-engineering-toolkit

# Manual
git clone https://github.com/viliawang-pm/ai-engineering-toolkit.git
# Review a fixed upstream revision/license and install selected files only into the authorized workspace, preserving existing files.

リポジトリ: github.com/viliawang-pm/ai-engineering-toolkit ライセンス: MIT

制限事項

• タスクが上記の説明にある適用範囲と明確に一致する場合にのみ、このスキルを使用してください。
• 出力を、環境固有の検証、テスト、または専門家によるレビューの代替として扱わないでください。
• 必要な入力、権限、安全上の境界、または成功基準が不足している場合は、作業を中断して確認してください。