ai-feedback-collector

AI フィードバック収集ツール

このスキルを使うと、AI ツールの使用に関する自由形式のフィードバックを、構造化された客観的な課題報告に変換できます。

目的は収集と正規化であり、トラブルシューティングではありません。ユーザーの元の意図を保ち、情報の少ない説明を過剰に解釈せず、課題管理ツール、スプレッドシート、チャットスレッド、社内フィードバックシステムに簡単に貼り付けられる形式にします。

ワークフロー

1. ユーザーが AI ツールまたは AI 支援ワークフローに関する問題を報告しているかどうかを特定します。
2. 説明から確認可能な事実を抽出します。ツール、タスク、シナリオ、失敗時の挙動、影響、ビジネス上の背景、利用可能な環境の詳細などです。
3. 問題の可能性が高いカテゴリを分類します。モデルの能力、環境／ツール、ビジネスコンテキストの明確さ、ワークフロー／プロセス、ユーザースキル／トレーニング、データ／権限、安全性／コンプライアンス、または不明です。
4. 事実と推測される可能性を分けます。不確かなフィールドは詳細を作り出さず、unknown とします。
5. 以下のテンプレートに沿って報告を正規化します。
6. 必要に応じて、references/label-taxonomy.md の分類体系を使い、明確なラベルを追加します。
7. 追加の質問は「追加情報の提案」としてのみ含めます。ユーザーが面談形式の聞き取りを明示的に求めていない限り、出力を保留しないでください。

出力テンプレート

## AI Usage Feedback

### Title
<One concise sentence describing the issue.>

### Summary
<Objective summary of what happened, based only on the user's description.>

### Original Description
<Preserve the user's original wording.>

### Scenario
- Tool: `<tool-name-or-unknown>`
- Scenario: `<scenario-label>`
- Task Type: `<task-label>`
- Workflow Stage: `<stage-label-or-unknown>`
- Affected User/Role: `<role-or-unknown>`

### Problem Category
- Primary Category: `<category-label>`
- Secondary Categories: `<category-label-or-none>`
- Classification Confidence: `<high|medium|low|unknown>`
- Evidence: `<short reason based on the user's description>`

### Labels
- `tool:<value>`
- `category:<value>`
- `scenario:<value>`
- `task:<value>`
- `issue:<value>`
- `capability:<value>`
- `severity:<value>`
- `frequency:<value>`

### Impact
<Describe the likely impact on efficiency, quality, trust, cost, or safety. If unclear, say unknown.>

### Possible Causes
<Optional. List only reasonable hypotheses and make uncertainty clear.>

### Improvement Direction
<How this feedback could help improve AI-assisted R&D, such as model behavior, tool integration, environment setup, prompt/workflow design, business requirement capture, or developer enablement.>

### Suggested Additional Information
- <Specific detail that would help triage the issue.>
- <Specific detail that would help reproduce or understand impact.>

### Suggested Routing
<One or more of: product experience, model capability, tool integration, environment setup, business analysis, prompt/workflow design, permissions/data access, documentation/training, safety/compliance, unknown.>

ラベル付けのガイダンス

機械で簡単に処理できる簡潔なラベルを使います。小文字のケバブケース形式を優先してください。

必須のラベルファミリー：

• tool：対象となる AI 製品またはエージェント。
• category：統計分析と改善計画のための、問題の根本的なクラスとして可能性が高いもの。
• scenario：大まかな利用シナリオ。
• task：ユーザーが意図したタスク。
• issue：観察された失敗の種類。
• capability：関係している可能性が高い AI の能力領域。
• severity：推定される影響レベル。
• frequency：発生頻度。

報告に複数の問題の種類が含まれる場合は、複数の issue: ラベルを含めます。フィールドが明記されていない、または安全に推測できない場合は、unknown を使います。

正規のラベル値や重大度のルールが必要な場合は、references/label-taxonomy.md を参照してください。

問題カテゴリのルール

category: は、「この問題が再発しないようにするには、どのような改善が最も効果的か」に答えるために使います。

• category:model-capability：十分なタスクコンテキストと環境があるにもかかわらず、AI がコンテキストを誤解した、推論が不十分だった、幻覚を起こした、計画に失敗した、指示を無視した、ツールを誤って使った、または失敗する戦略を繰り返した場合。
• category:environment-tooling：ローカル環境、依存関係、ビルド／テストの設定、IDE／CLI 連携、ツールの権限、ネットワーク、利用できないコマンド、または不安定なツール実行が原因と思われる場合。
• category:business-context-clarity：ビジネス目標、製品ルール、ドメイン概念、受け入れ条件、エッジケース、または望ましい挙動の説明が、ユーザー、チーム、または AI にとって十分に明確でなかった場合。
• category:workflow-process：レビューゲートの不足、引き継ぎの不明確さ、タスク分解の不十分さ、テスト戦略の欠如、またはロールバック／チェックポイントの習慣がないことなど、AI 支援の R&D ワークフローの構成方法に問題がある場合。
• category:user-skill-training：主な不足が、プロンプト作成、AI の使用習慣、期待値の設定、コンテキストの提供方法、または出力の検証方法にあると思われる場合。
• category:data-permission：AI が必要なファイル、リポジトリ、ドキュメント、ログ、認証情報、非公開データ、またはナレッジソースにアクセスできなかった場合。
• category:safety-compliance：プライバシー、セキュリティ、コンプライアンス、安全でないコード変更、または取り消せない操作が関係する場合。
• category:unknown：責任を持って分類するには説明が不十分な場合。

主なカテゴリは1つを優先します。副次カテゴリは、明らかに関連する場合にのみ追加します。カテゴリの大部分が推測に基づく場合は、確信度を low に設定します。

重大度のルール

• severity:low：軽微な不便で、簡単に回避でき、ビジネスへの影響がほとんどありません。
• severity:medium：効率や品質に明らかな影響がありますが、ユーザーは復旧できます。
• severity:high：タスクを妨げ、大幅なやり直しを発生させる、または複数のユーザーに影響します。
• severity:critical：データ損失、セキュリティ／プライバシー上のリスク、本番環境への影響、コンプライアンス上のリスク、または危険で取り消せない操作を引き起こします。

スタイルのルール

• 中立的かつ簡潔にします。
• ユーザーや AI システムを責めません。
• 根拠が示されていない限り、根本原因を断定しません。
• ユーザーから明示的に求められない限り、元のタスクを解決しません。
• 後から確認できるよう、元の詳細を十分に残します。
• 多くの確認質問をするより、初回で完全なレポートを作成することを優先します。

例

入力：

I was using opencode to modify an API. The model kept editing the wrong files, and after tests failed repeatedly, it did not change its approach.

出力：

## AI Usage Feedback

### Title
opencode repeatedly edited the wrong files during an API change task

### Summary
The user was using opencode to modify an API, but the AI repeatedly edited incorrect files and kept rerunning failing tests without changing its approach.

### Original Description
I was using opencode to modify an API. The model kept editing the wrong files, and after tests failed repeatedly, it did not change its approach.

### Scenario
- Tool: `opencode`
- Scenario: `coding`
- Task Type: `api-change`
- Workflow Stage: `implementation-and-verification`
- Affected User/Role: `developer`

### Problem Category
- Primary Category: `model-capability`
- Secondary Categories: `workflow-process`
- Classification Confidence: `medium`
- Evidence: The description says the AI repeatedly edited the wrong files and did not change strategy after test failures.

### Labels
- `tool:opencode`
- `category:model-capability`
- `scenario:coding`
- `task:api-change`
- `issue:wrong-file-edit`
- `issue:repeated-failure`
- `capability:planning`
- `capability:context-management`
- `severity:medium`
- `frequency:unknown`

### Impact
The issue likely reduced development efficiency and increased manual review, rollback, and debugging effort.

### Possible Causes
The AI may have failed to build an accurate codebase map, preserve task context, or revise its plan after repeated test failures.

### Improvement Direction
Improve the coding agent's repository understanding, failure recovery behavior, and guardrails for changing files only after confirming the relevant code path.

### Suggested Additional Information
- Which files were expected to change and which files were incorrectly modified.
- The failing test command and error output.
- Whether similar behavior has happened in other tasks.

### Suggested Routing
model capability, prompt/workflow design