hone

---

30秒でわかる概要

AI評価ツールが答えるのは、どれもひとつの質問です。モデルの出力は優れていたか？（正確性、ハルシネーション、有害性、レイテンシ、コスト。）

AIを使った成果物を安全に公開できるかどうかを実際に左右する質問に答えるツールはありません。成果物を作った人間は、それを説明できるほど理解しているか？

Honeは、その点を正確に測定するためのオープンなツールキットです。AIを使った成果物を渡すと、Honeは人間にインタビューします——優れたメンターのように、鋭い質問をひとつずついくつか投げかけます。そして、AIと協働する際の3つのDに基づくスコア、AI-Qを返します。判断力（AIが間違っていると見抜けるか？——監査可能な6つの評価項目からなり、スコアの中核となります）、委任力（適切に指示し、タスクを選び、うまく方向づけられたか？）、設計力（仕事の進め方を再設計しているか？——長期的な推移から読み取り、1回のレビューだけで偽りの評価をしません）。

モデル持ち込み方式（任意のLLM）で、Apache-2.0のもとで提供され、コーディングエージェント、CIパイプライン、独自のアプリに数分で組み込めます。手法はオープンな仕様であるAI-Q — オープン標準として公開されているため、どこで計算してもスコアの意味は変わりません。

レビューの体験

You:  Run hone on the pricing analysis we just built.

Sol:  Happy to take a look. This is a strategy memo recommending a Pro-tier
      price increase — real money riding on it, so I'll ask five questions.
      Just between us, and "I don't know" is a perfectly useful answer.

      First: walk me through the recommendation in your own words —
      why $49, and not $39 or $59?

      ...three more, one at a time — including: what did you give the
      AI to work with, and what did you have to correct in its first
      answer? ...

      Last one: before I show you anything — honestly, how confident
      are you in this work, 0 to 100?

You:  85.

Sol:  Here's my read.

      Pro-tier pricing recommendation · AI-Q 58 — Mostly owns it
      (discernment 57 · delegation 60)
      You can explain the mechanism, but you took the churn projection
      on faith — and that's the load-bearing number.

      Work on this first: the 4% churn assumption came straight from the
      AI with no source. If churn runs 8%, the revenue case inverts.

      [ what a rigorous review surfaced vs. what you caught ]
      [ before-you-ship checklist · the toughest objection you'll face ]
      [ worth remembering · 3 short notes on the skills you missed ]

成果物の採点はしません。「AI検出器」でもありません。測るのは、成果物をどれだけ自分のものとして理解しているか——そして、そのギャップを埋めるためのコーチングです。

クイックスタート

コーディングエージェントで（おすすめ）— 作業場所でレビュー

エージェントが成果物——リポジトリ、分析、ドキュメント一式など——を作ったなら、どこかに貼り付ける必要はありません。Honeはエージェント内で動作します。エージェントはすでに成果物を読み込んでいるからです。

Claude Desktop — ワンクリック： 最新リリースからhone.mcpbをダウンロードして開きます（Settings → Extensions）。設定ファイルもターミナルも不要です。

Claude Code — MCP サーバーを追加（プロトコル + 決定論的なスコアリング）：

git clone https://github.com/derekchoyai/hone && cd hone/mcp && npm install && npm run build
claude mcp add hone -- node "$(pwd)/dist/index.js"

または、Claudeスキルを読み込みます——インフラは不要です。あとは、こう伝えるだけです。

「今日一緒に作ったものにHoneを実行して。」

エージェントは、すでに読み込んでいる成果物を参照して、あなたに質問をひとつずつ投げかけ、答えを明かす前にあなたの自信度を記録し、AI-Qを決定論的に計算します。あなたが許可すれば、スコアをローカルファイルに記憶します——成果物は保存しません。そのため、次のレビューでは実際の弱点を掘り下げられます（「検証がこれまで弱い評価項目でした。そこから始めましょう」）。情報があなたのマシンから外部に送信されることはありません。

CIでAI生成コードをゲートする（GitHub Action）

# .github/workflows/judgment.yml
- uses: derekchoyai/hone/integrations/github-action@v0
  with:
    domain: coding
    paths: "src/**/*.ts"
    model: openai            # or anthropic
  env:
    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}

AI生成コードに触れるPRでは、作成者がいくつかの質問に答えると、その成果物にJudgment Scoreが付与されます。設定したしきい値を下回ると、チェックで不足している点が説明されます。integrations/github-actionを参照してください。

独自のアプリに組み込む（TypeScript SDK）

npm install hone-sdk

import { analyzeWork, reviewJudgment, type ModelFn } from "hone-sdk";

// Bring your own model — Hone never sees your API keys.
const model: ModelFn = async ({ system, user }) => callYourLLM(system, user);

// 1. Decompose the work + generate an interview tailored to it.
const { workMap, questions } = await analyzeWork({
  work: aiGeneratedArtifact,
  domain: "coding",
  model,
});

// 2. Collect the human's answers (in YOUR ui), then score.
const result = await reviewJudgment({
  work: aiGeneratedArtifact,
  domain: "coding",
  answers,        // [{ question, answer }]
  model,
});

console.log(result.composite, result.band);       // 72  "Mostly owns it"  ← the AI-Q
console.log(result.discernment, result.delegation); // sub-scores (delegation only when assessed)
console.log(result.gaps, result.verifyBeforeShip);

resultはspec/score.schema.jsonに準拠します。

インストール不要 — プロンプトを手動で実行

プロンプトを、成果物とともに任意のチャットモデルに貼り付けます。スコア付きのレビュー例全体はexamples/を参照してください。

AI-Q — スコア

読み、変更できる評価基準から算出される、透明性の高い0～100のスコアです。感覚に頼ることも、モデルの計算に頼ることもありません。AI-Qは、AIと協働するうえで重要な3つのDを測定します。自身をどれだけ守るかに応じて重み付けされます（Discernment 0.6 · Delegation 0.3 · Design 0.1。実際に評価された項目に応じて再正規化されます）。

D1 · Discernment — AIの出力に対する判断力（中核）

AIが間違っている、手を抜いている、または幻覚を起こしていると見抜けますか？レビュー担当者が目の前の成果物から常に評価できる、監査可能な6つの側面があります。

側面	問い
理解	人間は作業内容とその仕組みを説明できますか？
検証	重要な主張を検証し、何を検証できていないか把握していますか？
前提の認識	成立している必要のある条件（特に、根幹を支える前提）を明らかにできますか？
リスクの認識	具体的で、起こり得る失敗の形を挙げられますか？
確信度の調整	確信度は、実証された理解度に見合っていますか？
説明責任	その判断を自分のものとして引き受け、説明できますか（「AIがやった」ではなく）？

D2 · Delegation — AIへの入力に対する判断力

依頼内容には、タスクに必要な情報が含まれていましたか？そもそも、AIに任せるべきタスクでしたか？最初の出力から最終的な出力に至るまで、適切に方向付けをしましたか？3つの要素――依頼内容の質、タスクの選択、反復の制御――は、インタビューで依頼内容が実際に明らかになった場合に限り評価されます（エビデンスゲート）。証拠がなければ、推測もゼロ評価もせず、未評価として報告します。

D3 · Design — 仕事の進め方に関する判断力

AIを前提に仕事の仕組みを再設計していますか？それとも、たまたま使える場面で利用しているだけですか？単一の成果物では仕事の仕組みを示せないため、**Designは1回のレビューだけでは決して採点されません。**時間をかけて蓄積されたプロフィール（対象領域の幅、委任の傾向、委任を増やしてもDiscernmentが保たれているか）から定性的に読み取ります。数値のDesignスコアには、ユーザーを横断したベースラインが必要であり、ロードマップに掲載されています。

**エージェントによる作業も対象です。**作成したもの自体がシステム――エージェントのループ、自動化、マルチエージェント構成など――である場合、同じ3つのDをそのループに当てはめます。「完了」の確認は実際に機能していますか、それとも単に「完了したように見える」だけですか（Discernment）。一度きりのプロンプトではなくループを選ぶのは適切でしたか？影響範囲は限定されていますか（Delegation）。Honeは、一度きりの回答だけでなく、AIを運用する際の判断力を測定します。spec/aiq.mdを参照してください。

評価帯：80～100 自分のものとして理解 · 55～79 おおむね自分のものとして理解 · 30～54 AI任せ · 0～29 ブラックボックス。

スコアの算出は決定論的です。各サブスコアと総合スコアは、どこでも同じコード（hone-sdk）で計算されるため、CIの72とエージェントの72は同じ意味になります。6つの側面によるレビューでは、AI-QはDiscernmentのサブスコアと等しくなるため、v0.1のJudgment Scoreはすべて、すでに有効なAI-Qです。規範となる完全な定義はspec/aiq.mdにあります。Discernmentの拡張された2つの側面――反論と好奇心――は任意であり、spec/judgment-dimensions.mdで定義されています。

判断力のスコア自体にも、説明可能性が必要です。各側面は、公開されている1～5の評価基準に照らして個別に採点されます（全体的な印象で判断するのではありません）。LLMによる評価で起こりやすい自己選好バイアスや流暢さバイアスを明示的に抑制し、実装では精密さを装った整数ではなく、評価帯を先に提示します。重要度の高いレビュー向けには、アンサンブル方式も選択できます。ルールの全容はspec/aiq.md → 採点の厳密性に記載されています。

インタビューの方法論も、印象ではなく証拠に基づいています。プレモーテム（Klein）、逆を考える手法と参照クラス予測（Tetlock/GJP）、申告された確信度に対する較正（Kahneman–Klein）、そして答えを明かす前の確信度の確認を取り入れています。主観的な確信度は、正確さを示す指標ではないためです。

AI 評価だけでは不十分な理由

現在の AI 評価が問うのは、モデルが正解したかどうかです。 Hone が問うのは、人間が理解しているかどうかです。

AI によって作業を生み出すコストが下がるにつれ、希少なスキルとなるのは、優れた成果を見極めることです。何を信頼し、何を検証し、自分の名前を添えて責任を持てるものは何かを判断する力です。2025 年に知識労働者 319 人を対象に行われた CHI の調査（Lee et al., Carnegie Mellon & Microsoft Research）では、AI への信頼が高いほど、自己申告による批判的思考が少なくなること（β = −0.69, p < 0.001）、一方で、自分自身の能力への信頼が高いほど、批判的思考が多くなること（β = +0.26）が示されました。仕事に必要だったことと、人間が気づいたことの間にあるこの隔たりが判断のギャップであり、評価スタックのどこにもこれを測るものはありません。

ごまかせない層。 自動評価指標は攻略されます。2026 年には、単一の自動エージェントが報酬ハッキングによって主要なエージェントベンチマークをすべて突破し、タスクを解決せずにほぼ満点を獲得できることが示されました。モデルが最適化によって取り除けない唯一の要素は、人間がその結果に責任を持てるかどうかです。Hone が測るのはそれであり、出力ではなく人を評価する理由でもあります。

詳しい議論は、AI の判断ギャップ — AI 評価だけでは不十分な理由をご覧ください。

仕組み（アーキテクチャ上の選択）

読み込みはホストが行い、判断は Hone が行います。 エージェントがすでにリポジトリやドキュメントを読み込んでいる場合、それらをレビューサービスに再取り込みするのは、業界で最も難しいインフラを重複して構築することになり、作業内容が漏えいするリスクもあります。そこで Hone は逆の設計を採用します。手法（ルーブリック、インタビュープロトコル、質問の深さ）は入力され、判断のメタデータ（6 つのスコア、1 つのレベル）は出力されます。作業内容そのものが転送されることはありません。 ここでプライバシーを守るのはポリシーではなく、アーキテクチャです。

┌─ your agent / CI / app ──────────────────────────┐
│  has the work loaded · runs the interview        │
│                                                  │
│   get_protocol ──►  AI-Q spec: rubric, questions, │
│                     techniques, report structure │
│   score_review ──►  deterministic AI-Q:          │
│                     sub-scores + composite+band  │
└──────────────────────────────────────────────────┘
        nothing stored · nothing leaves the machine

リポジトリの構成

spec/             the AI-Q standard — dimensions, JSON schemas, agentic-integration spec
rubrics/          per-domain review rubrics (YAML, editable)
prompts/          copy-paste prompt library (works in any chat model)
examples/         fully worked reviews with scores
calibration/      human-scored gold transcripts + judge-calibration harness
sdk/typescript/   the drop-in, bring-your-own-model client        ← hone-sdk
mcp/              MCP server — judgment review inside any agent   ← start here
skills/           the "hone" agent skill (Claude)
integrations/     github-action + cli
WHITEPAPER.md     the argument

ステータスとロードマップ

v0.1 は初期段階の、率直なドラフトです。「標準」ではなく、フレームワークです。 標準は使われることで築かれます。現時点で最も価値の高い貢献は、新たな領域向けのルーブリック、実例、SDK の他言語への移植、インテグレーションです。CONTRIBUTING.md と spec/roadmap.md をご覧ください。

オープンコア

ここにあるものはすべて、今後もオープン（Apache-2.0）であり続けます。AI-Q の仕様、ルーブリック、プロンプト、スキーマ、SDK、MCP サーバー、インテグレーションが含まれます。ホスト型製品の Hone アプリ (プライベートベータ版) は、このフレームワークを基盤に、規模とデータが必要な機能を提供します。AI-Q の長期的なプロファイル、弱点を学習する適応型コーチング、間隔を空けた想起、コホートのベンチマーク、ユーザー間の基準値が必要な数値 Design スコア（D3）です。フレームワークは永久に無料です。

ライセンス

Apache-2.0。商用利用、組み込み、フォークが可能です。