hone

---

30 秒了解

每种 AI 评测工具都在回答同一个问题：模型的输出好不好？（准确性、幻觉、毒性、延迟、成本。）

但没有一种工具回答这个真正决定 AI 辅助工作能否安全交付的问题：完成这项工作的人类是否足够了解它，能够为它辩护？

Hone 是一套开源工具包，专门用于衡量这一点。交给它一份 AI 辅助完成的工作；它会像一位优秀导师那样，一次提出一个尖锐的问题来访谈人类，然后给出对方的 AI-Q：根据与 AI 协作的 三项 D 计算的分数。辨别力（你能看出 AI 何时出错吗？——六个可审计维度，是评分的主干）、委派能力（你是否清楚地说明要求、选对任务并有效引导它？）和 设计能力（你是否在重新设计自己的工作方式？——通过长期观察得出，绝不会根据一次评审伪造）。

它支持自带模型（任何大模型），采用 Apache-2.0 许可证，可在几分钟内接入编码 Agent、CI 流水线或你自己的应用。其方法论是开放规范——AI-Q——开放标准——因此，无论在哪里计算，分数的含义都相同。

评审体验

You:  Run hone on the pricing analysis we just built.

Sol:  Happy to take a look. This is a strategy memo recommending a Pro-tier
      price increase — real money riding on it, so I'll ask five questions.
      Just between us, and "I don't know" is a perfectly useful answer.

      First: walk me through the recommendation in your own words —
      why $49, and not $39 or $59?

      ...three more, one at a time — including: what did you give the
      AI to work with, and what did you have to correct in its first
      answer? ...

      Last one: before I show you anything — honestly, how confident
      are you in this work, 0 to 100?

You:  85.

Sol:  Here's my read.

      Pro-tier pricing recommendation · AI-Q 58 — Mostly owns it
      (discernment 57 · delegation 60)
      You can explain the mechanism, but you took the churn projection
      on faith — and that's the load-bearing number.

      Work on this first: the 4% churn assumption came straight from the
      AI with no source. If churn runs 8%, the revenue case inverts.

      [ what a rigorous review surfaced vs. what you caught ]
      [ before-you-ship checklist · the toughest objection you'll face ]
      [ worth remembering · 3 short notes on the skills you missed ]

不评判工作本身。没有“AI 检测器”。衡量的是你对它的掌握程度，并提供指导，帮助你弥补差距。

快速开始

在编码 Agent 中使用（最佳方式）——在工作所在之处评审

如果 Agent 构建了某项成果——代码仓库、分析报告或文档集——就不必把它粘贴到其他地方。Hone 在 Agent 内部运行，而 Agent 已经加载了这项工作：

**Claude Desktop——一键安装：**从最新版本下载 hone.mcpb 并打开它（Settings → Extensions）。无需配置文件，也无需终端。

Claude Code——添加 MCP 服务（协议 + 确定性评分）：

git clone https://github.com/derekchoyai/hone && cd hone/mcp && npm install && npm run build
claude mcp add hone -- node "$(pwd)/dist/index.js"

或者加载 Claude 技能——无需基础设施。然后只需说：

“对我们今天完成的工作运行 Hone。”

Agent 会读取已加载的工作，一次提出一个问题来访谈你，在揭晓结果之前记录你的信心程度，并以确定性方式计算你的 AI-Q。经你同意后，它会在本地文件中记住分数——绝不保存工作内容——这样下次评审时就能针对你实际的薄弱环节进行追问（“你的验证能力一直是薄弱项——我们就从这里开始吧”）。任何内容都不会离开你的设备。

在 CI 中拦截 AI 生成的代码（GitHub Action）

# .github/workflows/judgment.yml
- uses: derekchoyai/hone/integrations/github-action@v0
  with:
    domain: coding
    paths: "src/**/*.ts"
    model: openai            # or anthropic
  env:
    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}

对于涉及 AI 生成代码的 PR，作者需要回答几个问题，相关工作会获得一项判断分数。低于你的阈值 → 检查会说明差距。参见 integrations/github-action。

将其集成到自己的应用中（TypeScript SDK）

npm install hone-sdk

import { analyzeWork, reviewJudgment, type ModelFn } from "hone-sdk";

// Bring your own model — Hone never sees your API keys.
const model: ModelFn = async ({ system, user }) => callYourLLM(system, user);

// 1. Decompose the work + generate an interview tailored to it.
const { workMap, questions } = await analyzeWork({
  work: aiGeneratedArtifact,
  domain: "coding",
  model,
});

// 2. Collect the human's answers (in YOUR ui), then score.
const result = await reviewJudgment({
  work: aiGeneratedArtifact,
  domain: "coding",
  answers,        // [{ question, answer }]
  model,
});

console.log(result.composite, result.band);       // 72  "Mostly owns it"  ← the AI-Q
console.log(result.discernment, result.delegation); // sub-scores (delegation only when assessed)
console.log(result.gaps, result.verifyBeforeShip);

result 符合 spec/score.schema.json。

无需安装——手动运行提示词

将一个提示词和你的工作一起粘贴到任意聊天模型中。参见 examples/，查看包含评分的完整评审示例。

AI-Q — 评分

透明的 0–100 分，依据一套可阅读、可修改的评分标准计算——绝非凭感觉，也不靠模型算术。AI-Q 衡量与 AI 协作的三项 D，并根据它们对你的保护作用赋予权重（辨析力 0.6 · 委派 0.3 · 设计 0.1，再按实际评估的项目重新归一化）：

D1 · 辨析力 — 对 AI 输出的判断力（核心）

你能判断 AI 何时出错、敷衍或产生幻觉吗？六个可审计的维度，始终都能根据评审者面前的工作进行评估：

维度	问题
理解力	人能解释这项工作及其机制吗？
验证能力	他们会验证重要主张，并知道哪些内容尚未验证吗？
假设意识	他们能指出哪些条件必须成立吗（尤其是关键假设）？
风险识别	他们能说出具体且合理的失效模式吗？
信心校准	他们的信心与展现出的理解程度相符吗？
责任担当	他们能为决定负责并加以辩护吗（而不是说“这是 AI 做的”）？

D2 · 委派 — 对你提供给 AI 的输入的判断力

任务说明包含了任务所需的信息吗？这件事本来就适合交给 AI 做吗？从首次输出到最终版本，你是否进行了引导？三个方面——任务说明质量、任务选择、迭代控制——仅在访谈中确实呈现出任务说明时才评分（证据门槛）。没有证据 → 标记为未评估，绝不猜测，也绝不记为零分。

D3 · 设计 — 对你的工作体系的判断力

你是在围绕 AI 重新设计工作方式，还是只在碰巧适用的地方用它？单个产物无法体现一个体系，因此**不会根据单次评审给设计评分。**设计会根据你的长期档案进行定性评估（领域广度、委派趋势，以及随着委派增多，辨析力是否保持稳定）；数值化的设计评分需要跨用户基准数据，目前仍列在路线图中。

**也适用于 Agent 式工作。**当你创建的内容本身就是一个系统——Agent 循环、自动化流程、多 Agent 配置——同样的三项 D 会重新对应到这个循环：对“完成”的检查是真实的，还是只是“看起来完成了”（辨析力）；与其使用一次性提示词，采用循环是否恰当，影响范围是否受限（委派）。Hone 衡量的是你运行 AI 的判断力，而不只是一次性回答。请参阅 spec/aiq.md。

分数区间：80–100 能独立负责 · 55–79 大体能负责 · 30–54 依赖 AI · 0–29 黑箱。

评分具有确定性——每个子分数和综合分都由同一套代码在各处计算（hone-sdk），因此 CI 中的 72 分与 Agent 中的 72 分含义相同。六维评审的 AI-Q 等于其辨析力子分数，因此每个 v0.1 Judgment Score 都已是有效的 AI-Q。完整规范定义见 spec/aiq.md；两个扩展的辨析力维度——反方论证和好奇心——为可选项，定义见 spec/judgment-dimensions.md。

对判断力进行评分，评分本身也必须经得起审视。每个维度都依据公开的 1–5 分锚点独立评分（而非凭整体感觉），并明确防范 LLM 评审者容易产生的自我偏好和流畅性偏差。实现优先呈现等级，而不是制造精确到整数的假象；高风险评审还可选择使用集成评审。完整规则见 spec/aiq.md → 评分严谨性。

访谈方法同样以证据为依据，而非凭感觉：事前验尸法（Klein）、考虑相反情况和参考类别预测（Tetlock/GJP）、依据陈述的信心进行校准（Kahneman–Klein），以及揭晓前先记录信心——因为主观信心并非准确性的信号。

为什么 AI 评估还不够

当前的 AI 评估会问：模型回答得对吗？ Hone 会问：人类理解了吗？

随着 AI 大幅降低了产出工作的成本，稀缺的技能变成了识别好作品——知道该信任什么、该核实什么，以及你愿意以自己的名义为哪些内容背书。2025 年，一项针对 319 名知识工作者的 CHI 研究（Lee 等人，卡内基梅隆大学与 Microsoft Research）发现，对 AI 有信心与较少的自我报告批判性思维相关（β = −0.69，p < 0.001），而对自身能力有信心则与较多的批判性思维相关（β = +0.26）。这道差距——工作所需与人类发现的问题之间的差距——就是判断力鸿沟，而评估体系中的任何环节都无法衡量它。

无法通过作弊攻破的层面。 自动化指标会被钻空子：2026 年，一个自动化 Agent 被证明能通过奖励投机攻破所有主要 Agent 基准测试——不解决任务也能获得近乎满分。模型无法通过优化消除的一件事，就是人类是否能为结果负责。这正是 Hone 的衡量对象，也是它为人打分而非为输出打分的原因。

完整论述见：AI 判断力鸿沟——为什么 AI 评估还不够。

工作原理（架构取舍）

由宿主读取，Hone 负责评判。 当你的 Agent 已经加载了代码仓库／文档时，再将它们导入审查服务，只会重复行业中最难构建的基础设施，还会泄露你的工作成果。因此，Hone 采用相反的做法：将方法论传入（评分标准、访谈流程、问题层级），将判断元数据传出（六项评分、一个等级）。工作内容本身绝不会经过 Hone。 隐私在这里不是一项政策，而是架构本身。

┌─ your agent / CI / app ──────────────────────────┐
│  has the work loaded · runs the interview        │
│                                                  │
│   get_protocol ──►  AI-Q spec: rubric, questions, │
│                     techniques, report structure │
│   score_review ──►  deterministic AI-Q:          │
│                     sub-scores + composite+band  │
└──────────────────────────────────────────────────┘
        nothing stored · nothing leaves the machine

仓库概览

spec/             the AI-Q standard — dimensions, JSON schemas, agentic-integration spec
rubrics/          per-domain review rubrics (YAML, editable)
prompts/          copy-paste prompt library (works in any chat model)
examples/         fully worked reviews with scores
calibration/      human-scored gold transcripts + judge-calibration harness
sdk/typescript/   the drop-in, bring-your-own-model client        ← hone-sdk
mcp/              MCP server — judgment review inside any agent   ← start here
skills/           the "hone" agent skill (Claude)
integrations/     github-action + cli
WHITEPAPER.md     the argument

状态与路线图

v0.1 是一个早期且诚实的草案——一个框架，而非“标准”。 标准需要通过实践来赢得认可。当前最有价值的贡献包括：新领域的评分标准、完整示例、SDK 的语言移植和集成。请参阅 CONTRIBUTING.md 和 spec/roadmap.md。

开放核心

此处的所有内容现在和将来都将保持开源（Apache-2.0）：AI-Q 规范、评分标准、提示词、架构、SDK、MCP 服务和集成。托管产品——Hone 应用（私人测试版）——在此框架基础上构建，加入需要规模化和数据的功能：纵向 AI-Q 画像、能不断了解你的薄弱环节并据此调整的辅导、间隔复习、群组基准，以及需要跨用户基线的数值型设计评分（D3）。该框架将永远免费。

许可证

Apache-2.0。可用于商业用途、嵌入或分叉。