mllm-eval

MLLM-Eval 技能

目的

这项技能旨在让 LLM / MLLM 临床评估有据可依：采用真实的裁定参考标准，测量而非假定忠实度，使用超越 n-gram 重叠的临床效能指标，检查预训练污染，披露提示词敏感性，并在生成文本时开展读者研究。它 与模型无关——每项检查都适用于封闭 API 和开放权重——且为 只读（咨询式设计 / 审计技能）：它会审计评估设计，并通过已发布的提取器指定并转交临床效能指标（RadGraph-F1 / CheXbert-F1），而不是运行模型或自行计算指标。

它是该领域中 LLM/MLLM 的 评估设计对应技能——作为审计工具，将指定的指标交给提取器和 /analyze-stats；这与 /model-assessment 审计影像模型设计并计算其指标的方式类似。对已完成稿件的审稿方审计使用 mllm_evaluation.md（ME0–ME8）探针，通过 /self-review 和 /peer-review 执行；本技能则用于作者方的评估框架设计。它会将读者研究转交给 /design-ai-benchmarking，将样本量估算转交给 /calc-sample-size，并将 TRIPOD-LLM / MI-CLEAR-LLM 合规性检查转交给 /check-reporting。

何时使用

• 你正在设计或审计 LLM/MLLM 在临床任务上的评估，并希望覆盖审稿人会检查的各个方面（参考标准、忠实度、污染、提示词敏感性、读者研究）。

何时不使用

• AI 与人类专家的基准测试，采用评分量规 → /design-ai-benchmarking。
• 影像预测 / 分割模型 → /model-assessment。
• 图像到图像生成模型 → image_synthesis 探针。
• 训练 / 部署 LLM → 不在本技能范围内。
• 对已完成稿件进行逐项 TRIPOD-LLM / MI-CLEAR-LLM 审计 → /check-reporting。

工作流

阶段 1 — 明确任务、模型、比较对象和解码设置（ME0）

说明任务（报告生成 / VQA / 抽取分类）、确切的模型及版本 / 日期（封闭 API 或开放权重 ID）、解码设置（temperature、seed、max tokens），以及输出的评分依据。

阶段 2 — 参考标准与指标（ME1、ME2）

要求采用 经专家裁定的参考标准（而非单份未经核实的报告或模型生成的标签）。对于报告生成，除 BLEU/ROUGE 外，还应报告带置信区间的 临床效能指标——RadGraph-F1（Jain 等，NeurIPS 2021）、CheXbert-F1（Smit 等，2020）或复合指标 RadCliQ（Yu 等，Patterns 2023）。对于 VQA / 分类，说明答案匹配规则，并报告带置信区间的 各类别敏感度 / 特异度（或精确率 / 召回率 / F1）以及 真实患病率下的 PPV；准确率只能作为补充指标——患病率为 2% 时，每次都回答“阴性”也能获得 98% 的准确率。

阶段 3 — 忠实度与污染（ME3、ME4）

加入 原子事实忠实度测量，以及 错误前提 / 拒答探测（MedVH、Med-HALT）——报告幻觉率，而不只是准确率。对于任何公开基准（VQA-RAD、SLAKE、MIMIC-CXR 派生数据集、MedQA），都应说明 污染情况：训练截止时间与基准发布的先后关系、留出集 / 截止时间后的数据集，或污染探测结果。

阶段 4 — 提示词敏感性与读者研究（ME5、ME7）

披露 确切的提示词、temperature/seed、至少 3 次运行及其方差，并检查提示词鲁棒性。对于部署 / 效用声明，应设计一项 盲法读者研究，并采用错误分类体系（将评分量规 / IRR 转交给 /design-ai-benchmarking，将 ICC/κ 转交给 /analyze-stats，将样本量估算转交给 /calc-sample-size）。

阶段 5 — 设置计划门槛（确定性）

在 eval_manifest.json 中声明各轴（复制 ${CLAUDE_SKILL_DIR}/templates/eval_manifest.json； 字段和允许的值见 references/eval_manifest_schema.md），然后：

python3 ${CLAUDE_SKILL_DIR}/scripts/check_mllm_eval_completeness.py \
  --manifest eval_manifest.json --strict

未完成的轴使用 "none"，未列出的方法使用 "other:<description>"；任何其他值都会以状态码 2 退出。使用 --plan plan.md --task report_generation|vqa|classification 仍会对正文运行旧版关键词检查（参见已知限制）。 必须解决 NGRAM_ONLY / FAITHFULNESS_MISSING / REFERENCE_STANDARD_MISSING / CONTAMINATION_UNADDRESSED / READER_STUDY_MISSING。分类清单始终会报告 CLASSIFICATION_METRICS_NOT_ASSESSED（次要）：清单没有对应的指标字段，因此请自行核查各类别的敏感度／特异度，以及实际患病率下的阳性预测值（PPV）。

阶段 6 — 移交

Methods/Results → /write-paper；合规性（TRIPOD-LLM / MI-CLEAR-LLM）→ /check-reporting；审稿人 审计 → /self-review（加载 ME0–ME8）。

防止幻觉

• 切勿编造模型输出、参考标签或指标分数。 只能计算所提供输出支持的内容；如果缺少参考标准或输出，请说明并停止。
• 切勿将 n-gram 重叠度（BLEU/ROUGE）作为临床正确性报告——应与临床效能指标搭配，并明确说明 n-gram 分数的性质。
• 使用公开基准时，若未说明检查方式，切勿声称「不存在污染」。
• 如果不确定某项指标（RadGraph-F1 / CheXbert-F1）或其提取器，请标注 [VERIFY] 并询问，不要编造数字。

确定性门槛

scripts/check_mllm_eval_completeness.py — 针对评估计划的任务感知存在性门槛（仅使用标准库， 无需网络）。可复现挑战： bash ${CLAUDE_SKILL_DIR}/scripts/mllm_eval_completeness_challenge/verify.sh。

已知限制。 清单模式只检查声明了什么，不检查工作是否实际完成；请确保清单与 Methods 保持一致。它也不会检查所声明的指标是否适用于任务： 为 VQA 任务声明报告生成指标（BLEU、RadGraph F1）也会被接受，不会附带提示。正文模式（--plan）只检查术语是否出现，不会理解否定或词义。 「未进行人工评估」或「未评估幻觉」仍会被视为覆盖了相应轴；词语用于其他含义时也能通过检查：「green」无论出现在何处都会通过临床指标检查，「unsupported」会通过忠实度检查，患者划分中的「data leakage」会通过污染检查，而「ground truth」无论指代什么都会通过参考标准检查。在将退出状态码 0 视为检查无误之前，请亲自阅读计划中每个已通过检查的轴。

边界

mllm-eval (this skill: harness design + completeness gate, model-agnostic)
  ├─ design-ai-benchmarking (reader-study rubric / IRR)
  ├─ calc-sample-size (reader + case sizing)
  ├─ write-paper + check-reporting (TRIPOD-LLM / MI-CLEAR-LLM)
  └─ self-review / peer-review (ME0–ME8 reviewer probe)

参考文件

• ${CLAUDE_SKILL_DIR}/references/evaluation_axes.md — ME2–ME7 各轴背后的原因： 超越 n-gram 重叠的临床效能指标（例如，RadGraph-F1 / CheXbert-F1 与 BLEU/ROUGE）， 忠实度与幻觉、预训练／基准污染、提示敏感性与确定性、答案匹配，以及读者研究——每项均对应一个门槛判定结果。按需在 阶段 2–4 加载。