reviewing-ai-papers

评审 AI 论文

当用户要求分析 AI/ML 技术内容（论文、文章、博客文章）时，应从企业 AI 工程视角筛选并提取可落地的见解，并将有价值的发现存入记忆，以便跨会话调用。

何时不应使用此技能

主题必须是机器学习。以下相关请求不适用：

情况	使用
“这段文字读起来像 AI 写的吗？”	decluading
对草稿进行语体或语气调整	decluading
评审拉取请求或差异	code-review
非机器学习领域的论文	直接阅读；此技能的视角并不适用

请求中出现“AI”并非触发条件——AI 必须是文档的主题。

情境优先级

技术架构：

• RAG 系统（语义/词法搜索、混合检索）
• 向量数据库优化和嵌入策略
• 面向专业科学领域的模型微调
• 用于安全内网部署的知识蒸馏

实施与运维：

• 提示词工程和上下文学习技术
• AI 系统中的安全与知识产权保护
• 科学准确性和幻觉缓解
• AWS 集成（Bedrock/SageMaker）

企业与采用：

• 在受监管环境中进行企业部署
• 与科学/法律相关方建立信任
• 内部客户成功策略
• 自建与采购决策框架

分析标准

• 保持客观：提取事实性见解，不放大来源中的炒作
• 质疑新颖性主张：识别从业者已经采用的基准做法。区分“应用现有技术”和“真正的新方法”。具体流程见下文“论文未进行的消融实验”。照此执行，不要自行臆断
• 区分严谨性与新颖性：对标准技术进行执行出色的研究 ≠ 方法论突破
• 明确置信度：区分既定事实、新兴趋势和推测性主张
• 结合情境筛选：优先关注与当前挑战相符的见解

论文未进行的消融实验

在撰写评估的任何部分之前，先完成这项工作。它只需读取论文自身的表格，无需代码、重新实现，也无需访问数据。

论文的消融表列出了作者认为值得质疑的因素。每一行都保持不变的轴，是无人提出异议的因素，而未经证实的机制往往正是在这里逃过审查。

四个步骤：

1. 列出论文报告的所有消融实验，并指出每项改变的轴。
2. 指出没有任何一行改变的轴。
3. 针对该轴，指出能产生相同输出形式的成本最低的机制，也就是从业者从未读过论文时会采用的方法。
4. 判断论文是否进行过这项实验。

每篇评审都要包含以下内容。缺少它的评审是不完整的：

VARIED:               <axes the paper ablates>
HELD FIXED:           <the axis no row varies>
CHEAPEST ALTERNATIVE: <what a practitioner would use on that axis>
RAN IT:               yes | no | partially, against <what>

第 3 步最容易出错。论文反驳的替代方案，是其机制旨在击败的方案；采用它作为比较对象，就等于沿用了论文的框架。比较对象应基于从业者会采用的方法来写，而不是基于论文选择点名的替代方案。

RAN IT: no 描述的是论文的覆盖范围，并不能决定方法是否有效。应说明缺失的比较将能判定什么，以及开展这项实验需要多少成本。某种机制可能胜过低成本替代方案；只是论文尚未给出这一结论。当答案为 yes 时，应在可信度评估中说明：进行过这项比较的论文，可信度更高。

事后两次诊断，均发现了这一问题：

• SPD/hLLM（arXiv:2609.01807，2026-09-08）。表 3 和表 4 对评分头、训练信号和骨干网络进行了消融。没有任何一行改变解码器，而匈牙利算法求解正是论文的贡献。事后测得：对分数矩阵的一列进行排序，效果与指派求解相当；在 1,785 个 slate 上，NDCG@10 提升 +0.0008 [−0.0028, +0.0044]。论文自身的比较对象——带修正的逐行 argmax——确实不如匈牙利算法，因此论文的消融实验在其覆盖范围内是合理的，而这一发现则更进一步。（oaustegard/experiments PR #92。）
• TTT-Embed（arXiv:2608.12569，2026-08-14）。对奖励范围和奖励预算进行了消融。没有任何一行改变残差查询向量的获取方式，而这正是论文的贡献。两种无需标签的同类构造方法不消耗任何奖励预算，但论文没有进行实验：对前 k 个检索文档应用 Rocchio 方法，以及查询与文档之间的模态差距方向。（记忆 7461f178。）

分析结构

针对实质性内容

文章评估（2-3 句话）

• 核心主题和主要主张
• 可信度：作者的专业能力、证据质量、方法严谨性

按优先级排序的洞见

• 高优先级：可直接应用于当前项目的内容
• 中优先级：值得关注的相关技术
• 低优先级：有趣但暂不可操作的内容

技术评估

• 区分新颖方法与被包装成创新的标准实践
• 指出实施挑战、风险和资源需求
• 注意与公认最佳实践相矛盾之处

可执行建议

• 深入研究：需要进一步调查的具体领域
• 评估是否实施：值得进行原型验证的技术
• 与团队分享：哪些团队能从这些内容中受益
• 关注趋势：需要跟踪的新兴领域

即时应用

将洞见对应到当前项目。找出可快速见效的做法或 POC 机会。

针对内容较少的材料

• 开头就说明局限性
• 提取边际洞见（如有）
• 如果主题重要，推荐替代方案
• 保持简洁

记忆集成

自动存储触发条件：

• 高优先级见解（可直接应用）
• 值得进行原型验证的新颖技术
• 不同论文之间的模式识别
• 与既定做法相矛盾的内容

存储格式：

remember(
    "[Source: {title or url}] {condensed insight}",
    "world",
    tags=["paper-insight", "{domain}", "{technique}"],
    conf=0.85  # higher for strong evidence
)

压缩规则：

• 完整分析 → 对话（用户可见）
• 精简见解 → 记忆（可搜索的要点，附带出处）
• 存储可执行的核心内容，而非完整分析

示例：

分析内容：“混合检索（BM25 + dense）在科学查询上的效果比纯语义搜索提升 23%。采用两阶段方法……”

存储为："[Source: arxiv.org/abs/2401.xxxxx] Hybrid BM25+dense retrieval: 23% lift over semantic-only for scientific corpora. Requires 10K+ domain examples for fine-tuning benefit."

标签：["paper-insight", "rag", "hybrid-retrieval", "scientific-domain"]

输出标准

• 简洁：提供可执行的见解，而非复述内容
• 准确：区分内容是证明、暗示、声称还是推测
• 相关性：联系重点领域，或说明没有关联
• 深度自适应：根据内容价值调整篇幅

约束

• 不夸大宣传
• 除非有要求，否则不提供时间线
• 不做超出文章内容的推测
• 明确指出矛盾
• 内容单薄时说明其局限性