关于 model-pr-history-knowledge
按模型系列和框架整理的模型服务优化历史知识库,以 PR 为核心。工程师可在选择特定模型优化方案前,查阅既往实现变更、验证证据和风险。
主要功能
- 01按框架和模型系列查询
- 02双语模型系列文档
- 03经过检查的 PR 差异与实现路径
- 04时间线及验证和风险记录
适用场景
- 01修改服务路径前回顾既往工作
- 02检查性能剖析热点是否已有历史改动
- 03比较不同框架的优化历史
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ bbuf/ ai-infra-auto-driven-skills --skill model-pr-history-knowledge安装后在 Claude Code 中输入/model-pr-history-knowledge确认已加载。
详细介绍
模型 PR 历史知识
这是一个由 PR 驱动的模型优化历史知识库,并非针对每个模型的技能集合。每个模型系列都维护双语文档,其中包含经过检查的 PR 差异、实现文件覆盖情况、时间线、变更文件、代码摘录以及验证和风险说明。
在修改特定模型的服务路径、选择优化目标,或解释框架为何已有更快的路径前,请先查阅此知识库。
将历史证据应用于当前分支时,请使用维护中的来源契约。评审和历史语料保留各自的采集日期;它们不能证明当前的分派逻辑或数值默认值。对于内核替换,在将端到端测试视为覆盖依据前,请先验证真实模型是否会执行候选内核。
标注为非人工审计的生成条目属于 PR 发现清单。得出优化结论前,请阅读完整差异和当前调用方;API 文件数量和代码片段不能证明差异已完整覆盖。现有人工审计说明保留其原始日期。
查询
请在此目录下运行命令:
python3 scripts/query.py --list
python3 scripts/query.py --framework sglang --model qwen3-core --paths-only
python3 scripts/query.py --framework sglang --model qwen3-core "fused qk norm rope"
python3 scripts/query.py --framework vllm "DeepSeek-V4 fused norm router" --limit 5
python3 scripts/query.py --framework tokenspeed qwen35 --paths-only
实用选项:
--framework sglang|vllm|tensorrt_llm|tokenspeed:限定为一个服务框架。--model <slug>:限定为一个模型系列目录。--lang en|zh|both:选择英文、中文或两种文档。--paths-only:仅输出要阅读的确切文档路径,不含代码片段。--limit N:限制搜索结果数量。
工作流
- 根据用户的模型 ID、检查点路径或 SGLang 源码路径推断模型系列 slug。如果不确定,请运行
scripts/query.py "<model name>"。 - 对于 SGLang 补丁工作,先阅读对应的 SGLang 历史记录。如果 vLLM、TensorRT-LLM 或 TokenSpeed 是主要竞品,或其跟踪信息显示 SGLang 缺少快速路径,也请阅读竞品历史记录。如果文档开头有带日期的说明(来源版本头刷新、回填审计或经评审的内核补充说明),请先阅读该说明:其中包含人工审查的上下文,而下方生成的时间线和卡片不包含这些信息。
- 仅提取可执行的证据:
- 模型实现文件和符号
- 改动热点源代码路径的 PR
- 以往的融合、重叠执行、量化、MoE、注意力、缓存、采样器或加载器变更
- 可能解释已知差距或待处理支持问题的开放或关注中 PR
- PR 卡片所体现的验证路径和回归风险
- 在当前运行的产物中保存一份简短说明,例如
history/model-pr-history-notes.md,记录已阅读的路径、PR 编号、源文件,以及每项内容影响的决策。 - 最终答复中不要照搬冗长的 PR 卡片。请引用路径,并概述相关实现和风险。
模型 Slug
当前框架:
sglang(45 个系列)vllm(44 个系列)tensorrt_llm(15 个系列)tokenspeed(14 个系列)
当前模型系列 slug 包括:
deepseek-ocr, deepseek-ocr-2, deepseek-v3-r1, deepseek-v31, deepseek-v32,
deepseek-v4, deepseek-v41, dots3, ernie45, exaone4, gemma4, glm-vlm-ocr,
glm45, glm46-glm47, glm5-glm51, gpt-oss, hunyuan3-preview, hunyuan4, inkling,
intern-s1, internvl35, jina-reranker-m0, kimi, ling25, ling3, llada21,
llama31, llama33-70b, llama4, longcat-flash, mimo-v2-flash, minimax,
mistral-small-4, mixtral-quark-int4fp8-moe, moss-vl, nemotron-super,
qwen-vlm-omni-asr, qwen3-coder, qwen3-core, qwen3-next, qwen35, qwen36,
qwen38, qwen4-exp, ring25, step35, step37
可用性因框架而异;请以 python3 scripts/query.py --list 为准。关于重叠 slug 的说明:
deepseek-v4包含所有 V4 PR;deepseek-v41是相同文件中 V4.1 的子集(主题必须指明 V4.1)。处理 DSV4.1 时请同时阅读两者。glm5-glm51涵盖 GLM-5、5.1、5.2 和 5.3-Flash(glm5_next、glm53_flash、GlmMoeDsa)。qwen4-exp是 Qwen3.8-Flash-Next 使用的qwen4_exp模型文件;qwen38跟踪 Qwen3.8 cookbook 层面的内容。公开的Qwen/Qwen3.8-27B是model_type=qwen3_5,因此其加载器和内核历史记录位于qwen35(vLLM 没有专用的qwen38slug)。hunyuan4是 Hy4(hunyuan_v4/hy_v4);ling3是 BailingMoeV3;nemotron-super也涵盖 Nemotron-H;minimax涵盖 M2 和 M3;kimi涵盖 K2、K2.5、K3、Linear 和 VL。- TensorRT-LLM 和 TokenSpeed 的档案与 SGLang 和 vLLM 使用相同方式生成。带日期的手写刷新说明保留在页面顶部。
优化工作流约定
使用此知识库执行性能分析或优化任务时:
- 在识别模型之后、规划补丁之前阅读此知识库。
- 在运行记录中记录历史路径和关键 PR 证据(例如
history/model-pr-history-notes.md)。 - 如果性能分析器指向已知模型路径,请先检查历史记录中该文件是否有过往更改,再编写新补丁。
- 如果竞品速度更快,请搜索该竞品的模型历史,查找相同模型系列和阶段的记录,然后再判断差距是否仅由内核导致。如果比较结果取决于最新的上游行为,请针对确切的目标提交刷新实时源码和 PR。
评论
支持 Markdown