mcpField
M
model-pr-history-knowledge

model-pr-history-knowledge

github.com/bbuf开发1.1k53 次安装今天更新
代码仓库

关于 model-pr-history-knowledge

按模型系列和框架整理的模型服务优化历史知识库,以 PR 为核心。工程师可在选择特定模型优化方案前,查阅既往实现变更、验证证据和风险。

主要功能

  1. 01按框架和模型系列查询
  2. 02双语模型系列文档
  3. 03经过检查的 PR 差异与实现路径
  4. 04时间线及验证和风险记录

适用场景

  1. 01修改服务路径前回顾既往工作
  2. 02检查性能剖析热点是否已有历史改动
  3. 03比较不同框架的优化历史

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/bbuf/ai-infra-auto-driven-skills --skill model-pr-history-knowledge

安装后在 Claude Code 中输入/model-pr-history-knowledge确认已加载。

详细介绍

模型 PR 历史知识

这是一个由 PR 驱动的模型优化历史知识库,并非针对每个模型的技能集合。每个模型系列都维护双语文档,其中包含经过检查的 PR 差异、实现文件覆盖情况、时间线、变更文件、代码摘录以及验证和风险说明。

在修改特定模型的服务路径、选择优化目标,或解释框架为何已有更快的路径前,请先查阅此知识库。

将历史证据应用于当前分支时,请使用维护中的来源契约。评审和历史语料保留各自的采集日期;它们不能证明当前的分派逻辑或数值默认值。对于内核替换,在将端到端测试视为覆盖依据前,请先验证真实模型是否会执行候选内核。

标注为非人工审计的生成条目属于 PR 发现清单。得出优化结论前,请阅读完整差异和当前调用方;API 文件数量和代码片段不能证明差异已完整覆盖。现有人工审计说明保留其原始日期。

查询

请在此目录下运行命令:

python3 scripts/query.py --list
python3 scripts/query.py --framework sglang --model qwen3-core --paths-only
python3 scripts/query.py --framework sglang --model qwen3-core "fused qk norm rope"
python3 scripts/query.py --framework vllm "DeepSeek-V4 fused norm router" --limit 5
python3 scripts/query.py --framework tokenspeed qwen35 --paths-only

实用选项:

  • --framework sglang|vllm|tensorrt_llm|tokenspeed:限定为一个服务框架。
  • --model <slug>:限定为一个模型系列目录。
  • --lang en|zh|both:选择英文、中文或两种文档。
  • --paths-only:仅输出要阅读的确切文档路径,不含代码片段。
  • --limit N:限制搜索结果数量。

工作流

  1. 根据用户的模型 ID、检查点路径或 SGLang 源码路径推断模型系列 slug。如果不确定,请运行 scripts/query.py "<model name>"。
  2. 对于 SGLang 补丁工作,先阅读对应的 SGLang 历史记录。如果 vLLM、TensorRT-LLM 或 TokenSpeed 是主要竞品,或其跟踪信息显示 SGLang 缺少快速路径,也请阅读竞品历史记录。如果文档开头有带日期的说明(来源版本头刷新、回填审计或经评审的内核补充说明),请先阅读该说明:其中包含人工审查的上下文,而下方生成的时间线和卡片不包含这些信息。
  3. 仅提取可执行的证据:
    • 模型实现文件和符号
    • 改动热点源代码路径的 PR
    • 以往的融合、重叠执行、量化、MoE、注意力、缓存、采样器或加载器变更
    • 可能解释已知差距或待处理支持问题的开放或关注中 PR
    • PR 卡片所体现的验证路径和回归风险
  4. 在当前运行的产物中保存一份简短说明,例如 history/model-pr-history-notes.md,记录已阅读的路径、PR 编号、源文件,以及每项内容影响的决策。
  5. 最终答复中不要照搬冗长的 PR 卡片。请引用路径,并概述相关实现和风险。

模型 Slug

当前框架:

  • sglang(45 个系列)
  • vllm(44 个系列)
  • tensorrt_llm(15 个系列)
  • tokenspeed(14 个系列)

当前模型系列 slug 包括:

deepseek-ocr, deepseek-ocr-2, deepseek-v3-r1, deepseek-v31, deepseek-v32,
deepseek-v4, deepseek-v41, dots3, ernie45, exaone4, gemma4, glm-vlm-ocr,
glm45, glm46-glm47, glm5-glm51, gpt-oss, hunyuan3-preview, hunyuan4, inkling,
intern-s1, internvl35, jina-reranker-m0, kimi, ling25, ling3, llada21,
llama31, llama33-70b, llama4, longcat-flash, mimo-v2-flash, minimax,
mistral-small-4, mixtral-quark-int4fp8-moe, moss-vl, nemotron-super,
qwen-vlm-omni-asr, qwen3-coder, qwen3-core, qwen3-next, qwen35, qwen36,
qwen38, qwen4-exp, ring25, step35, step37

可用性因框架而异;请以 python3 scripts/query.py --list 为准。关于重叠 slug 的说明:

  • deepseek-v4 包含所有 V4 PR;deepseek-v41 是相同文件中 V4.1 的子集(主题必须指明 V4.1)。处理 DSV4.1 时请同时阅读两者。
  • glm5-glm51 涵盖 GLM-5、5.1、5.2 和 5.3-Flash(glm5_next、glm53_flash、GlmMoeDsa)。
  • qwen4-exp 是 Qwen3.8-Flash-Next 使用的 qwen4_exp 模型文件;qwen38 跟踪 Qwen3.8 cookbook 层面的内容。公开的 Qwen/Qwen3.8-27B 是 model_type=qwen3_5,因此其加载器和内核历史记录位于 qwen35(vLLM 没有专用的 qwen38 slug)。
  • hunyuan4 是 Hy4(hunyuan_v4 / hy_v4);ling3 是 BailingMoeV3;nemotron-super 也涵盖 Nemotron-H;minimax 涵盖 M2 和 M3;kimi 涵盖 K2、K2.5、K3、Linear 和 VL。
  • TensorRT-LLM 和 TokenSpeed 的档案与 SGLang 和 vLLM 使用相同方式生成。带日期的手写刷新说明保留在页面顶部。

优化工作流约定

使用此知识库执行性能分析或优化任务时:

  • 在识别模型之后、规划补丁之前阅读此知识库。
  • 在运行记录中记录历史路径和关键 PR 证据(例如 history/model-pr-history-notes.md)。
  • 如果性能分析器指向已知模型路径,请先检查历史记录中该文件是否有过往更改,再编写新补丁。
  • 如果竞品速度更快,请搜索该竞品的模型历史,查找相同模型系列和阶段的记录,然后再判断差距是否仅由内核导致。如果比较结果取决于最新的上游行为,请针对确切的目标提交刷新实时源码和 PR。

评论

支持 Markdown