关于 tilegym-monkey-patch-kernels-to-transformers
供 AI Agent 将 TileGym cuTile 内核集成到 Hugging Face Transformers 模型的技能,无需修改 Transformers 源码。它还指导 Agent 为未覆盖的运算创建内核,并验证正确性与性能。
主要功能
- 01以猴子补丁替换 Transformers 模型组件
- 02集成现有 TileGym 内核
- 03为未覆盖代码创建 cuTile 内核
- 04检查端到端正确性与吞吐量
- 05用 Definition 和 Solution 元数据记录内核
适用场景
- 01用 TileGym 内核替换模型组件
- 02扩展目标模型的内核覆盖范围
- 03评估端到端正确性与性能
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ nvidia/ skills --skill tilegym-monkey-patch-kernels-to-transformers安装后在 Claude Code 中输入/tilegym-monkey-patch-kernels-to-transformers确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
BENCHMARK.mdskill-card.mdskill.oms.sigevals/evals.jsonreferences/auto-kernelize.mdenvironment-setup.mdkernel-integration.mdkernel-inventory-schema.md详细介绍
将 cuTile 内核集成并创建到 🤗 Transformers 中
TileGym 项目的主要目的是为大模型训练和推理提供高性能内核。我们会将 TileGym 项目中的合适内核集成到 Hugging Face 的 transformers 库所提供的大模型中,以验证端到端功能正确性和性能提升。我们不会修改 transformers 源代码,而是采用非侵入式猴子补丁方案:替换 transformers 库中实现目标 Transformer 模型的特定模块、类或方法,使该模型在实例化时,其核心组件会被 TileGym 实现替换。运行时,模型实际上会在底层调用 TileGym 内核。此外,我们会采用自动研究风格的 Agent harness 循环,为目标模型创建并集成新的 cuTile 内核,以提高内核覆盖率和端到端吞吐量。
说明
本说明面向人类读者:只需向你喜欢的 AI Agent 提供技能名称和目标模型 ID。例如:
Hi, please /monkey-patch-kernels-to-transformers Qwen/Qwen3.5-0.8B.
Agent 可能会向你提出几个问题。请作出澄清并确认继续。
工作流
- 准备实验环境。请参阅 environment-setup.md
- 将现有 TileGym 内核集成到目标模型中。请参阅 kernel-integration.md
- 为尚未覆盖的 PyTorch 代码自主创建新的 cuTile 内核。请参阅 auto-kernelize.md
- 可根据约束灵活添加新的 cuTile 内核
- 在满足自动内核化循环的停止条件之前,请勿停止
- 总结并报告
准则
本部分面向执行此工作流的 AI Agent。
内核清单
可复用的 Transformer 本地内核必须采用 FlashInfer-Bench 风格的 Definition 和 Solution 元数据。研究计算需求、盘点现有内核、提出候选方案或创建新的生成内核时,请遵循 kernel-inventory-schema.md。