关于 tilegym-monkey-patch-kernels-to-transformers
该 Skill 指导 AI Agent 将 TileGym 的 cuTile 内核非侵入式接入 Hugging Face Transformers 模型,并通过自动研究式循环创建新内核、检查正确性与性能。
主要功能
- 01以 monkey patch 接入现有内核
- 02针对目标模型补充 cuTile 内核
- 03验证端到端正确性与性能
- 04按内核清单规范记录定义和方案
适用场景
- 01为 Transformers 模型接入 TileGym 内核
- 02为未覆盖的 PyTorch 运算生成内核
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ promptingcompany/ nv-skills --skill tilegym-monkey-patch-kernels-to-transformers安装后在 Claude Code 中输入/tilegym-monkey-patch-kernels-to-transformers确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
BENCHMARK.mdskill-card.mdskill.oms.sigevals/evals.jsonreferences/auto-kernelize.mdenvironment-setup.mdkernel-integration.mdkernel-inventory-schema.md详细介绍
将 cuTile 内核集成并创建到 🤗 Transformers 中
TileGym 项目的主要目的是为大模型训练和推理提供高性能内核。我们会将 TileGym 项目中的合适内核集成到 Hugging Face 的 transformers 库所提供的大模型中,以验证端到端功能正确性和性能提升。我们不会修改 transformers 源代码,而是采用非侵入式猴子补丁方案:替换 transformers 库中实现目标 Transformer 模型的特定模块、类或方法,使该模型在实例化时,其核心组件会被 TileGym 实现替换。运行时,模型实际上会在底层调用 TileGym 内核。此外,我们会采用自动研究风格的 Agent harness 循环,为目标模型创建并集成新的 cuTile 内核,以提高内核覆盖率和端到端吞吐量。
说明
本说明面向人类读者:只需向你喜欢的 AI Agent 提供技能名称和目标模型 ID。例如:
Hi, please /monkey-patch-kernels-to-transformers Qwen/Qwen3.5-0.8B.
Agent 可能会向你提出几个问题。请作出澄清并确认继续。
工作流
- 准备实验环境。请参阅 environment-setup.md
- 将现有 TileGym 内核集成到目标模型中。请参阅 kernel-integration.md
- 为尚未覆盖的 PyTorch 代码自主创建新的 cuTile 内核。请参阅 auto-kernelize.md
- 可根据约束灵活添加新的 cuTile 内核
- 在满足自动内核化循环的停止条件之前,请勿停止
- 总结并报告
准则
本部分面向执行此工作流的 AI Agent。
内核清单
可复用的 Transformer 本地内核必须采用 FlashInfer-Bench 风格的 Definition 和 Solution 元数据。研究计算需求、盘点现有内核、提出候选方案或创建新的生成内核时,请遵循 kernel-inventory-schema.md。