mcpField
T
tilegym-monkey-patch-kernels-to-transformers

tilegym-monkey-patch-kernels-to-transformers

github.com/promptingcompany开发039 次安装17 周前更新
代码仓库

关于 tilegym-monkey-patch-kernels-to-transformers

该 Skill 指导 AI Agent 将 TileGym 的 cuTile 内核非侵入式接入 Hugging Face Transformers 模型,并通过自动研究式循环创建新内核、检查正确性与性能。

主要功能

  1. 01以 monkey patch 接入现有内核
  2. 02针对目标模型补充 cuTile 内核
  3. 03验证端到端正确性与性能
  4. 04按内核清单规范记录定义和方案

适用场景

  1. 01为 Transformers 模型接入 TileGym 内核
  2. 02为未覆盖的 PyTorch 运算生成内核

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/promptingcompany/nv-skills --skill tilegym-monkey-patch-kernels-to-transformers

安装后在 Claude Code 中输入/tilegym-monkey-patch-kernels-to-transformers确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

BENCHMARK.md
skill-card.md
skill.oms.sig
evals/
evals.json
references/
auto-kernelize.md
environment-setup.md
kernel-integration.md
kernel-inventory-schema.md

详细介绍

将 cuTile 内核集成并创建到 🤗 Transformers 中

TileGym 项目的主要目的是为大模型训练和推理提供高性能内核。我们会将 TileGym 项目中的合适内核集成到 Hugging Face 的 transformers 库所提供的大模型中,以验证端到端功能正确性和性能提升。我们不会修改 transformers 源代码,而是采用非侵入式猴子补丁方案:替换 transformers 库中实现目标 Transformer 模型的特定模块、类或方法,使该模型在实例化时,其核心组件会被 TileGym 实现替换。运行时,模型实际上会在底层调用 TileGym 内核。此外,我们会采用自动研究风格的 Agent harness 循环,为目标模型创建并集成新的 cuTile 内核,以提高内核覆盖率和端到端吞吐量。

说明

本说明面向人类读者:只需向你喜欢的 AI Agent 提供技能名称和目标模型 ID。例如:

Hi, please /monkey-patch-kernels-to-transformers Qwen/Qwen3.5-0.8B.

Agent 可能会向你提出几个问题。请作出澄清并确认继续。

工作流

  1. 准备实验环境。请参阅 environment-setup.md
  2. 将现有 TileGym 内核集成到目标模型中。请参阅 kernel-integration.md
  3. 为尚未覆盖的 PyTorch 代码自主创建新的 cuTile 内核。请参阅 auto-kernelize.md
    • 可根据约束灵活添加新的 cuTile 内核
    • 在满足自动内核化循环的停止条件之前,请勿停止
  4. 总结并报告

准则

本部分面向执行此工作流的 AI Agent。

内核清单

可复用的 Transformer 本地内核必须采用 FlashInfer-Bench 风格的 Definition 和 Solution 元数据。研究计算需求、盘点现有内核、提出候选方案或创建新的生成内核时,请遵循 kernel-inventory-schema.md。

评论

支持 Markdown