英语 | 简体中文 | 繁體中文 | 日本語 | Français

TileGym

TileGym 是一个 CUDA Tile 内核库，为基于 tile 的 GPU 编程提供了丰富的内核教程和示例。

概述 | 特性 | 安装 | 快速入门 | 贡献 | 许可证

概述

本仓库旨在为基于 tile 的 GPU 编程提供有用的内核教程和示例。TileGym 是一个用于实验 CUDA Tile 的平台，在这里你可以学习如何构建高效的 GPU 内核，并探索它们在实际大型语言模型中的集成应用，例如 Llama 3.1 和 DeepSeek V2。无论你是刚开始学习基于 tile 的 GPU 编程，还是希望优化你的 LLM 实现，TileGym 都能为你提供实用的示例和全面的指导。

特性

• 丰富的 CUDA Tile 内核示例集合
• 常见深度学习算子的实用内核实现
• 性能基准测试以评估内核效率
• 与流行 LLM（Llama 3.1、DeepSeek V2）的端到端集成示例

安装

先决条件

⚠️ 重要提示: TileGym 需要 CUDA 13.1+ 和 NVIDIA Blackwell 架构的 GPU（例如 B200、RTX 5080、RTX 5090）。我们未来将支持其他 GPU 架构。请从 NVIDIA CUDA 下载页面下载 CUDA。

• PyTorch（版本 2.9.1 或兼容版本）
• CUDA 13.1+（必需 - TileGym 仅在 CUDA 13.1+ 上构建和测试）
• Triton（随 PyTorch 安装一同提供）

设置步骤

1. 准备 torch 和 triton 环境

如果你已经安装了 torch 和 triton，可以跳过此步骤。

pip install --pre torch --index-url https://download.pytorch.org/whl/cu130

我们已验证 torch==2.9.1 可用。安装 torch 时也可以同时获取 triton 包。

2. 安装 TileGym

TileGym 使用 cuda-tile 进行 GPU 内核编程，该库在运行时依赖于 tileiras 编译器。

从 PyPI 安装（推荐）

pip install tilegym[tileiras]

这将安装 TileGym 及其所有运行时依赖项，包括 cuda-tile[tileiras]，它会将 tileiras 编译器直接打包到你的 Python 环境中。

如果你的系统上已经安装了 tileiras（例如通过 CUDA Toolkit 13.1+），则可以省略额外的安装：

pip install tilegym

从源代码安装

git clone https://github.com/NVIDIA/TileGym.git
cd TileGym
pip install .[tileiras]   # 或：pip install .  （如果你已有系统级 tileiras）

对于可编辑的开发模式，可以使用 pip install -e . 或 pip install -e .[tileiras]。

安装 cuda-tile-experimental

⚠️ 必需: TileGym 内核使用了来自 cuda-tile-experimental 的功能（例如自动调优器）。该包目前未在 PyPI 上发布，必须从源代码单独安装：

pip install "cuda-tile-experimental @ git+https://github.com/NVIDIA/cutile-python.git#subdirectory=experimental"

cuda-tile-experimental 由 CUDA Tile 团队维护，是一个仅包含源代码的实验性软件包。更多详情请参阅 experimental-features-optional。

除 cuda-tile-experimental 外，所有运行时依赖项均在 requirements.txt 中声明，并由 pip install tilegym 和 pip install . 自动安装。

我们还提供了 Dockerfile，详细信息请参阅 modeling/transformers/README.md。

快速入门

使用 TileGym 主要有三种方式：

1. 浏览内核示例

所有内核实现都位于 src/tilegym/ops/ 目录下。你可以使用简单的脚本测试单个操作。针对各个算子的功能级使用方法和最小化脚本已在 tests/ops/README.md 中记录。

2. 运行基准测试

通过微基准测试评估内核性能：

cd tests/benchmark
bash run_all.sh

完整的基准测试指南可在 tests/benchmark/README.md 中找到。

3. 运行 LLM 转换器示例

在端到端推理场景中使用 TileGym 内核。我们提供了可运行的脚本和说明，适用于使用 TileGym 内核加速的转换器语言模型（例如 Llama 3.1-8B）。

首先，安装附加依赖项：

pip install accelerate==1.13.0 --no-deps

容器化设置（Docker）：

docker build -t tilegym-transformers -f modeling/transformers/Dockerfile .
docker run --gpus all -it tilegym-transformers bash

更多详情请参阅 modeling/transformers/README.md。

4. Julia（cuTile.jl）内核（可选）

TileGym 还包含基于 Julia 的实验性 cuTile.jl 内核实现。这些内核独立存在于 julia/ 目录中，无需 Python 版 TileGym 包。

先决条件: Julia 1.12+、CUDA 13.1、Blackwell GPU

# 如果尚未安装 Julia，则进行安装
curl -fsSL https://install.julialang.org | sh

# 安装依赖项
julia --project=julia/ -e 'using Pkg; Pkg.instantiate()'

# 运行测试
julia --project=julia/ julia/test/runtests.jl

完整依赖列表请参阅 julia/Project.toml。

贡献

我们欢迎各种形式的贡献。请阅读我们的 CONTRIBUTING.md，了解相关指南，包括贡献者许可协议（CLA）流程。

许可证及第三方声明

• 项目许可证：MIT
  • LICENSE
• 第三方归属及许可证文本：
  • LICENSES/ATTRIBUTIONS.md

TileGym 快速上手指南

TileGym 是一个基于 CUDA Tile 的内核库，提供了丰富的教程和示例，旨在帮助开发者学习基于 Tile 的 GPU 编程，并探索其在 Llama 3.1、DeepSeek V2 等大语言模型中的高效集成。

环境准备

在开始之前，请确保您的系统满足以下严格硬件和软件要求：

• GPU 架构：必须使用 NVIDIA Blackwell 架构 GPU（例如 B200, RTX 5080, RTX 5090）。
  • 注意：目前暂不支持其他架构。
• CUDA 版本：必须安装 CUDA 13.1 或更高版本。
• Python 环境：
  • PyTorch (推荐版本 2.9.1 或兼容版本)
  • Triton (通常随 PyTorch 自动安装)
• 操作系统：Linux (推荐)

提示：请从 NVIDIA 官网 下载并安装最新的 CUDA Toolkit。

安装步骤

1. 配置 PyTorch 和 Triton 环境

如果您尚未安装 PyTorch，请使用以下命令安装预发布版本（需匹配 CUDA 13.0/13.1 环境）：

pip install --pre torch --index-url https://download.pytorch.org/whl/cu130

验证：确保安装后 torch.__version__ 为 2.9.1 或兼容版本，且 triton 可用。

2. 安装实验性依赖 (必需)

TileGym 的部分内核（如自动调优器）依赖未发布到 PyPI 的 cuda-tile-experimental 包，必须从源码单独安装：

pip install "cuda-tile-experimental @ git+https://github.com/NVIDIA/cutile-python.git#subdirectory=experimental"

3. 安装 TileGym

您可以选择通过 PyPI 安装（推荐）或从源码安装。

方式 A：通过 PyPI 安装（推荐） 此命令会自动安装运行时所需的 tileiras 编译器依赖：

pip install tilegym[tileiras]

如果您系统中已全局安装了 tileiras (来自 CUDA Toolkit 13.1+)，可简化为 pip install tilegym。

方式 B：从源码安装

git clone https://github.com/NVIDIA/TileGym.git
cd TileGym
pip install .[tileiras]

开发模式请使用：pip install -e .[tileiras]

基本使用

安装完成后，您可以通过以下三种主要方式使用 TileGym：

1. 运行算子示例与测试

所有内核实现位于 src/tilegym/ops/ 目录。您可以参考 tests/ops/README.md 中的最小化脚本来测试单个算子功能。

2. 执行性能基准测试

使用内置的微基准测试评估内核效率：

cd tests/benchmark
bash run_all.sh

详细指南请参阅 tests/benchmark/README.md。

3. 运行大模型 (LLM) 示例

TileGym 提供了针对 Llama 3.1-8B 等模型的端到端推理加速示例。

首先安装额外依赖：

pip install accelerate==1.13.0 --no-deps

推荐使用 Docker 容器运行（避免环境冲突）：

# 构建镜像
docker build -t tilegym-transformers -f modeling/transformers/Dockerfile .

# 运行容器
docker run --gpus all -it tilegym-transformers bash

进入容器后，请参考 modeling/transformers/README.md 执行具体的推理脚本。

---

注：TileGym 还包含可选的 Julia (cuTile.jl) 内核实现，位于 julia/ 目录，需单独配置 Julia 1.12+ 环境。