Triton 谜题

与 Tejas Ramesh 和 Keren Zhou 合作，基于 Triton-Viz

为 GPU (图形处理器) 等加速器编程对于现代 AI 系统至关重要。这通常意味着直接使用专有低级语言（如 CUDA (并行计算架构)）进行编程。Triton 是一种替代性的开源编程语言，允许你在更高层级进行编码，并编译到 GPU 等加速器上。

Triton 的编码在语法和语义上与 Numpy 和 PyTorch 非常相似。然而，作为一种低级语言，你需要跟踪许多细节。特别是，学习者感到困难的一个领域是内存加载与存储 (memory loading and storage)，这对于低级设备上的速度至关重要。

这套谜题旨在以互动方式教你从头开始如何使用 Triton。你将从简单的示例开始，逐步进阶到真正的算法，如 Flash Attention 和量化神经网络 (Quantized neural networks)。这些谜题不需要在 GPU 上运行，因为它们使用的是 Triton 解释器 (Triton interpreter)。

Discord: https://discord.gg/gpumode #triton-puzzles

如果你喜欢这类内容，这是系列谜题中的第 7 个。

• https://github.com/srush/gpu-puzzles
• https://github.com/srush/tensor-puzzles
• https://github.com/srush/autodiff-puzzles
• https://github.com/srush/transformer-puzzles
• https://github.com/srush/GPTworld
• https://github.com/srush/LLM-Training-Puzzles

Triton-Puzzles 快速上手指南

环境准备

• 操作系统：跨平台支持（Windows / Linux / macOS）。
• 前置依赖：
  • Python 环境。
  • 推荐使用 Google Colab 在线运行，无需本地配置环境。
  • 若本地运行，需预先安装 triton 及相关深度学习依赖。
• 硬件要求：无需 GPU。本项目使用 Triton 解释器，可在 CPU 上运行谜题。

安装步骤

方法一：使用 Google Colab（推荐）

无需安装，直接点击以下链接在浏览器中打开并运行：

https://colab.research.google.com/github/srush/Triton-Puzzles/blob/main/Triton-Puzzles.ipynb

方法二：本地部署

1. 克隆仓库到本地：

git clone https://github.com/srush/Triton-Puzzles.git

2. 进入项目目录：

cd Triton-Puzzles

(注：本地运行请确保已配置好 Triton 环境，具体依赖请参考 Notebook 首部说明)

基本使用

1. 打开 Notebook：启动 Triton-Puzzles.ipynb 文件。
2. 执行代码：按顺序运行代码单元格（Cell）。
3. 完成谜题：
   • 从简单的内存加载与存储示例开始。
   • 逐步挑战更复杂的算法（如 Flash Attention、量化神经网络）。
   • 语法类似 Numpy 和 PyTorch，但需注意底层内存细节。
4. 验证结果：每个谜题内置验证逻辑，运行后即可确认是否通过。

(社区交流：https://discord.gg/gpumode #triton-puzzles)