Hidet：一个开源深度学习编译器

文档 | 研究论文 | 发布版本 | 贡献指南

Hidet 是一个用 Python 编写的开源深度学习编译器。 它支持从 PyTorch 和 ONNX 到高效 CUDA 内核的端到端 DNN 模型编译。 通过一系列图级和算子级优化来提升性能。

目前，Hidet 主要专注于优化 NVIDIA GPU 上的推理工作负载，需要满足以下条件：

• Linux 操作系统
• CUDA Toolkit 11.6+
• Python 3.9+

快速入门

安装

请通过以下命令安装 Hidet：

pip install hidet

您也可以通过 从源码构建 的方式安装 Hidet。

使用

通过 Hidet 优化一个 PyTorch 模型（需 PyTorch 2.3）：

import torch

# 定义 PyTorch 模型
model = torch.hub.load('pytorch/vision:v0.6.0', 'resnet18', pretrained=True).cuda().eval()
x = torch.rand(1, 3, 224, 224).cuda()

# 通过 Hidet 编译模型
# 可选：设置优化选项（详情请参阅我们的文档）
#   import hidet 
#   hidet.torch.dynamo_config.search_space(2)  # 调优每个可调优算子
model_opt = torch.compile(model, backend='hidet')  

# 运行优化后的模型
y = model_opt(x)

更多用法请参阅以下教程：

• 快速入门

出版物

Hidet 源自以下研究工作：

Hidet：面向深度学习张量程序的任务映射编程范式
丁耀耀、Cody Hao Yu、郑博健、刘一智、王一达、Gennady Pekhimenko。
ASPLOS '23

如果您在研究中使用了 Hidet，欢迎引用我们的 论文。

开发

Hidet 目前由 CentML Inc 团队积极开发中。

贡献

我们欢迎社区的贡献。更多详情请参阅 贡献指南。

许可证

Hidet 采用 Apache 2.0 许可证 发布。

Hidet 快速上手指南

Hidet 是一个用 Python 编写的开源深度学习编译器，支持将 PyTorch 和 ONNX 模型端到端编译为高效的 CUDA 内核，专为 NVIDIA GPU 上的推理负载优化。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux
• CUDA Toolkit：版本 11.6 或更高
• Python：版本 3.9 或更高
• PyTorch：建议使用 PyTorch 2.3（用于 torch.compile 集成）

安装步骤

推荐使用 pip 进行安装：

pip install hidet

如果您需要从源码构建以获取最新功能或进行开发，请参考官方文档中的 从源码构建指南。

提示：国内开发者若遇到下载速度慢的问题，可使用国内镜像源加速安装：

pip install hidet -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是通过 Hidet 优化 PyTorch 模型的最简示例。该示例加载一个预训练的 ResNet18 模型并使用 Hidet 后端进行编译加速。

import torch

# 定义 PyTorch 模型
model = torch.hub.load('pytorch/vision:v0.6.0', 'resnet18', pretrained=True).cuda().eval()
x = torch.rand(1, 3, 224, 224).cuda()

# 通过 Hidet 编译模型
# 可选：设置优化选项（详见官方文档）
#   import hidet 
#   hidet.torch.dynamo_config.search_space(2)  # 调整每个可调节算子的搜索空间
model_opt = torch.compile(model, backend='hidet')  

# 运行优化后的模型
y = model_opt(x)

更多详细用法和进阶教程，请访问 Hidet 快速入门教程。