LLVM 的高性能自动微分工具 Enzyme

这是一个包含 Enzyme Julia 绑定的软件包。目前仍处于开发阶段，欢迎提交 bug 报告和参与讨论！

Enzyme 是一个插件，用于对可静态分析的 LLVM 代码进行自动微分（AD）。它效率极高，并且能够在优化后的代码上执行 AD，因此其性能可以达到甚至超越当前最先进的自动微分工具。

Enzyme.jl 可以通过常规的 Julia 包管理方式安装：

] add Enzyme

使用 Enzyme.jl 时，只需对需要求导的函数调用 autodiff 即可，示例如下：

using Enzyme, Test

f1(x) = x*x
# 返回一个包含活跃返回值的元组，在本例中为 (2.0,)
@test first(autodiff(Reverse, f1, Active(1.0))[1]) ≈ 2.0

更多详细信息请参阅 包文档。

有关直接安装和使用 Enzyme（而非通过 Julia）的更多信息，请访问我们的官网：https://enzyme.mit.edu。

如需参与或有任何问题，请加入我们的 邮件列表。

如果您在学术研究中使用此代码，请引用以下两篇论文（第一篇为 Enzyme 整体介绍，第二篇则聚焦于 GPU 加速及优化技术）：

@inproceedings{NEURIPS2020_9332c513,
 author = {Moses, William and Churavy, Valentin},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {12472--12485},
 publisher = {Curran Associates, Inc.},
 title = {Instead of Rewriting Foreign Code for Machine Learning, Automatically Synthesize Fast Gradients},
 url = {https://proceedings.neurips.cc/paper/2020/file/9332c513ef44b682e9347822c2e457ac-Paper.pdf},
 volume = {33},
 year = {2020}
}
@inproceedings{10.1145/3458817.3476165,
 author = {Moses, William S. and Churavy, Valentin and Paehler, Ludger and H\"{u}ckelheim, Jan and Narayanan, Sri Hari Krishna and Schanen, Michel and Doerfert, Johannes},
 title = {Reverse-Mode Automatic Differentiation and Optimization of GPU Kernels via Enzyme},
 year = {2021},
 isbn = {9781450384421},
 publisher = {Association for Computing Machinery},
 address = {New York, NY, USA},
 url = {https://doi.org/10.1145/3458817.3476165},
 doi = {10.1145/3458817.3476165},
 booktitle = {Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis},
 articleno = {61},
 numpages = {16},
 keywords = {CUDA, LLVM, ROCm, HPC, AD, GPU, automatic differentiation},
 location = {St. Louis, Missouri},
 series = {SC '21}
}

Enzyme.jl 快速上手指南

Enzyme.jl 是高性能自动微分工具 Enzyme 的 Julia 语言绑定。它基于 LLVM 进行静态分析，能够对优化后的代码执行高效的自动微分（AD），性能可媲美甚至超越当前最先进的 AD 工具。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。

• 前置依赖：

  • 已安装 Julia (推荐最新稳定版)。
  • 无需额外安装 LLVM 或 C++ 编译器，Enzyme.jl 会自动处理相关二进制依赖。

• 网络建议：由于 Julia 包服务器位于海外，国内用户建议在安装前配置国内镜像源以加速下载。

  using Pkg
  Pkg.Registry.add("General")
  # 可选：配置清华或中科大镜像加速包下载
  ENV["JULIA_PKG_SERVER"] = "https://mirrors.tuna.tsinghua.edu.cn/julia"
  

安装步骤

在 Julia 的 REPL（交互式命令行）中，进入包管理模式并执行以下命令：

] add Enzyme

安装完成后，即可在项目中通过 using Enzyme 加载使用。

基本使用

Enzyme.jl 的核心用法是调用 autodiff 函数对目标函数进行微分。以下是一个计算 $f(x) = x^2$ 导数的最简示例：

using Enzyme, Test

# 定义待微分的函数
f1(x) = x*x

# 执行反向模式自动微分
# Active(1.0) 表示输入值 1.0 是需要计算梯度的活跃变量
# 返回值是一个元组，包含活跃变量的梯度结果
result = autodiff(Reverse, f1, Active(1.0))

# 提取并验证结果 (预期结果为 2.0)
@test first(result[1]) ≈ 2.0

println("导数结果：", first(result[1]))

说明：

• Reverse：指定使用反向模式微分（适用于标量输出、多输入场景）。
• Active：标记需要计算梯度的参数。
• 结果通常以元组形式返回，需根据具体结构提取梯度值。

更多高级用法（如混合模式、GPU 支持、自定义规则）请参阅 官方文档。