用于编译器优化任务的强化学习环境。

更多信息请访问 官网

简介

CompilerGym 是一个易于使用且性能优越的编译器任务强化学习环境库。它使机器学习研究人员能够以他们熟悉的语言和术语与重要的编译器优化问题进行交互，并为系统开发者提供了一个工具包，用于向机器学习研究开放新的编译器任务。我们的目标是利用机器学习技术加速编译器的发展。其主要特点包括：

• 易用性： 基于流行的 Gym 接口构建——您可以使用 Python 编写智能体。借助 CompilerGym，构建用于编译器研究问题的机器学习模型就像构建用于玩电子游戏的机器学习模型一样简单。

• 开箱即用： 包含开始所需的一切。封装了真实世界的程序和编译器，提供数百万个训练实例。提供了多种预计算的程序表示形式：您可以专注于端到端深度学习或特征工程结合集成树模型，甚至图模型。针对不同优化目标的奖励函数和损失函数均已内置。

• 可复现性： 提供结果正确性的验证、常用基线以及用于提交结果的 排行榜。

欲了解未来计划，请查看我们的 路线图。

最新消息

• 2022年11月：CompilerGym v0.2.5 添加对 Python 3.10 的支持，并停止对 Python 3.7 的支持。完整详情请参阅 发布说明。
• 2022年4月：⭐️ CompilerGym 在 CGO'22 上荣获 杰出论文奖！您可以在 这里 阅读我们的研究成果。
• 2022年4月：📖 我们在 CGO'22 上的 教程 受到广泛关注。如果您错过了活动，可以在此处学习相关材料 这里。
• 2021年9月：📄 CompilerGym 被刊登在 Meta AI 研究博客 上。您可以在 这里 阅读该文章。

安装

使用以下命令安装最新版本的 CompilerGym：

pip install -U compiler_gym

更多详细信息请参阅 INSTALL.md。

使用方法

开始使用 CompilerGym 非常简单。如果您还不熟悉 Gym 接口，请参考 快速入门指南，了解关键概念。

在 Python 中，导入 compiler_gym 即可使用这些环境：

>>> import compiler_gym                      # 导入 CompilerGym 环境
>>> env = compiler_gym.make(                 # 创建一个新的环境（类似于 gym.make）
...     "llvm-v0",                           # 选择要使用的编译器
...     benchmark="cbench-v1/qsort",         # 选择要编译的程序
...     observation_space="Autophase",       # 选择观测空间
...     reward_space="IrInstructionCountOz", # 选择优化目标
... )
>>> env.reset()                              # 开始一个新的编译会话
>>> env.render()                             # 打印程序的中间表示
>>> env.step(env.action_space.sample())      # 应用随机优化，更新状态、奖励和动作
>>> env.close()                              # 关闭环境，释放资源

有关智能体实现、环境扩展等内容，请参阅 examples 目录。API 参考文档请访问 文档网站。

排行榜

这些排行榜记录了用户提交的算法在 CompilerGym 任务中的表现。如需提交结果，请参阅 此文档。

LLVM 指令计数

LLVM 是一款流行的开源编译器，在工业界和研究领域得到广泛应用。llvm-ic-v0 环境将 LLVM 的优化传递暴露为一组可应用于特定程序的操作。智能体的目标是选择能够使待编译程序的指令数量减少最多的优化序列。奖励是所实现的指令数量减少量，按 LLVM 内置 -Oz 优化流水线所达到的减少量进行归一化。

该排行榜记录了算法在 cbench-v1 数据集中的 23 个基准测试上，于 llvm-ic-v0 环境中取得的结果。

作者	算法	链接	日期	实际运行时间（均值）	代码大小缩减倍率（几何平均）
Robin Schmöcker、Yannik Mahlau、Nicolas Fröhlich	PPO + 引导搜索	说明、结果	2022-02	69.821秒	1.070×
Facebook	随机搜索（t=10800）	说明、结果	2021-03	10,512.356秒	1.062×
Facebook	随机搜索（t=3600）	说明、结果	2021-03	3,630.821秒	1.061×
Facebook	贪心搜索	说明、结果	2021-03	169.237秒	1.055×
Anthony. W. Jung	GATv2 + DD-PPO	说明、结果	2022-06	258.149秒	1.047×
Facebook	随机搜索（t=60）	说明、结果	2021-03	91.215秒	1.045×
Facebook	e-贪心搜索（e=0.1）	说明、结果	2021-03	351.611秒	1.041×
Jiadong Guo	表格 Q 学习（N=5000，H=10）	说明、结果	2021-04	2534.305秒	1.036×
Facebook	随机搜索（t=10）	说明、结果	2021-03	42.939秒	1.031×
Patrick Hesse	DQN（N=4000，H=10）	说明、结果	2021-06	91.018秒	1.029×
Jiadong Guo	表格 Q 学习（N=2000，H=5）	说明、结果	2021-04	694.105秒	0.988×

贡献

我们欢迎对 CompilerGym 的贡献。如果您有兴趣参与，请参阅 此文档。

引用

如果您在任何工作中使用了 CompilerGym，请引用 我们的论文：

@inproceedings{CompilerGym,
      title={{CompilerGym: Robust, Performant Compiler Optimization Environments for AI Research}},
      author={Chris Cummins and Bram Wasti and Jiadong Guo and Brandon Cui and Jason Ansel and Sahir Gomez and Somya Jain and Jia Liu and Olivier Teytaud and Benoit Steiner and Yuandong Tian and Hugh Leather},
      booktitle={CGO},
      year={2022},
}

CompilerGym 快速上手指南

CompilerGym 是一个用于编译器优化任务的强化学习环境库。它基于流行的 Gym 接口构建，让机器学习研究者能够像训练游戏 AI 一样，轻松探索编译器优化问题（如指令计数减少、代码体积优化等）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu) 或 macOS。Windows 支持可能受限，建议使用 WSL2。
• Python 版本：Python 3.8, 3.9 或 3.10 (v0.2.5+ 已不再支持 Python 3.7)。
• 前置依赖：
  • pip (Python 包管理工具)
  • git (用于克隆示例代码，可选)
  • 基础编译工具链 (如 build-essential, cmake 等，通常安装 LLVM 后端时需要)

注意：CompilerGym 底层依赖 LLVM 编译器基础设施。虽然 pip 安装通常会处理大部分二进制依赖，但在某些 Linux 发行版上，可能需要手动安装系统级的 LLVM 开发库以确保最佳兼容性。

安装步骤

推荐使用 pip 直接安装最新稳定版。国内用户若遇到下载速度慢的问题，可使用清华或阿里镜像源加速。

方式一：使用官方源安装

pip install -U compiler_gym

方式二：使用国内镜像源加速（推荐）

pip install -U compiler_gym -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，可通过以下命令验证是否安装成功（若无报错则说明成功）：

python -c "import compiler_gym; print(compiler_gym.__version__)"

详细的高级安装选项（如从源码构建特定 LLVM 版本）请参考项目仓库中的 INSTALL.md 文件。

基本使用

CompilerGym 的使用方式与 OpenAI Gym 完全一致。以下是一个最小化的示例，展示如何创建一个 LLVM 优化环境、重置状态、执行随机动作并查看结果。

代码示例

创建一个名为 quick_start.py 的文件，填入以下内容：

>>> import compiler_gym                      # 导入 CompilerGym 环境
>>> env = compiler_gym.make(                 # 创建新环境 (用法同 gym.make)
...     "llvm-v0",                           # 选择编译器后端 (LLVM)
...     benchmark="cbench-v1/qsort",         # 选择待编译的基准程序 (qsort)
...     observation_space="Autophase",       # 选择观察空间 (程序特征表示)
...     reward_space="IrInstructionCountOz", # 选择优化目标 (以减少指令数为奖励)
... )
>>> env.reset()                              # 开始新的编译会话
>>> env.render()                             # 打印程序的中间表示 (IR)
>>> env.step(env.action_space.sample())      # 执行一个随机优化动作，更新状态/奖励
>>> env.close()                              # 关闭环境，释放资源

运行说明

1. 将上述代码保存为 .py 文件。
2. 在终端运行：python quick_start.py。
3. 程序将初始化环境，输出程序的 IR 代码，并执行一步随机优化策略。

下一步建议

• 更多示例：查看项目根目录下的 examples 文件夹，其中包含了完整的 Agent 实现和环境扩展案例。
• 文档参考：访问 CompilerGym 官方文档网站 获取详细的 API 参考和概念指南。
• 排行榜：关注 llvm-ic-v0 等环境的排行榜，了解当前 SOTA 算法的性能表现。