带约束的深度强化学习在线三维装箱问题

Online-3D-BPP-DRL

我们项目的视频链接：YouTube、bilibili

本仓库包含了论文《带约束的深度强化学习在线三维装箱问题》（Online 3D Bin Packing with Constrained Deep Reinforcement Learning）的实现，该论文发表于 arXiv:2006.14978。

安装

要使该项目正常运行，您需要完成以下两步：
* 安装 'requirements.py' 中列出的 Python 包（通过 'pip install -r requirements.txt'）。
* （此代码适用于 Python 3.7）

运行

我们在 'main.py' 中提供了一个统一的接口。以下是运行该项目的一些示例。

训练部分：

示例：在随机生成的序列上训练一个新模型。
您可以运行 'python main.py --mode train --use-cuda --item-seq rs'。大约需要一天时间才能得到一个性能令人满意的模型。

您可以通过运行 'python main.py --help' 查看一些常用参数的信息。我们的项目中还有许多其他参数定义在 'arguments.py' 文件中，所有参数都已设置了默认值，您可以根据需要进行修改。

测试部分：

示例：
如果您想测试一个基于 CUT-2 算法生成的序列训练的模型（更多细节请参阅我们的文章），可以运行以下命令：
'python main.py --mode test --load-model --use-cuda --data-name cut_2.pt --load-name default_cut_2.pt'。

如果您想观察模型在前瞻设置下的表现，可以运行：
'python main.py --mode test --load-model --use-cuda --data-name cut_2.pt --load-name default_cut_2.pt --preview x'，其中 x 表示前瞻步数。

此外，我们还提供了用户研究应用、多容器算法以及用于对比的 MCTS 的代码，请查看 'user_study/'、'multi_bin/' 和 'MCTS/' 目录以获取详细信息。

小贴士

* 不同的输入状态尺寸需要不同类型的 CNN 进行编码，您可以在 ./acktr/model.py 中调整网络架构以满足需求。

* 预测掩码主要用于降低 MCTS 的计算成本。如果您只需要 BPP-1 模型，可以在训练过程中用真实掩码替换预测掩码，这样会更容易训练。

* 如果放宽稳定性规则的约束，可能会获得更好的结果，但在实际应用中可能存在风险。

* 我们的实现对网络层数较为敏感，应避免在网络架构中出现过长的层。

* 装箱问题的难度与其物品集密切相关，训练好的模型性能也会受到其影响。

声明

赵航和谢启金是本仓库的共同作者。

部分代码改编自开源项目 'pytorch-a2c-ppo-acktr-gail'（https://github.com/ikostrikov/pytorch-a2c-ppo-acktr-gail）。

许可证

请注意，此源代码仅用于学术研究目的。未经作者授权，请勿将其用于商业用途。该方法正在申请专利保护。如需商业使用，请联系徐凯（kevin.kai.xu@gmail.com）。

引用

如果您感兴趣，请引用以下论文：

@inproceedings{DBLP:conf/aaai/ZhaoS0Y021,
  author    = {Hang Zhao and
               Qijin She and
               Chenyang Zhu and
               Yin Yang and
               Kai Xu},
  title     = {Online 3D Bin Packing with Constrained Deep Reinforcement Learning},
  booktitle = {Thirty-Fifth {AAAI} Conference on Artificial Intelligence, {AAAI}
               2021, Thirty-Third Conference on Innovative Applications of Artificial
               Intelligence, {IAAI} 2021, The Eleventh Symposium on Educational Advances
               in Artificial Intelligence, {EAAI} 2021, Virtual Event, February 2-9,
               2021},
  pages     = {741--749},
  publisher = {{AAAI} Press},
  year      = {2021},
  url       = {https://ojs.aaai.org/index.php/AAAI/article/view/16155},
  timestamp = {Wed, 02 Jun 2021 18:09:11 +0200},
  biburl    = {https://dblp.org/rec/conf/aaai/ZhaoS0Y021.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

Online-3D-BPP-DRL 快速上手指南

本指南帮助开发者快速部署并运行基于约束深度强化学习的在线 3D 装箱（Online 3D Bin Packing）项目。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应 Python 环境）
• Python 版本：Python 3.7（项目明确指定在此版本下工作）
• 硬件加速：推荐使用支持 CUDA 的 NVIDIA GPU 以加速训练和推理（可选，但强烈推荐）
• 前置依赖：确保已安装 pip 包管理工具

安装步骤

1. 克隆项目代码 首先获取源代码（假设您已下载或克隆了该仓库）：

   git clone https://github.com/your-repo/Online-3D-BPP-DRL.git
   cd Online-3D-BPP-DRL
   

2. 安装 Python 依赖 使用 pip 安装项目所需的依赖包。国内用户建议使用清华源或阿里源加速下载：

   # 官方源
   pip install -r requirements.txt
   
   # 或使用国内镜像源（推荐）
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

项目通过 main.py 提供统一接口，支持训练新模型和测试已有模型。

1. 训练新模型

以下命令将使用随机生成的物品序列训练一个新模型。启用 --use-cuda 可使用 GPU 加速。

注意：训练出一个性能满意的模型大约需要一天时间。

python main.py --mode train --use-cuda --item-seq rs

如需查看其他可用参数说明，可运行：

python main.py --help

更多高级参数配置可在 arguments.py 文件中修改。

2. 测试模型

以下命令加载预训练模型（基于 CUT-2 算法生成的数据）进行测试：

python main.py --mode test --load-model --use-cuda --data-name cut_2.pt --load-name default_cut_2.pt

前瞻模式测试： 如果您想观察模型在“前瞻”（lookahead）设置下的表现，可添加 --preview 参数，其中 x 为前瞻步数：

python main.py --mode test --load-model --use-cuda --data-name cut_2.pt --load-name default_cut_2.pt --preview x

3. 其他示例

项目还包含了用户研究应用、多箱体算法及 MCTS 对比代码，详情请查阅以下目录：

• user_study/
• multi_bin/
• MCTS/