强化学习求解车辆路径问题

我们使用强化学习来解决旅行商问题（TSP）和车辆路径问题（VRP）。

论文

我们的论文实现：强化学习求解车辆路径问题。

依赖项

• Numpy
• tensorflow≥1.2
• tqdm

如何运行

训练

默认情况下，代码在单个GPU上以训练模式运行。要运行代码，可以使用以下命令：

python main.py --task=vrp10

也可以添加其他配置参数，例如：

python main.py --task=vrp10 --gpu=0 --n_glimpses=1 --use_tanh=False 

所有配置的完整列表可以在 config.py 文件中找到。此外，任务特定的参数可在 task_specific_params.py 中获取。

推理

要运行训练好的模型进行推理，可以关闭训练模式。为此，需要指定已训练模型的目录；否则将使用随机初始化的模型进行解码：

python main.py --task=vrp10 --is_train=False --model_dir=./path_to_your_saved_checkpoint

默认的推理是以批处理模式进行的，即同时输入所有测试实例。也可以采用单个实例的推理模式，即逐个解码实例。后一种方式用于报告运行时间，并会显示详细的报告。要以单个实例模式运行推理，可以尝试：

python main.py --task=vrp10 --is_train=False --infer_type=single --model_dir=./path_to_your_saved_checkpoint

日志

所有日志都存储在 ./logs/task_date_time 目录下的 result.txt 文件中。

CVRP 示例解决方案

致谢

感谢 pemami4911/neural-combinatorial-rl-pytorch 提供了重构代码的思路。

VRP-RL 快速上手指南

VRP-RL 是一个基于强化学习解决车辆路径问题（VRP）和旅行商问题（TSP）的开源项目，实现了论文《Reinforcement Learning for Solving the Vehicle Routing Problem》中的算法。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应 Python 环境）
• Python 版本：建议 Python 3.6+
• 硬件要求：支持 CUDA 的 NVIDIA GPU（用于加速训练），单卡即可运行
• 前置依赖：
  • numpy
  • tensorflow (版本 >= 1.2)
  • tqdm

国内加速建议：安装依赖时推荐使用清华或阿里镜像源以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy tensorflow>=1.2 tqdm

安装步骤

1. 克隆项目代码

   git clone <项目仓库地址>
   cd <项目目录>
   

   (注：请将 <项目仓库地址> 替换为实际的 GitHub 仓库链接)

2. 安装 Python 依赖 使用 pip 安装所需库（推荐国内镜像）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

   如果项目中没有 requirements.txt，请直接运行：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy tensorflow>=1.2 tqdm
   

基本使用

1. 训练模型 (Train)

默认情况下，代码将在单个 GPU 上启动训练模式。以下命令以解决 10 个节点的 VRP 问题（vrp10）为例：

python main.py --task=vrp10

您可以添加更多配置参数，例如指定 GPU 编号、调整网络结构等：

python main.py --task=vrp10 --gpu=0 --n_glimpses=1 --use_tanh=False 

提示：完整的配置参数列表请参阅 config.py 文件，任务特定参数可在 task_specific_params.py 中查看。

2. 推理/测试 (Inference)

训练完成后，可以使用保存的模型进行推理。您需要指定模型检查点目录，否则将使用随机初始化的模型。

批量推理模式（默认）：同时处理所有测试实例，适合大规模评估。

python main.py --task=vrp10 --is_train=False --model_dir=./path_to_your_saved_checkpoint

单例推理模式：逐个解码实例，适用于报告详细运行时间和生成详细日志。

python main.py --task=vrp10 --is_train=False --infer_type=single --model_dir=./path_to_your_saved_checkpoint

3. 查看日志

所有的训练和推理日志将保存在 ./logs/task_date_time 目录下的 result.txt 文件中。