用于序列决策的扩散模型：综述

本仓库包含关于序列决策领域中扩散模型的相关资源和论文集。

:rocket: 请查看我们的综述论文 用于强化学习的扩散模型：综述

目录

• 用于序列决策的扩散模型：综述
  • 目录
  • 论文
    • 离线强化学习
    • 在线强化学习
    • 模仿学习
    • 轨迹生成
    • 数据增强
  • 引用

论文

离线强化学习

• 基于扩散的规划用于灵活的行为合成, ICML 2022. [论文] [代码]

• 扩散策略作为离线强化学习中富有表现力的策略类, ICLR 2023. [论文] [代码]

• 通过高保真生成式行为建模实现离线强化学习, ICLR 2023. [论文] [代码]

• 条件生成建模是否足以应对决策任务？, ICLR 2023. [论文] [代码]

• AdaptDiffuser: 扩散模型作为自适应的自我演化规划器, ICML 2023. [论文] [代码]

• Metadiffuser: 扩散模型作为离线元强化学习的条件规划器, ICML 2023. [论文]

• 用于离线决策的层次化扩散, ICML 2023. [论文] [代码]

• 对比能量预测用于离线强化学习中精确的能量引导扩散采样, ICML 2023. [论文] [代码]

• 语言控制扩散：在空间、时间和任务之间高效扩展, arXiv 2023. [论文] [代码]

• IDQL: 隐式Q学习作为一种结合扩散策略的演员—评论家方法, arXiv 2023. [论文] [代码]

• 扩散模型是多任务强化学习中有效的规划器和数据合成器, NeurIPS 2023. [论文] [代码]

• EDGI: 等变扩散用于具身智能体的规划, NeurIPS 2023. [论文]

• 从扩散模型中提取奖励函数, NeurIPS 2023. [论文]

• 预训练的文本到图像模型能否为强化学习生成视觉目标？, NeurIPS 2023. [论文]

• 奖励导向的条件扩散：可证明的分布估计与奖励提升, NeurIPS 2023. [论文] [代码]

• 通过自动检测不可行计划来优化扩散规划器以实现可靠的行为合成, NeurIPS 2023. [论文] [代码]

• SafeDiffuser: 基于扩散概率模型的安全规划, arXiv 2023. [论文]

• 用于离线强化学习的高效扩散策略, arXiv 2023. [论文] [代码]

• MADiff: 基于扩散模型的离线多智能体学习, arXiv 2023. [论文] [代码]

• 超越保守主义：离线多智能体强化学习中的扩散策略, arXiv 2023. [论文]

• 用梯度对抗不确定性：基于扩散分数匹配的离线强化学习, CoRL 2023. [论文] [代码]

• 利用条件扩散模型进行控制的价值函数估计, arXiv 2023. [论文]

• 具有时间条件指导的指令型扩散器用于离线强化学习, arXiv 2023. [论文]

• 用于离线强化学习中分布外泛化的扩散策略, arXiv 2023. [论文]

• 扩散策略作为多智能体强化学习策略, ICANN 2023. [论文]

• DiffCPS: 基于扩散模型的约束策略搜索用于离线强化学习, arXiv 2023. [论文] [代码]

• 通过扩散行为进行分数正则化的策略优化, ICLR 2024. [论文] [代码]

• 基于扩散模型的自适应在线重规划, arXiv 2023. [论文]

• AlignDiff: 通过行为可定制的扩散模型对齐多样化的人类偏好, arXiv 2023. [论文] [代码]

• SkillDiffuser: 基于技能抽象的可解释层次化规划在扩散驱动的任务执行中, CVPR 2024. [论文] [网站]

• 通过Q分数匹配从奖励中学习扩散模型策略, arXiv 2023. [论文]

• 使用扩散进行简单的层次化规划, ICLR 2024. [论文]

• 在离线强化学习中使用潜在扩散进行推理, ICLR 2024. [论文]

• 使用潜在扩散进行高效规划, ICLR 2024. [论文]

• 对比扩散器：通过对比学习规划至高回报状态, arXiv 2024. [论文]

• DMBP: 基于扩散模型的状态观测扰动鲁棒性预测器用于离线强化学习, ICLR 2024. [论文] [代码]

• 带有Q集成的熵正则化扩散策略用于离线强化学习, arXiv 2024. [论文] [代码]

• 扩散世界模型, arXiv 2024. [论文]

• 扩散世界模型, OpenReview 2024. [论文]

• 策略引导的扩散, arXiv 2024. [论文] [代码]

在线强化学习

• 基于扩散概率模型的强化学习策略表示，arXiv 2023。[论文]

• 利用一致性策略提升连续控制性能，arXiv 2023。[论文]

• 扩散奖励：通过条件视频扩散学习奖励函数，arXiv 2023。[论文] [网站] [代码]

• ATraDiff：利用想象轨迹加速在线强化学习，OpenReview 2024。[论文]

示范学习

• 使用扩散模型模仿人类行为，ICLR 2023。[论文] [代码]

• 扩散策略：基于动作扩散的视觉-运动策略学习，RSS 2023。[论文] [代码]

• 基于分数函数的扩散策略实现目标条件示范学习，RSS 2023。[论文] [代码]

• 向噪声进发再回归：用于共享自主性的扩散方法，RSS 2023。[论文] [代码]

• DALL-E-Bot：将大规模网络级扩散模型引入机器人领域，RAL 2023。[论文]

• 向上扩展与向下提炼：语言引导的机器人技能获取，CoRL 2023。[论文] [代码]

• XSkill：跨本体技能发现，CoRL 2023。[论文]

• ChainedDiffuser：统一轨迹扩散与关键点姿态预测以支持机器人操作，CoRL 2023。[论文] [代码]

• PlayFusion：通过语言标注的游戏进行扩散式技能获取，CoRL 2023。[论文]

• 生成式技能链：基于扩散模型的长 horizon 技能规划，CoRL 2023。[论文] [代码]

• 用于从游戏中学习的多模态扩散 Transformer，CoRL 2023。[论文]

• GNFactor：基于可泛化神经特征场的多任务真实机器人学习，CoRL 2023。[论文] [代码]

• Crossway Diffusion：通过自监督学习改进基于扩散的视觉-运动策略，arXiv 2023。[论文] [代码]

• 用于协同人机合作任务的扩散共策略，arXiv 2023。[论文] [代码]

• 用于层次化规划的组合基础模型，NeurIPS 2023。[论文] [代码]

• 利用潜在扩散模型生成行为多样化的策略，NeurIPS 2023。[论文]

• NoMaD：用于导航与探索的目标掩码扩散策略，arXiv 2023。[论文] [代码]

• 利用预训练的图像编辑扩散模型实现零样本机器人操作，arXiv 2023。[论文]

• 基于净化后的演示数据进行示范学习，arXiv 2023。[论文]

• 规划即补洞：一种基于扩散的具身任务规划框架，适用于不确定性环境，arXiv 2023。[论文]

• 扩散遇见 DAgger：为眼手协调示范学习注入强大动力，arXiv 2024。[论文]

• 3D 扩散策略，arXiv 2024。[论文] [网站] [代码]

• 基于离散扩散的大规模无动作视频预训练，用于高效策略学习，arXiv 2024。[论文] [网站]

• SculptDiff：基于目标条件扩散策略，从人类处学习机器人泥塑技能，arXiv 2024。[论文] [网站] [代码]

• 子目标扩散器：由粗到细生成子目标，以指导机器人操作中的模型预测控制，ICRA 2024。[论文] [网站]

• 面向运动学感知的多任务机器人操作的层次化扩散策略，CVPR 2024，[论文] [代码] [网站]

• 扩散 EDFs：在 SE(3) 上进行双等变去噪生成建模，用于视觉引导的机器人操作，CVPR 2024，[论文] [代码] [网站]

轨迹生成

• MotionDiffuse：基于扩散模型的文本驱动人体运动生成，arXiv 2022。[论文] [代码]

• 人体运动扩散模型，ICLR 2023。[论文] [代码]

• 通过潜在空间中的运动扩散执行指令，CVPR 2023。[论文] [代码]

• MoFusion：一种基于去噪扩散的运动合成框架，CVPR 2023。[论文] [代码]

• ReMoDiffuse：检索增强型运动扩散模型，ICCV 2023。[论文] [代码]

• MotionDiffuser：使用扩散模型进行可控的多智能体运动预测，CVPR 2023。[论文]

• 通过文本引导的视频生成学习通用策略，NeurIPS 2023。[论文]

• EquiDiff：用于轨迹预测的条件等变扩散模型，arXiv 2023。[论文]

• 运动规划扩散：利用扩散模型学习与规划机器人运动，IROS 2023。[论文] [代码]

• EDMP：基于成本集合引导的运动规划扩散模型，arXiv 2023。[论文] [代码]

• 使用可组合扩散模型采样受限轨迹，IROS 2023。[论文]

• DiMSam：在部分可观测环境下作为任务和运动规划采样器的扩散模型，arXiv 2023。[论文]

• 用于学习无碰撞轨迹生成的条件化得分模型，NeurIPSW 2022。[论文]

• 视频语言规划，arXiv 2023。[论文] [代码]

• 通过密集对应关系从无动作视频中学习行动，arXiv 2023。[论文] [代码]

• 学习交互式真实世界模拟器，arXiv 2023。[论文]

• DNAct：扩散引导的多任务三维策略学习，arXiv 2024。[论文] [网站]

• 单运动扩散，ICLR 2024，[论文] [代码] [网站]

• READ：用于运动规划的检索增强非对称扩散模型，CVPR 2024，[论文] [代码]

数据增强

• 通过语义想象的经验扩展机器人学习，RSS 2023。[论文]

• GenAug：通过生成式数据增强将行为迁移至未见场景，RSS 2023。[论文] [代码]

• 合成经验回放，NeurIPS 2023。[论文] [代码]

• 基于策略引导的轨迹扩散的世界模型，arXiv 2023。[论文]

• 通过轨迹拼接提炼条件扩散模型以用于离线强化学习，arXiv 2024。[论文]

• DiffStitch：利用基于扩散的轨迹拼接提升离线强化学习，arXiv 2024。[论文]

• Flow to Better：通过偏好轨迹生成实现基于偏好的离线强化学习，ICLR 2024。[论文] [代码]

引用

@article{zhu2023diffusion,
  title={强化学习中的扩散模型：综述},
  author={Zhu, Zhengbang and Zhao, Hanye and He, Haoran and Zhong, Yichao and Zhang, Shenyu and Yu, Yong and Zhang, Weinan},
  journal={arXiv预印本 arXiv:2311.01223},
  year={2023}
}

Diff4RLSurvey 快速上手指南

Diff4RLSurvey 并非一个可直接运行的单一软件库，而是一个综述资源集合，汇集了基于扩散模型（Diffusion Models）进行序列决策（如强化学习、模仿学习）的论文与代码链接。本指南将指导你如何利用该资源找到并运行相关的开源项目。

环境准备

由于该仓库包含多个不同子项目的链接，具体环境要求取决于你选择的论文实现。但大多数基于扩散模型的强化学习项目具有以下通用前置依赖：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: Python 3.8 - 3.10
• 深度学习框架: PyTorch (通常版本 >= 1.10)
• 硬件要求: 建议配备 NVIDIA GPU (显存 >= 8GB)，部分大型模型需要更高配置
• 包管理工具: pip 或 conda

推荐国内加速方案： 在安装 Python 依赖时，建议使用清华源或阿里源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

由于 Diff4RLSurvey 本身只是一个目录列表，你需要先浏览其整理的论文列表，选择感兴趣的项目（例如 Diffusion Policy 或 Diffuser），然后进入对应项目的 GitHub 仓库进行安装。

以下以列表中热门的 Diffusion Policy 为例演示安装流程：

1. 克隆目标项目代码

   git clone https://github.com/real-stanford/diffusion_policy.git
   cd diffusion_policy
   

2. 创建虚拟环境

   conda create -n diffpolicy python=3.8
   conda activate diffpolicy
   

3. 安装依赖 （若项目提供 requirements.txt）

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   （若项目使用 setup.py）

   pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
   

注意：对于列表中的其他项目（如 diffuser, beso, madiff 等），请替换上述第一步中的仓库地址，并严格参照该项目根目录下的 README.md 进行依赖安装。

基本使用

使用流程通常分为三个阶段：查找资源 -> 配置任务 -> 运行训练/评估。

1. 查找资源

访问 Diff4RLSurvey GitHub 页面，在 Papers 章节下根据需求筛选：

• Offline RL: 离线强化学习（如 Diffuser, EDP）
• Imitation Learning: 模仿学习（如 Diffusion Policy, BESO）
• Online RL: 在线强化学习

点击对应论文的 [code] 链接跳转至具体实现仓库。

2. 运行示例 (以 Diffusion Policy 为例)

大多数项目会提供预配置的脚本用于快速复现结果。

启动训练：

python train.py --config configs/push_t_diffusion_transformer.yaml

启动评估/可视化：

python eval.py --config configs/push_t_diffusion_transformer.yaml --checkpoint outputs/checkpoint_latest.pt

3. 自定义开发

若需将扩散模型应用于新任务，通常只需修改配置文件中的 dataset_dir（数据集路径）和 task_name，无需大幅改动核心代码。例如：

# config.yaml
task_name: "your_custom_task"
dataset_dir: "/path/to/your/dataset"
diffusion:
  n_steps: 100
  horizon: 16

通过这种方式，你可以利用 Diff4RLSurvey 提供的丰富生态，快速验证扩散模型在不同决策场景下的效果。