awesome-multi-modal-reinforcement-learning

GitHub
596 21 非常简单 1 次阅读 3天前Apache-2.0其他
AI 解读 由 AI 自动生成，仅供参考

awesome-multi-modal-reinforcement-learning 是一个持续更新的多模态强化学习（MMRL）资源精选列表，旨在汇聚该领域的前沿研究论文与技术成果。它主要解决了研究人员在面对海量学术文献时难以快速定位高质量、跨模态（如视觉图像与自然语言文本）强化学习资料的痛点。通过系统性地整理来自 NeurIPS、ICML、ICLR 等顶级会议的最新论文，该项目为探索如何让智能体像人类一样直接从视频或文本中学习提供了清晰的路径。

这份资源特别适合人工智能领域的研究人员、算法工程师以及对多模态学习感兴趣的开发者使用。无论是希望追踪最新学术动态，还是寻找特定实验环境下的基准测试参考，用户都能从中获得宝贵线索。其独特亮点在于不仅收录了严格意义上的强化学习论文，还包容性地纳入了虽非直接相关但对 MMRL 研究具有启发意义的跨学科成果，并详细标注了每篇论文的核心关键词、作者团队及实验环境，极大地提升了文献调研的效率与深度。作为一个由社区共同维护的开源项目，它正成为连接理论创新与实际应用的重要桥梁。

使用场景

某机器人实验室团队正致力于研发一款能同时理解视觉指令和自然语言的家庭服务机器人，需要快速复现前沿的多模态强化学习算法以验证新架构。

没有 awesome-multi-modal-reinforcement-learning 时

  • 文献检索如大海捞针：研究人员需在 ArXiv、NeurIPS、ICLR 等多个会议中手动筛选，极易遗漏像"PRIMT"或"VL-Rethinker"这类结合基础模型与多模态反馈的关键论文。
  • 环境复现成本高昂：找到论文后，往往难以确认其具体的实验环境（如是用于机械臂操作还是文本生成），导致在错误的仿真平台上浪费数周时间搭建代码。
  • 技术路线判断滞后：由于缺乏按年份和会议分类的结构化整理，团队难以快速把握从 2019 年到 2025 年的技术演进脉络，容易在过时的方法上投入过多资源。
  • 跨模态关联困难：难以发现那些虽非纯 RL 但对多模态感知有重要价值的跨界研究，限制了智能体从视频和文本中直接学习的能力上限。

使用 awesome-multi-modal-reinforcement-learning 后

  • 一站式获取前沿成果：直接查阅该清单即可锁定最新顶会论文，迅速定位到针对“多模态反馈”和“轨迹合成”的最新解决方案，将调研时间从数周缩短至数小时。
  • 精准匹配实验场景：通过清单中明确标注的"ExpEnv"字段，团队能立即确认哪些算法适用于"6 项机械臂操作任务”，从而跳过无效尝试，直接复用适配的代码框架。
  • 清晰把握演进趋势：利用按会议年份（如 ICLR 2024/2025）分类的目录，团队能快速梳理出视觉 - 语言模型推理能力的提升路径，制定出更具前瞻性的研发路线图。
  • 拓宽技术视野：清单收录的非纯 RL 相关论文为团队提供了额外的灵感来源，成功引入了新的神经符号融合思路，显著提升了机器人对复杂指令的理解精度。

awesome-multi-modal-reinforcement-learning 通过结构化整合全球顶尖研究成果，让研发团队从繁琐的文献挖掘中解放出来，专注于核心算法的创新与落地。

运行环境要求

GPU

未说明

内存

未说明

依赖
notes该仓库是一个多模态强化学习（MMRL）研究论文的精选列表（Awesome List），并非一个可直接运行的软件工具或代码库。因此，README 中不包含具体的操作系统、GPU、内存、Python 版本或依赖库等运行环境需求。用户需根据列表中具体论文对应的独立代码仓库来查询各自的运行环境要求。
python未说明
awesome-multi-modal-reinforcement-learning hero image

快速开始

令人惊叹的多模态强化学习

Awesome 访问者徽章 文档 GitHub 星标 GitHub 分叉数 GitHub 许可证

这是一个关于多模态强化学习 (MMRL) 的研究论文合集。 该仓库将持续更新，以追踪 MMRL 的前沿进展。 部分论文可能与强化学习无关，但我们仍将其收录，因为它们对 MMRL 研究可能具有参考价值。

欢迎关注并点赞！

简介

多模态强化学习智能体专注于像人类一样从视频（图像）、语言（文本）或两者中学习。我们认为，智能体直接从图像或文本中学习非常重要，因为这类数据很容易从互联网上获取。

飞书20220922-161353

目录

论文

格式：
- [标题](论文链接) [链接]
  - 作者。
  - 关键词。
  - 实验环境。

NeurIPS 2025

ICML 2025

  • ABNet：用于安全且可扩展的机器人学习的自适应显式屏障网络

    • 魏晓、王敦轩、甘闯、丹妮拉·鲁斯
    • 关键词：安全学习、机器人学习、可扩展学习、屏障网络、可证明的安全性、强化学习、多模态控制。
    • 实验环境：二维机器人避障、安全机器人操作、基于视觉的端到端自动驾驶。

  • DexScale：自动化数据缩放以实现Sim2Real泛化机器人控制

    • 刘桂良、邓越慈、赵润毅、周华义、陈健、陈继涛、徐瑞燕、邰云鑫、贾奎
    • 关键词：数据引擎、具身AI、机器人控制、操作、策略学习、Sim2Real、领域随机化、领域适应、强化学习、多模态控制。
    • 实验环境：机器人操作任务（如抓取与放置）、多样化任务、多种机器人形态。

  • DynaMind：针对具身决策制定的抽象视频动态推理

    • 王子儒、王梦梦、戴洁、马特利、齐国俊、刘勇、戴广、王井东
    • 关键词：具身决策、多模态学习、视频动态抽象、机器人学习。
    • 实验环境：LOReL Sawyer、Franka Kitchen、BabyAI、真实场景。

  • Craftium：弥合丰富3D单/多智能体环境中的灵活性与效率

    • 米克尔·马拉贡、何苏·塞贝里奥、何塞·A·洛萨诺
    • 关键词：3D环境、强化学习、多智能体系统、具身AI。
    • 实验环境：Craftium构建的一对一多智能体战斗环境、Craftium中的开放世界环境、Craftium构建的程序化3D地牢。

  • 逐层对齐：视觉语言模型中图像编码器各层的安全对齐研究

    • 萨凯斯·巴楚、埃尔凡·沙耶加尼、罗希特·拉尔、特里什娜·查克拉博蒂、阿林达姆·杜塔、宋成宇、董悦、纳埃尔·B·阿布-加扎莱、阿米特·罗伊-乔杜里
    • 关键词：视觉语言模型、安全对齐、人类反馈强化学习（RLHF）、多模态强化学习。
    • 实验环境：Jailbreak-V28K、AdvBench-COCO（源自AdvBench和MS-COCO）、HH-RLHF、VQA-v2、自定义提示。

ICLR 2025

  • 视觉语言模型是上下文价值学习者

    • 马叶诚、乔伊·海纳、付楚源、德鲁夫·沙赫、杰基·梁、许卓、肖恩·基尔马尼、徐鹏、丹尼·德里斯、泰德·萧、奥斯伯特·巴斯塔尼、迪内什·贾亚拉曼、于文浩、张婷楠、多尔萨·萨迪格、夏菲
    • 关键词：机器人学习、视觉语言模型、价值估计、操作
    • 实验环境：超过300种不同的现实世界任务，涵盖多种机器人平台，包括双臂操作任务。

  • TopoNets：具有类脑拓扑结构的高性能视觉与语言模型

    • 马尤克·德布、迈纳克·德布、阿普尔瓦·拉坦·穆尔蒂
    • 关键词：拓扑结构、神经启发、卷积神经网络、Transformer、视觉皮层、神经科学
    • 实验环境：ResNet-18、ResNet-50、ViT、GPT-Neo-125M、NanoGPT。

  • LOKI：利用大型多模态模型的综合合成数据检测基准

    • 叶俊彦、周百川、黄子龙、张俊安、白天义、康恒睿、何军、林洪林、王子豪、吴彤、吴志正、陈一平、林大华、何聪辉、李伟嘉
    • 关键词：LMMs、Deepfake、多模态性
    • 实验环境：视频、图片、3D、文本、音频。

  • 两种效应，一个触发：关于对比型视觉-语言模型中的模态差距、对象偏见与信息不平衡

    • 西蒙·施罗迪、大卫·T·霍夫曼、马克思·阿尔古斯、沃尔克·费舍尔、托马斯·布罗克斯
    • 关键词：CLIP、模态差距、对象偏见、对比损失、数据驱动、视觉语言模型、VLM
    • 实验环境：对比型视觉-语言模型（VLM）分析。

  • 基于扩散模型的多机器人运动规划

    • 约赖·绍尔、伊塔马尔·米沙尼、希瓦姆·瓦茨、李娇阳、马克西姆·利哈切夫
    • 关键词：多智能体规划、机器人技术、生成模型
    • 实验环境：模拟物流环境。

ICLR 2024

ICLR 2023

  • PaLI: 一种联合扩展的多语言语言-图像模型(值得关注的前5%)

    • Xi Chen, Xiao Wang, Soravit Changpinyo, AJ Piergiovanni, Piotr Padlewski, Daniel Salz, Sebastian Goodman, Adam Grycner, Basil Mustafa, Lucas Beyer, Alexander Kolesnikov, Joan Puigcerver, Nan Ding, Keran Rong, Hassan Akbari, Gaurav Mishra, Linting Xue, Ashish Thapliyal, James Bradbury, Weicheng Kuo, Mojtaba Seyedhosseini, Chao Jia, Burcu Karagol Ayan, Carlos Riquelme, Andreas Steiner, Anelia Angelova, Xiaohua Zhai, Neil Houlsby, Radu Soricut
    • 关键词：惊人的零样本能力、语言组件和视觉组件
    • 实验环境：无

  • VIMA: 基于多模态提示的通用机器人操作

    • Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan。NeurIPS 2022 工作坊
    • 关键词：多模态提示、基于Transformer的通用智能体模型、大规模基准测试
    • 实验环境：VIMA-Bench、VIMA-Data

  • MIND ’S EYE: 通过仿真进行 grounded 语言模型推理

    • Ruibo Liu, Jason Wei, Shixiang Shane Gu, Te-Yen Wu, Soroush Vosoughi, Claire Cui, Denny Zhou, Andrew M. Dai
    • 关键词：语言到物理世界的映射、推理能力
    • 实验环境：MuJoCo

ICLR 2022

ICLR 2021

ICLR 2019

NeurIPS 2024

NeurIPS 2023

NeurIPS 2022

NeurIPS 2021

NeurIPS 2018

ICML 2024

ICML 2022

ICML 2019

ICML 2017

CVPR 2024

CVPR 2022

CoRL 2022

其他

ArXiv

贡献

我们的目标是让这个仓库变得更好。如果你有兴趣参与贡献，请参阅此处获取贡献说明。

许可证

Awesome Multi-Modal Reinforcement Learning 采用 Apache 2.0 许可证发布。

相似工具推荐

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。

★ 85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。

★ 77.1k|★★★☆☆|昨天
Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。

★ 74.9k|★★★☆☆|今天
语言模型图像开发框架

awesome-machine-learning

awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。

★ 72.1k|★☆☆☆☆|2天前
开发框架其他

scikit-learn

scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。 对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。 其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最

★ 65.6k|★☆☆☆☆|今天
开发框架其他数据工具

keras

Keras 是一个专为人类设计的深度学习框架，旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。 无论是刚入门的学生、专注算法的研究人员，还是需要快速落地产品的工程师，都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。 Keras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码，即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性，还允许开发者根据需求自由选择：利用 JAX 或 PyTorch 的即时执行模式进行高效调试，或切换至速度最快的后端以获得最高 350% 的性能提升。此外，Keras 具备强大的扩展能力，能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群，是连接原型开发与生产部署的理想桥梁。

★ 63.9k|★★☆☆☆|昨天
开发框架数据工具其他