看见、聆听、记忆与推理：具备长期记忆的多模态智能体
ICLR 2026

摘要

我们提出了M3-Agent，一个全新的配备长期记忆的多模态智能体框架。如同人类一样，M3-Agent能够实时处理视觉和听觉输入，构建并更新其长期记忆。除了情景记忆之外，它还发展出语义记忆，从而随着时间推移不断积累世界知识。其记忆以实体为中心、多模态的形式组织，使得对环境的理解更加深入且一致。在接收到指令后，M3-Agent会自主进行多轮迭代式推理，并从记忆中检索相关信息来完成任务。为了评估多模态智能体的记忆效能及其基于记忆的推理能力，我们开发了M3-Bench，一个新的长视频问答基准测试集。M3-Bench由100段全新录制的、从机器人视角拍摄的真实场景视频（M3-Bench-robot）以及920段来自网络、涵盖多种场景的视频（M3-Bench-web）组成。我们标注了问答对，旨在测试智能体应用中至关重要的关键能力，如理解人类意图、提取通用知识以及跨模态推理等。实验结果表明，通过强化学习训练的M3-Agent，在M3-Bench-robot、M3-Bench-web和VideoMME-long三个基准上分别比最强基线——使用Gemini-1.5-pro和GPT-4o的提示型智能体——高出8.2%、7.7%和5.3%的准确率。我们的工作推动了多模态智能体向更接近人类的长期记忆方向发展，并为其实际设计提供了重要启示。

M3-Agent作为个人助理的演示！

该视频也可在Bilibili上观看。

M3-Bench

我们推出了M3-Bench，一个专为评估多模态智能体利用长期记忆进行推理能力而设计的长视频问答数据集。M3-Bench中的每个实例都包含一段模拟智能体感知输入的长视频，以及一系列开放式问答对。该数据集分为两个子集：

1. M3-Bench-robot，包含100段从机器人第一人称视角录制的真实场景视频；
2. M3-Bench-web，包含920段来自网络、内容和场景更为多样的视频。

链接1, 链接2, 链接3
M3-Bench中的示例。M3-Bench-robot收录了来自真实机器人工作场景的长视频，而M3-Bench-web则扩展了视频多样性，以支持更广泛的评估。问答任务的设计旨在评估多模态智能体构建连贯可靠长期记忆的能力，以及在其基础上进行有效推理的能力。

M3-Bench基准的数据统计概览。每道题目可能对应多种题型。

视频

1. 从Hugging Face下载M3-Bench-robot。
2. 从data/annotations/web.json中的video_url下载M3-Bench-web。

中间输出

[可选] 您可以从Hugging Face下载我们已处理好的中间输出，也可以按照以下步骤直接从视频中生成。

记忆图

[可选] 您可以从Hugging Face下载并提取我们已处理好的记忆图，或者按照以下步骤直接从视频中生成。

M3-Agent

M3-Agent的系统架构。该系统由记忆和控制两大并行流程组成。在记忆过程中，M3-Agent在线处理视频和音频流，生成情景记忆和语义记忆。而在控制过程中，它则通过迭代思考和从长期记忆中检索信息来执行指令。长期记忆被组织成一个多模态图结构。

实验结果

M3-Bench-robot、M3-Bench-web和VideoMME-long上的实验结果。

本地运行

在运行之前，请先在configs/api_config.json中添加API配置。

记忆

为每段视频生成记忆图。结果保存在 data/memory_graphs 中。

• 以下步骤仅在您尚未从 Hugging Face 下载 intermediate_outputs 和 memory_graphs，或希望处理非 M3-Bench 数据集中的其他视频时才需要执行。

1. 搭建环境

bash setup.sh
pip install git+https://github.com/huggingface/transformers@f742a644ca32e65758c3adb36225aef1731bd2a8
pip install qwen-omni-utils==0.0.4

2. 切分视频

将视频切割成 30 秒一段的片段。

#!/bin/bash

video="robot/bedroom_01"
input="data/videos/$video.mp4"
mkdir -p "data/clips/$video"
duration=$(ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "$input")
duration_seconds=$(echo "$duration" | awk '{print int($1)}')
 
segments=$((duration_seconds / 30 + 1))
for ((i=0; i<segments; i++)); do
    start=$((i * 30))
    end=$(((i + 1) * 30))
    output="data/clips/$video/$i.mp4"
    ffmpeg -ss $start -i "$input" -t 30 -c copy "${output}"
done

3. 准备数据

准备一个每行包含一段视频的 JSONL 文件，保存为 data/data.jsonl。

{"id": "bedroom_01", "video_path": "data/videos/robot/bedroom_01.mp4", "clip_path": "data/videos/clips/bedroom_01", "mem_path": "data/videos/memory_graphs/bedroom_01.pkl", "intermediate_path": "data/videos/intermediate_outputs/robot/bedroom_01"}

4. 生成中间输出

   此步骤使用人脸检测和说话人分离工具生成中间输出。

   • 如果您打算使用 M3-Bench 并已从 Hugging Face 下载了 intermediate_outputs，则可以跳过此步骤。

   • 下载音频嵌入模型并保存到 models\ 目录下，文件名为 pretrained_eres2netv2.ckpt。

   • 下载 speakerlab。

   m3-agent
   ├── models
   │   └── pretrained_eres2netv2.ckpt
   └── speakerlab
   

python m3_agent/memorization_intermediate_outputs.py \
   --data_file data/data.jsonl

5. 生成记忆图

   此步骤使用 M3-Agent-Memorization 模型生成记忆图。

   • 从 Hugging Face 下载 M3-Agent-Memorization。

python m3_agent/memorization_memory_graphs.py \
   --data_file data/data.jsonl

6. 记忆图可视化

python visualization.py \
   --mem_path data/memory_graphs/robot/bedroom_01.pkl \
   --clip_id 1

控制

1. 搭建环境

bash setup.sh
pip install transformers==4.51.0
pip install vllm==0.8.4
pip install numpy==1.26.4

2. 问答与评估

   此步骤使用 M3-Agent-Control 模型生成答案，并用 GPT-4o 对答案进行评估。

   • 从 Hugging Face 下载 M3-Agent-Control。

python m3_agent/control.py \
   --data_file data/annotations/robot.json

其他模型

如果您希望调用其他模型来生成记忆或回答问题，只需将模型推理替换为 API 调用，并使用相应的提示词即可。

提示词：

1. 记忆

   • Gemini/GPT-4o：mmagent.prompts.prompt_generate_captions_with_ids
   • Qwen2.5-Omni-7B：mmagent.prompts.prompt_generate_full_memory

2. 控制

   • GPT-4o：mmagent.prompts.prompt_answer_with_retrieval_final

训练

1. 记忆：https://github.com/hyc2026/sft-qwen2.5-omni-thinker
2. 控制：https://github.com/hyc2026/M3-Agent-Training

引用

请按如下格式引用我们：

@misc{long2025seeing,
      title={Seeing, Listening, Remembering, and Reasoning: A Multimodal Agent with Long-Term Memory}, 
      author={Lin Long, Yichen He, Wentao Ye, Yiyuan Pan, Yuan Lin, Hang Li, Junbo Zhao, Wei Li},
      year={2025},
      eprint={2508.09736},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

M3-Agent 快速上手指南

M3-Agent 是一个具备长期记忆的多模态智能体框架，能够像人类一样处理实时的视觉和听觉输入，构建并更新其长期记忆（包括情景记忆和语义记忆），从而执行多轮迭代推理以完成任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（用于模型推理和训练）
• 工具依赖: ffmpeg (用于视频处理), git

安装系统级依赖（以 Ubuntu 为例）：

sudo apt-get update
sudo apt-get install -y ffmpeg git

安装步骤

1. 克隆仓库并进入目录

   git clone https://github.com/ByteDance-Seed/M3-Agent.git
   cd M3-Agent
   

2. 运行初始化脚本

   bash setup.sh
   

3. 安装核心 Python 依赖

   注意：根据官方建议，需安装特定版本的 transformers。国内开发者若访问 Hugging Face 较慢，可配置镜像源加速。

   # 设置 pip 镜像源 (可选，推荐国内用户)
   export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
   
   # 安装特定版本的 transformers
   pip install git+https://github.com/huggingface/transformers@f742a644ca32e65758c3adb36225aef1731bd2a8
   
   # 安装其他必要组件
   pip install qwen-omni-utils==0.0.4
   

4. 配置 API Key

   在运行前，需在 configs/api_config.json 文件中配置所需的 API Key（如用于评估的 GPT-4o 或其他服务）。

   vim configs/api_config.json
   # 填入对应的 API Key 配置
   

基本使用

M3-Agent 的核心流程分为两个阶段：记忆构建 (Memorization) 和 控制推理 (Control)。以下以最简单的单视频处理为例。

第一步：准备数据

假设你有一个名为 bedroom_01.mp4 的视频文件，首先将其放入 data/videos/robot/ 目录，并创建数据描述文件 data/data.jsonl。

{"id": "bedroom_01", "video_path": "data/videos/robot/bedroom_01.mp4", "clip_path": "data/videos/clips/bedroom_01", "mem_path": "data/videos/memory_graphs/bedroom_01.pkl", "intermediate_path": "data/videos/intermediate_outputs/robot/bedroom_01"}

(可选) 如果视频较长，可先使用脚本将其切割为 30 秒片段：

#!/bin/bash
video="robot/bedroom_01"
input="data/videos/$video.mp4"
mkdir -p "data/clips/$video"
duration=$(ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "$input")
duration_seconds=$(echo "$duration" | awk '{print int($1)}')
 
segments=$((duration_seconds / 30 + 1))
for ((i=0; i<segments; i++)); do
    start=$((i * 30))
    end=$(((i + 1) * 30))
    output="data/clips/$video/$i.mp4"
    ffmpeg -ss $start -i "$input" -t 30 -c copy "${output}"
done

第二步：构建记忆 (Memorization)

此步骤将视频和音频流转化为长期记忆图。你需要先下载必要的模型和资源：

1. 下载音频嵌入模型 pretrained_eres2netv2.ckpt 至 models/ 目录。
2. 克隆 speakerlab 至当前目录。
3. 下载 M3-Agent-Memorization 模型至本地。

执行记忆生成命令：

# 1. 生成中间输出 (人脸检测、说话人分离等)
python m3_agent/memorization_intermediate_outputs.py \
   --data_file data/data.jsonl

# 2. 生成记忆图 (使用 M3-Agent-Memorization 模型)
python m3_agent/memorization_memory_graphs.py \
   --data_file data/data.jsonl

(可选) 可视化生成的记忆图：

python visualization.py \
   --mem_path data/memory_graphs/robot/bedroom_01.pkl \
   --clip_id 1

第三步：控制与推理 (Control)

此步骤利用构建好的记忆回答用户问题。需确保已下载 M3-Agent-Control 模型。

准备问答数据文件 data/annotations/robot.json，然后运行：

python m3_agent/control.py \
   --data_file data/annotations/robot.json

系统将自动加载记忆图，通过多轮迭代推理生成答案，并可调用 GPT-4o 进行结果评估（需在配置文件中设置 API）。

---

注：如需使用其他模型（如 Gemini 或 Qwen2.5-Omni）进行记忆生成或问答，只需修改代码中的模型推理部分为 API 调用，并使用 mmagent.prompts 中对应的提示词模板即可。