---

• Emu1（ICLR 2024，2023年7月）——多模态领域的生成式预训练

• Emu2（CVPR 2024，2023年12月）——生成式多模态模型是上下文学习者

• Emu3（arXiv 2024，2024年9月）——只需预测下一个词就足够了🔥🔥🔥

新闻

• 2024年9月，我们推出了Emu3，一套全新的、最先进的多模态模型，仅通过预测下一个词进行训练。🔥🔥🔥
• 2024年2月，Emu1和Emu2分别被ICLR 2024和CVPR 2024接收！🎉
• 2023年12月，Emu2的推理代码、模型及演示已开放。欢迎体验演示。
• 2023年12月，我们发布了Emu2，这是开源且规模最大的生成式多模态模型，在多模态理解和生成任务上达到了新的最先进水平。
• 2023年7月，Emu的推理代码和模型已公开。
• 2023年7月，我们发布了Emu，这是一款多模态通用模型，能够在多模态情境中无缝生成图像和文本。

亮点

• 最先进的性能
• 下一代能力
• 适用于多样化任务的基础模型

我们希望通过开源和促进合作来推动社区的发展👬。让我们携手迈向多模态智能🍻。

联系方式

• 我们正在招聘，BAAI视觉团队面向各层次人才，包括全职研究员、工程师和实习生。 如果您对参与基础模型、视觉感知和多模态学习相关工作感兴趣，请联系Wang Xinlong（wangxinlong@baai.ac.cn）。

杂项

Emu 快速上手指南

Emu 是由北京智源人工智能研究院（BAAI）开源的一系列生成式多模态模型，涵盖从 Emu1 到最新的 Emu3。本指南将帮助您快速搭建环境并运行基础示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: Python 3.8 或更高版本
• 硬件要求:
  • 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行较大模型)
  • 已安装兼容的 CUDA 驱动和 Toolkit
• 前置依赖:
  • pip (包管理工具)
  • git (代码克隆)
  • torch (PyTorch，需根据 CUDA 版本安装对应版本)

提示：国内开发者建议使用清华或阿里镜像源加速 Python 包下载。

安装步骤

1. 克隆仓库

根据您的研究需求选择对应的模型分支（以最新的 Emu3 为例，若需 Emu1/Emu2 请切换对应目录）：

git clone https://github.com/baaivision/Emu.git
cd Emu

注：Emu3 也有独立仓库，如需直接获取最新代码可访问：git clone https://github.com/baaivision/Emu3.git

2. 创建虚拟环境并安装依赖

推荐使用 Conda 或 venv 隔离环境。

# 创建虚拟环境
conda create -n emu python=3.10 -y
conda activate emu

# 安装 PyTorch (示例为 CUDA 11.8 版本，请根据实际情况调整)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目依赖
# 如果使用国内镜像加速：
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载模型权重

模型权重通常较大，请访问 Hugging Face 或 ModelScope（魔搭社区）下载。国内用户推荐通过 ModelScope 下载以获得更快速度。

# 示例：使用 huggingface-cli 下载 (需先安装 huggingface_hub)
pip install huggingface_hub
huggingface-cli download BAAI/Emu3 --local-dir ./checkpoints/Emu3

# 或者手动下载后放置于 ./checkpoints 目录

基本使用

以下是一个最简单的文本生成图像（Text-to-Image）推理示例。请确保已将模型权重路径配置正确。

import torch
from PIL import Image
from emu import EmuModel # 假设的导入路径，具体依实际代码结构而定

# 初始化模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model = EmuModel.from_pretrained("./checkpoints/Emu3").to(device)
model.eval()

# 定义提示词
prompt = "A cute cat playing with a ball in the garden, high quality, 4k"

# 生成图像
with torch.no_grad():
    image = model.generate(
        prompt=prompt,
        num_inference_steps=50,
        guidance_scale=7.5
    )

# 保存结果
image.save("output_cat.png")
print("Image generated successfully: output_cat.png")

对于 Emu2 的多模态理解任务（如图文问答），基本调用逻辑类似，只需将输入改为包含图像和文本的列表：

# Emu2 示例伪代码
inputs = [
    {"type": "image", "data": load_image("input.jpg")},
    {"type": "text", "data": "What is in this image?"}
]
response = model.generate(inputs)
print(response)

现在您已经成功运行了 Emu 模型，可以开始探索其在多模态理解与生成方面的强大能力。