Mini-Omni2

🤗 Hugging Face | 📖 Github | 📑 Technical report

如果你喜欢小Omni2，请给我们点个赞⭐，并引用我们的论文！

简介

Mini-Omni2是一个全模态交互模型。它可以理解图像、音频和文本输入，并与用户进行端到端的语音对话。其特点是实时语音输出、全模态多模态理解能力，以及在说话时具备灵活的可中断交互能力。

更新

• 2024年10月： 发布模型、技术报告、推理及聊天演示代码。

特性

✅ 多模态交互：具备理解图像、语音和文本的能力，就像GPT-4o一样。

✅ 实时语音到语音对话能力。无需额外的ASR或TTS模型，就像Mini-Omni一样。

演示

注意：需要先取消静音。

https://github.com/user-attachments/assets/ad97ca7f-f8b4-40c3-a7e8-fa54b4edf155

安装

创建一个新的conda环境并安装所需的包：

conda create -n omni python=3.10
conda activate omni

git clone https://github.com/gpt-omni/mini-omni2.git
cd mini-omni2
pip install -r requirements.txt

快速开始

交互式演示

• 启动服务器

注意：在运行streamlit或gradio演示之前，需要先启动服务器，并将API_URL设置为服务器地址。

sudo apt-get install ffmpeg
conda activate omni
cd mini-omni2
python3 server.py --ip '0.0.0.0' --port 60808

• 运行streamlit演示

注意：你需要在本地运行streamlit，并安装PyAudio。

pip install PyAudio==0.2.14
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py

本地测试

conda activate omni
cd mini-omni2
# 测试预设的音频样本和问题
python inference_vision.py

Mini-Omni2概述

1. 多模态建模： 我们使用多个序列作为模型的输入和输出。在输入部分，我们将图像、音频和文本特征拼接在一起，以执行一系列综合任务，如图所示。在输出部分，我们采用文本引导的延迟并行输出来生成实时语音响应。

2. 多阶段训练： 我们提出了一种高效的对齐训练方法，并在三阶段训练中分别进行编码器适配、模态对齐和多模态微调。

常见问题解答

1. 模型是否支持其他语言？

不，该模型仅用英语进行训练。不过，由于我们使用whisper作为音频编码器，模型可以理解whisper支持的其他语言（例如中文），但输出仅为英语。

2. 错误：无法在本地浏览器中运行streamlit，但远程streamlit服务器正常工作

你需要在本地启动streamlit，并确保已安装PyAudio。

致谢

• Qwen2 作为LLM骨干。
• litGPT 用于训练和推理。
• whisper 用于音频编码。
• clip 用于图像编码。
• snac 用于音频解码。
• CosyVoice 用于生成合成语音。
• OpenOrca 和 MOSS 用于对齐。

引用

@article{xie2024miniomni2opensourcegpt4ovision,
      title={Mini-Omni2: 开源GPT-4o视觉、语音和双工能力的探索}, 
      author={Zhifei Xie and Changqiao Wu},
      year={2024},
      eprint={2410.11190},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      journal={ArXiv},
      volume={abs/2410.11190},
}

星标历史

Mini-Omni2 快速上手指南

Mini-Omni2 是一款开源的多模态交互模型，支持图像、音频和文本输入，并具备端到端的实时语音对话能力。它无需额外的 ASR（语音识别）或 TTS（语音合成）模型，即可实现类似 GPT-4o 的实时语音交互体验。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.10
• 包管理器: Conda (推荐)
• 系统依赖: ffmpeg (用于音频处理)
• 硬件建议: 需要 NVIDIA GPU 以进行流畅的推理（显存需求视具体量化版本而定，建议 16GB 以上以获得最佳体验）。

安装步骤

1. 创建并激活 Conda 环境

conda create -n omni python=3.10
conda activate omni

2. 克隆项目代码

git clone https://github.com/gpt-omni/mini-omni2.git
cd mini-omni2

提示：如果 GitHub 连接缓慢，国内用户可使用镜像加速： git clone https://ghp.ci/https://github.com/gpt-omni/mini-omni2.git

3. 安装 Python 依赖

pip install -r requirements.txt

提示：国内用户建议使用清华源或阿里源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装系统级音频依赖

Mini-Omni2 依赖 ffmpeg 处理音频流，且前端演示需要 PyAudio。

Ubuntu/Debian:

sudo apt-get update
sudo apt-get install ffmpeg

macOS:

brew install ffmpeg

安装 PyAudio (用于本地 Streamlit 演示):

pip install PyAudio==0.2.14

(注：若 pip 安装 PyAudio 失败，Linux 用户可能需要先安装 portaudio19-dev，macOS 用户需确保已安装 portaudio)

基本使用

Mini-Omni2 提供两种主要的使用方式：交互式 Web 演示和本地脚本测试。

方式一：运行交互式 Web 演示 (推荐)

该模式启动一个本地服务器和一个 Streamlit 网页界面，支持实时语音对话。

第一步：启动后端服务器

在终端中运行以下命令启动 API 服务：

conda activate omni
cd mini-omni2
python3 server.py --ip '0.0.0.0' --port 60808

保持此终端窗口运行，不要关闭。

第二步：启动前端界面

打开一个新的终端窗口，设置 API 地址并运行 Streamlit：

conda activate omni
cd mini-omni2
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py

运行成功后，浏览器会自动打开演示页面。请确保允许浏览器访问麦克风权限，并在页面上取消静音即可开始对话。

方式二：本地脚本测试

如果您只想测试预设的音频样本和视觉问答功能，无需启动服务器，可直接运行推理脚本：

conda activate omni
cd mini-omni2
python inference_vision.py

该脚本将加载模型并对内置的测试数据进行推理，输出结果将打印在终端中。