🦙🎧 LLaMA-Omni：与大型语言模型 (Large Language Models) 无缝语音交互

作者：Qingkai Fang, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, Yang Feng*

LLaMA-Omni 是一个基于 Llama-3.1-8B-Instruct 构建的语音 - 语言模型 (Speech-Language Model)。它支持低延迟、高质量的语音交互，能够根据语音指令同时生成文本和语音回复。

🔥 新闻

• [25/05] LLaMA-Omni 2 已被 ACL 2025 主会议录用！
• [25/05] InstructS2S-200K 的改进版本已在 此链接 公开。我们已将其扩展为多轮对话并丰富了输入语音音色。抱歉久等了！
• [25/04] 我们发布了 LLaMA-Omni2，这是一系列参数量从 0.5B 到 32B 的语音语言模型，提供了更优质的回复质量和语音生成质量。
• [25/01] LLaMA-Omni 已被 ICLR 2025 录用！新加坡见！

💡 亮点

• 💪 基于 Llama-3.1-8B-Instruct 构建，确保高质量回复。

• 🚀 低延迟语音交互，延迟低至 226ms。

• 🎧 同时生成文本和语音回复。

• ♻️ 仅使用 4 张 GPU 在不到 3 天内完成训练。

https://github.com/user-attachments/assets/2b097af8-47d7-494f-b3b3-6be17ca0247a

安装

1. 克隆此仓库。

git clone https://github.com/ictnlp/LLaMA-Omni
cd LLaMA-Omni

2. 安装依赖包。

conda create -n llama-omni python=3.10
conda activate llama-omni
pip install pip==24.0
pip install -e .

3. 安装 fairseq。

git clone https://github.com/pytorch/fairseq
cd fairseq
pip install -e . --no-build-isolation

4. 安装 flash-attention。

pip install flash-attn --no-build-isolation

快速开始

1. 从 🤗Huggingface 下载 Llama-3.1-8B-Omni 模型。

2. 下载 Whisper-large-v3 模型。

import whisper
model = whisper.load_model("large-v3", download_root="models/speech_encoder/")

3. 下载基于单元的 HiFi-GAN 声码器。

wget https://dl.fbaipublicfiles.com/fairseq/speech_to_speech/vocoder/code_hifigan/mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj/g_00500000 -P vocoder/
wget https://dl.fbaipublicfiles.com/fairseq/speech_to_speech/vocoder/code_hifigan/mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj/config.json -P vocoder/

Gradio 演示

1. 启动控制器。

python -m omni_speech.serve.controller --host 0.0.0.0 --port 10000

2. 启动 Gradio Web 服务器。

python -m omni_speech.serve.gradio_web_server --controller http://localhost:10000 --port 8000 --model-list-mode reload --vocoder vocoder/g_00500000 --vocoder-cfg vocoder/config.json

3. 启动模型工作进程。

python -m omni_speech.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path Llama-3.1-8B-Omni --model-name Llama-3.1-8B-Omni --s2s

4. 访问 http://localhost:8000/ 并与 LLaMA-3.1-8B-Omni 进行交互！

注意： 由于 Gradio 中流式音频播放的不稳定性，我们仅实现了流式音频合成，未启用自动播放。如果您有好的解决方案，欢迎提交 PR。谢谢！

本地推理

要在本地运行推理，请按照 omni_speech/infer/examples 目录中的格式组织语音指令文件，然后参考以下脚本。

bash omni_speech/infer/run.sh omni_speech/infer/examples

许可证

我们的代码采用 Apache-2.0 许可证发布。我们的模型仅供学术研究用途，不可用于商业目的。

您可以在学术环境中自由使用、修改和分发此模型，但需满足以下条件：

• 非商业用途：该模型不得用于任何商业目的。
• 引用：如果您在研究中使用此模型，请注明原始出处。

商业使用限制

如有任何商业使用咨询或需要获取商业许可，请联系 fengyang@ict.ac.cn。

致谢

• LLaVA：我们构建的基础代码库。
• SLAM-LLM：我们借用了一些关于语音编码器和语音适配器的代码。

引用

如果您有任何问题，请随时提交 Issue 或联系 fangqingkai21b@ict.ac.cn。

如果我们的工作对您有用，请按以下方式引用：

@article{fang-etal-2024-llama-omni,
  title={LLaMA-Omni: Seamless Speech Interaction with Large Language Models},
  author={Fang, Qingkai and Guo, Shoutao and Zhou, Yan and Ma, Zhengrui and Zhang, Shaolei and Feng, Yang},
  journal={arXiv preprint arXiv:2409.06666},
  year={2024}
}

星标历史

LLaMA-Omni 快速上手指南

LLaMA-Omni 是一个基于 Llama-3.1-8B-Instruct 构建的语音语言模型，支持低延迟、高质量的语音交互。它能够同时生成文本和语音响应，实现无缝的人机对话体验。

环境准备

• 操作系统: Linux / macOS / Windows (WSL)
• Python 版本: 3.10+
• 硬件要求: 建议配备 NVIDIA GPU（训练需 4 卡，推理单卡即可）。
• 依赖: 确保已安装 PyTorch 及对应的 CUDA 版本。

💡 国内加速提示：模型权重下载建议使用 ModelScope 或 Wisemodel 以获取更快的下载速度。

安装步骤

1. 克隆仓库

   git clone https://github.com/ictnlp/LLaMA-Omni
   cd LLaMA-Omni
   

2. 创建并激活虚拟环境

   conda create -n llama-omni python=3.10
   conda activate llama-omni
   

3. 安装核心依赖包

   pip install pip==24.0
   pip install -e .
   

4. 安装 Fairseq

   git clone https://github.com/pytorch/fairseq
   cd fairseq
   pip install -e . --no-build-isolation
   

5. 安装 Flash Attention

   pip install flash-attn --no-build-isolation
   

基本使用

1. 模型与资源下载

在运行之前，请准备好以下模型文件。

• LLaMA-Omni 主模型：从 🤗 Huggingface 或国内镜像下载 Llama-3.1-8B-Omni。
• Whisper 编码器：

  import whisper
  model = whisper.load_model("large-v3", download_root="models/speech_encoder/")
  

• HiFi-GAN Vocoder：

  wget https://dl.fbaipublicfiles.com/fairseq/speech_to_speech/vocoder/code_hifigan/mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj/g_00500000 -P vocoder/
  wget https://dl.fbaipublicfiles.com/fairseq/speech_to_speech/vocoder/code_hifigan/mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj/config.json -P vocoder/
  

2. Gradio Web 演示

启动三个进程来运行 Web 界面（建议在三个不同的终端窗口中执行）：

1. 启动控制器

   python -m omni_speech.serve.controller --host 0.0.0.0 --port 10000
   

2. 启动模型工作节点

   python -m omni_speech.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path Llama-3.1-8B-Omni --model-name Llama-3.1-8B-Omni --s2s
   

3. 启动 Web 服务

   python -m omni_speech.serve.gradio_web_server --controller http://localhost:10000 --port 8000 --model-list-mode reload --vocoder vocoder/g_00500000 --vocoder-cfg vocoder/config.json
   

4. 访问界面 打开浏览器访问 http://localhost:8000/ 即可开始语音交互。

3. 本地推理

若需批量测试，可按照 omni_speech/infer/examples 目录格式整理语音指令文件，然后运行脚本：

bash omni_speech/infer/run.sh omni_speech/infer/examples

---

⚠️ 许可声明

• 代码：遵循 Apache-2.0 协议。
• 模型：仅供学术研究使用，禁止商业用途。如需商业授权，请联系 fengyang@ict.ac.cn。
• 引用本工作时请注明出处。