一种专为实时语音交互设计的快速多模态大语言模型

最新动态

• 2025/12 - Ultravox 0.7 已发布
• 2025/06 — Ultravox 0.6 已发布
• 2025/02 — Ultravox 0.5 已发布
• 2024/11 — Ultravox 0.4.1 已发布
• 2024/08 — Ultravox 0.4 已发布
• 2024/08 — Ultravox 0.3 已发布
• 2024/08 — Ultravox API 预览版已可用，更多信息请查看 此处

关键链接

• Ultravox Realtime — 在 Ultravox 模型之上构建实时语音 AI 代理
• Hugging Face — 我们的 Hugging Face 页面

---

关于

Ultravox 是一种新型的多模态大语言模型（LLM），能够理解文本以及人类语音，无需单独的音频语音识别（ASR）阶段。基于 AudioLM、SeamlessM4T、Gazelle、SpeechGPT 等研究，Ultravox 能够通过多模态投影器将音频直接转换为 LLM 使用的高维空间，从而扩展任何开放权重大语言模型（open-weight LLM）。我们在 Llama 3、Mistral 和 Gemma 上训练了版本。这种直接耦合使得 Ultravox 的响应速度比结合独立 ASR 和 LLM 组件的系统快得多。未来，这将使 Ultravox 能够原生理解人类语音中普遍存在的节奏和情感等副语言线索。

Ultravox 目前接收音频并输出流式文本。随着模型的演进，我们将训练它能够输出一串语音令牌，这些令牌随后可以由适当的单元声码器直接转换为原始音频。

我们的默认模型基于 Llama 3.3 70B 构建。我们也在 Hugging Face 上提供了 8B 变体。

Ultravox 可以针对任何开放权重模型进行训练。有关训练的更多详细信息，请参见下文。

演示

在我们的 演示页面 上查看 Ultravox 的实际应用。您可以在 ultravox.ai 上的实时平台构建自己的语音到语音代理。

Discord

加入我们的 Discord 服务器 这里。

招聘

如果您有兴趣全职从事 Ultravox 相关工作，我们正在招聘！请查看我们的职位页面 这里。

推理服务器

您可以通过在我们合作伙伴 BaseTen 上启动 Ultravox 实例来试用 Ultravox（使用您自己的音频内容，如 WAV 文件）：https://www.baseten.co/library/ultravox/。他们提供免费的初始积分。

如果您有兴趣以实时容量运行 Ultravox，我们也提供一组托管 API。您可以在此处了解如何获取访问权限 这里。

模型

您可以从 Ultravox Hugging Face 页面 下载最新的权重。

架构

贡献

如果您对训练自己版本的 Ultravox 感兴趣，请继续阅读。

环境设置（Mac）

安装基本工具：

• Homebrew 是 MacOS 的软件包管理器，在 Linux 上也基本适用。如果您运行的是 Debian 或 Ubuntu Linux，也可以使用 apt。
• Just 简化了我们的 shell 工作流。它经常作为与其他所有工具的接口。

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew update
brew install just

由于使用了 Poetry，建议使用 pyenv 来管理环境：

brew install xz
brew install pyenv
pyenv init
pyenv install 3.11
pyenv global 3.11

# 可选
pyenv shell 3.11

注意: 不建议与 Poetry 一起使用 conda

创建虚拟环境后，使用 just 和 poetry 安装所需的软件包：

just install

如果您计划使用数据增强（可选），您可能还需要安装用于增强的系统软件包。您可以使用 just install-augs-system 完成此操作。有关增强的更多信息请查看 此处。

我们使用 Poetry 来管理 Python 虚拟环境。您可以使用 poetry env info 观察您的环境。

训练

目前，我们保持 LLM 和音频编码器冻结，仅训练适配器/投影器。训练 Ultraox v0.4 在 8xH100 GPU 上耗时 2-3 小时，共 14K 个训练步骤。

Ultravox 训练用例

为什么您要（重新）训练 Ultravox？以下是几种场景：

1. 您想使用不同的 LLM 或音频编码器骨干网络。

   a. 在这种情况下，您需要重新训练适配器。您可以使用 example_config.yaml，其中包含我们最新发布的配置，您应该只需通过指定 --text-model <hf-model-id-for-llm> 和/或 --audio-model <hf-model-id-for-encoder> 即可更改基础 LLM 或编码器。

2. 您想提高模型的知识

   a. 我们建议要么即时使用检索增强生成（RAG）（无需训练），要么微调 LLM 骨干网络。微调 LLM 骨干网络不需要重新训练 Ultravox（即现有的适配器仍然有效）。

3. 您想使用自己的音频数据，例如添加对新语言的支持。

   a. 第一步，准备您的数据集：至少，样本应包含 audio 和文本 continuation 字段。

   b. 查看 ds_tool.py 和 continuation.jinja，以及使用 ds_tool 创建的 我们的 Common Voice 变体 以添加 continuation 字段。

   c. 将您的数据集添加到 example_config.yaml 中的数据集中并进行训练。

没有万能的方法。如果您需要帮助，可以在我们的 Discord 服务器上找到我们 这里。

如何训练

我们主要在 MosaicML 平台 上进行大部分训练，因此我们的工具和文档大多与 Mosaic 相关。然而，MosaicML 平台将于 2025 年 7 月底关闭，但我们仍保留了这里的配置以用于命令执行。您可以在自己的 GPU 上轻松完成相同的训练。此处假设您已设置好环境（运行 just install）。您也可以查看 setup.sh。

要启动训练任务，您可以执行：

poetry run python -m ultravox.training.train --config_path ultravox/training/configs/example_config.yaml

对于 DDP（分布式数据并行）训练，请确保添加 torchrun。我们还建议提前预取权重：

TRAIN_ARGS="--config_path ultravox/training/configs/example_config.yaml"
poetry run python -m ultravox.training.helpers.prefetch_weights $TRAIN_ARGS
poetry run torchrun --nproc_per_node=8 -m ultravox.training.train $TRAIN_ARGS

对于调试运行，您可以使用较小的模型、数据集或批次大小。这里有一个使用 TinyLlama 作为大语言模型（LLM）骨干的配置：

poetry run python -m ultravox.training.train --config_path ultravox/training/configs/asr_tinyllama_100s.yaml --batch_size 1 --report_logs_to tensorboard

我们使用 SimpleParsing 来处理配置。配置文件是可组合的（即您可以指定零个或多个配置），并且 meta_config.yaml 始终作为默认配置使用。请参见 configs_base.py 以查找您需要修改的参数，例如 --text-model、--device、--exp-name 等。

多节点训练

• 对于多节点训练，您只需更新 mcli_train.yaml 上的 compute.gpus 行即可获取更多 GPU 进行训练
  • 支持 8 的整数倍
• 对于超过 4 个节点的情况，您可能需要增加 val_dataset_args.max_samples

注意： W&B（Weights & Biases）目前不支持多个节点。您只能从主节点获取信息。通过分组运行是有可能支持的，如果您认为这很重要，请告诉我。

运行评估

对于推理或评估，您可以使用：

just eval --config_path ultravox/evaluation/configs/eval_config.yaml

其中 eval_config.yaml 是一个配置文件，指定了用于推理或评估的模型、数据集和配置。如果您的数据集尚未在 ultravox 中定义，则需要在 ultravox/data/configs/ 中为您的数据集创建一个配置文件（包含适当的 eval_config 字段以指定评估指标和参数），并在 ultravox/data/registry.py 中注册它。请参考 ultravox/data/configs/ 中的示例。

其他

Justfile 是查找常用命令的好资源。以下是一些示例：

just update    # update dependencies
just format    # run formatting (black, isort, autoflake)
just test      # run tests
just python    # activate venv and run python

Ultravox 快速上手指南

Ultravox 是一款专为实时语音交互设计的多模态大语言模型（Multimodal LLM）。它无需独立的语音识别（ASR）阶段，可直接理解人类语音并输出文本。默认模型基于 Llama 3.3 70B 构建，同时也提供 8B 轻量版。

1. 环境准备

本工具主要支持 MacOS 和 Linux 环境。由于涉及大量模型权重下载，建议提前配置国内加速源。

前置依赖

• 包管理器: Homebrew (MacOS) 或 apt (Linux)
• 任务管理: Just
• Python 环境: 推荐使用 pyenv 管理，需 Python 3.11
• 虚拟环境: 使用 Poetry 管理依赖

注意: 请勿将 Conda 与 Poetry 混用。

网络优化（中国开发者推荐）

在运行以下命令前，建议设置环境变量以加速 Hugging Face 模型下载：

export HF_ENDPOINT=https://hf-mirror.com

2. 安装步骤

第一步：安装基础工具

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew update
brew install just

第二步：配置 Python 环境

brew install xz
brew install pyenv
pyenv init
pyenv install 3.11
pyenv global 3.11

# 可选：为当前目录指定版本
pyenv shell 3.11

第三步：安装项目依赖

进入项目目录后，执行以下命令自动安装所需包：

just install

如需使用数据增强功能（可选），可额外安装系统级依赖：

just install-augs-system

3. 基本使用

模型评估

安装完成后，可使用预定义配置对模型进行评估测试：

just eval --config_path ultravox/evaluation/configs/eval_config.yaml

若需自定义数据集，需在 ultravox/data/configs/ 中创建配置文件并在 ultravox/data/registry.py 中注册。

训练微调

Ultravox 目前采用冻结 LLM 和音频编码器、仅训练适配器（Adapter/Projector）的方式。

单节点训练示例：

poetry run python -m ultravox.training.train --config_path ultravox/training/configs/example_config.yaml

分布式训练 (DDP) 示例：

TRAIN_ARGS="--config_path ultravox/training/configs/example_config.yaml"
poetry run python -m ultravox.training.helpers.prefetch_weights $TRAIN_ARGS
poetry run torchrun --nproc_per_node=8 -m ultravox.training.train $TRAIN_ARGS

调试模式（使用小模型）：

poetry run python -m ultravox.training.train --config_path ultravox/training/configs/asr_tinyllama_100s.yaml --batch_size 1 --report_logs_to tensorboard

其他使用方式

• 本地推理: 可通过 BaseTen 平台尝试运行实例 (链接)。
• API 服务: 如需生产级实时语音能力，可访问官方文档申请托管 API (链接)。
• 在线 Demo: 查看实时效果请访问 demo.ultravox.ai。