Meta Spirit LM：交错式语音与文本语言模型

本仓库包含 Spirit LM 模型的权重、推理代码以及评估脚本 论文。您可以在我们的 演示页面 上找到更多生成示例。

Spirit LM 模型概述

安装与设置

Conda

conda env create -f env.yml
pip install -e '.[eval]'

Pip

pip install -e '.[eval]'

开发环境

（仅在需要运行测试时使用。）

pip install -e '.[dev]'

检查点设置

请参阅 checkpoints/README.md。

快速入门

语音分词

请参阅 spiritlm/speech_tokenizer/README.md。

Spirit LM 生成

请参阅 spiritlm/model/README.md。

语音-文本情感保持基准测试 (STSP)

请参阅 spiritlm/eval/README.md。

模型卡片

有关模型的更多详细信息，请参阅 MODEL_CARD.md。

许可证

本代码依据 LICENSE 中的 FAIR 非商业研究许可证 提供。

引用

@misc{nguyen2024spiritlminterleavedspokenwritten,
      title={SpiRit-LM: 交错式语音与文本语言模型},
      author={阮安英、本杰明·穆勒、于博凯、玛尔塔·R·科斯塔-胡萨、马哈·埃尔巴亚德、斯拉维娅·波普里、保罗-安布罗兹·杜肯、罗宾·阿尔盖尔斯、鲁斯兰·马夫柳托夫、伊泰·加特、加布里埃尔·西纳耶夫、胡安·皮诺、贝努瓦·萨戈、埃曼纽埃尔·迪普克斯},
      year={2024},
      eprint={2402.05755},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2402.05755},
}

Spirit LM 快速上手指南

Spirit LM 是由 Meta 推出的交错式口语与书面语语言模型，能够同时理解和生成语音与文本序列。本指南帮助开发者快速完成环境配置并运行基础功能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 18.04+) 或 macOS。
• Python 版本：建议 Python 3.9 或更高版本。
• 包管理工具：已安装 conda (推荐) 或 pip。
• 硬件要求：运行推理建议使用支持 CUDA 的 NVIDIA GPU（显存建议 16GB 以上以获得更佳体验），CPU 亦可运行但速度较慢。

安装步骤

您可以选择使用 Conda 创建隔离环境（推荐），或直接使用 Pip 安装。

方式一：使用 Conda（推荐）

conda env create -f env.yml
conda activate spiritlm
pip install -e '.[eval]'

方式二：使用 Pip

如果您已有合适的 Python 环境，可直接安装：

pip install -e '.[eval]'

提示：若需进行开发测试，可额外运行 pip install -e '.[dev]'。

获取模型权重

安装完成后，需下载预训练模型权重。请参考官方指引： checkpoints/README.md

基本使用

Spirit LM 的核心流程包含语音分词与模型生成两个主要步骤。

1. 语音分词 (Speech Tokenization)

在处理语音输入前，需先将音频转换为离散令牌。具体使用方法请参阅： spiritlm/speech_tokenizer/README.md

2. 模型生成 (Spirit LM Generation)

完成分词后，即可调用模型进行交错式的语音/文本生成。最简单的调用逻辑参考： spiritlm/model/README.md

3. 效果评估 (可选)

如需运行“语音 - 文本情感保持基准测试 (STSP)"，请参考： spiritlm/eval/README.md

---

更多模型细节请查阅 MODEL_CARD.md，代码遵循 FAIR Noncommercial Research License 协议。