🎵 WavJourney：基于大型语言模型的组合式音频创作

我们正积极寻求在推进AI辅助多媒体叙事方面的研究与商业合作。如果您感兴趣，请发送邮件至xubo.liu@surrey.ac.uk以获取更多详情！ :open_hands:

本仓库包含论文《WavJourney：基于大型语言模型的组合式音频创作》的官方实现（链接）。

从一段文本提示出发，WavJourney能够生成具有引人入胜故事情节的音频内容，其中包括个性化配音演员、情境化的逼真语音、富有情感共鸣的音乐创作以及增强听觉体验的震撼音效。

欢迎将您的作品分享至Discord或HuggingFace社区！

---

准备工作

1. 安装环境：

bash ./scripts/EnvsSetup.sh

2. 激活conda环境：

conda activate WavJourney

3. （可选）您可以修改config.yaml中的默认配置，请参阅配置文件中的详细说明。
4. 预先下载模型（可能需要一些时间）：

python scripts/download_models.py

5. 设置环境变量WAVJOURNEY_OPENAI_KEY，以便访问GPT-4 API [指南]：

export WAVJOURNEY_OPENAI_KEY=your_openai_key_here

6. 设置用于调用API服务的环境变量：

# 将WavJourney服务端口设置为8021
export WAVJOURNEY_SERVICE_PORT=8021

# 将WavJourney服务地址设置为127.0.0.1
export WAVJOURNEY_SERVICE_URL=127.0.0.1

# 将WavJourney的最大脚本行数限制为999行
export WAVJOURNEY_MAX_SCRIPT_LINES=999

7. 启动Python API服务（例如：文本转语音、文本转音频）：

bash scripts/start_services.sh

Web应用

bash scripts/start_ui.sh

命令行使用

python wavjourney_cli.py -f --input-text "生成一段关于量子力学的一分钟介绍" 

停止服务

您可以通过以下命令停止正在运行的服务：

python scripts/kill_services.py

（高级功能）配音演员自定义

您可以向WavJourney添加语音预设，以自定义配音演员。只需提供语音ID、描述和一个示例WAV文件，WavJourney便会根据音频脚本自动选择合适的语音。系统预设的语音配置位于data/voice_presets中。

您也可以通过UI管理语音预设。若要添加新的语音到预设中，请在命令行中运行以下脚本：

python add_voice_preset.py --id "id" --desc "description" --wav-path path/to/wav --session-id ''

什么样的语音提示效果更好呢？请参阅详细的说明：这里。

硬件要求

• 默认配置下，GPU的显存应大于16 GB。
• 操作系统：Linux。

引用

如果您觉得这项工作有用，可以引用以下论文：

@article{liu2023wavjourney,
    title   = {WavJourney: Compositional Audio Creation with Large Language Models},
    author  = {Liu, Xubo and Zhu, Zhongkai and Liu, Haohe and Yuan, Yi and Huang, Qiushi and Liang, Jinhua and Cao, Yin and Kong, Qiuqiang and Plumbley, Mark D and Wang, Wenwu},
    journal = {arXiv preprint arXiv:2307.14335},
    year    = {2023}
}

致谢

• Bark，一款零样本文本到语音合成模型。
• AudioCraft，一套最先进的音频生成模型。

免责声明

我们不对使用本模型生成的语义所对应的音频内容承担责任。请勿将其用于非法用途。

WavJourney 快速上手指南

WavJourney 是一个基于大语言模型（LLM）的组合式音频创作工具。只需输入一段文本提示，它即可生成包含个性化角色、情境化语音、情感丰富的音乐以及逼真音效的完整音频故事。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux
• 硬件要求：GPU 显存需大于 16 GB
• 前置依赖：
  • Conda 环境管理工具
  • OpenAI API Key（用于调用 GPT-4 进行剧本创作）

安装步骤

1. 克隆项目并配置环境

执行以下脚本自动安装所需依赖：

bash ./scripts/EnvsSetup.sh

激活 Conda 环境：

conda activate WavJourney

2. 下载预训练模型

运行以下命令下载模型文件（首次运行可能需要较长时间，请耐心等待）：

python scripts/download_models.py

3. 配置环境变量

您需要设置 OpenAI API Key 以及服务运行参数。请在终端执行以下命令（将 your_openai_key_here 替换为您的真实 Key）：

# 设置 OpenAI API Key
export WAVJOURNEY_OPENAI_KEY=your_openai_key_here

# 设置服务端口 (默认 8021)
export WAVJOURNEY_SERVICE_PORT=8021

# 设置服务地址 (默认本地)
export WAVJOURNEY_SERVICE_URL=127.0.0.1

# 设置最大脚本行数限制
export WAVJOURNEY_MAX_SCRIPT_LINES=999

提示：如需修改更多默认配置，可编辑根目录下的 config.yaml 文件。

4. 启动后端服务

启动文本转语音（TTS）、文本转音频等基础 Python 服务：

bash scripts/start_services.sh

基本使用

WavJourney 提供 Web 界面和命令行两种使用方式。

方式一：启动 Web 应用（推荐）

启动可视化界面，在浏览器中进行交互式创作：

bash scripts/start_ui.sh

启动后，请在浏览器访问 http://127.0.0.1:8021（具体端口视环境变量设置而定）。

方式二：命令行快速生成

直接使用命令行生成音频。以下示例将生成一段关于量子力学的介绍音频：

python wavjourney_cli.py -f --input-text "Generate a one-minute introduction to quantum mechanics"

停止服务

使用完毕后，可通过以下命令关闭所有后台服务：

python scripts/kill_services.py

---

注：高级功能（如自定义音色）可通过 add_voice_preset.py 脚本或 Web UI 进行管理。