🌊WavCraft

通过简单的句子生成和编辑音频。

本仓库目前支持：

• 文本引导的音频编辑 (text-guided audio editing)：根据文本输入编辑给定音频片段的内容
• 文本引导的音频生成 (text-guided audio generation)：根据文本输入创建音频片段
• 音频脚本创作 (audio scriptwriting)：通过提示脚本设置从 WavCraft 获得更多灵感，让模型为您完成脚本创作并生成声音。
• 检查您的音频文件是否由 WavCraft 合成

更新日志 (Change log)

2024-05-06: 支持在 WavCraft 中使用开放大语言模型 (openLLMs)（MistralAI 系列）。

2024-03-20: 为系统添加水印技术 (watermarking)

目录 (Content)

• 用法 (Usage)
  • 安装 (Installation)
  • 使用单行命令进行音频编辑 (Audio edition using a single line)
  • 通过交互进行音频编辑 (Audio edition via interaction)
  • 检查音频文件是否由 WavCraft 生成/修改 (Check if an audio file is generated/modified by WavCraft)
• 方法 (Approach)
• 致谢 (Acknowledgments)
• 引用 (Citing)

用法 (Usage)

安装 (Installation)

source scripts/setup_envs.sh

配置环境

export OPENAI_KEY=YOUR_OPENAI_KEY
export HF_KEY=YOUR_HF_KEY

在本地启动深度学习模型

source scripts/start_services.sh

使用 WavCraft

使用单行命令进行音频编辑

python3 WavCraft.py basic -f \
--input-wav assets/duck_quacking_in_water.wav \
--input-text "Add dog barking."

通过交互进行音频编辑

python3 WavCraft-chat.py basic -f -c
[New session is create]
Add audio files(s) (each file starts with '+'): +assets/duck_quacking_in_water.wav
Enter your instruction (input `EXIT` to exit the process): "Add dog barking"

检查音频文件是否由 WavCraft 生成/修改

python3 check_watermark.py --wav-path /path/to/audio/file

使用 openLLMs 进行生成/编辑

python3 WavCraft.py basic -f \
--input-wav assets/duck_quacking_in_water.wav \
--input-text "Add dog barking." \
--model 'mistralai/Mistral-7B-Instruct-v0.2'

方法 (Approach)

WavCraft 是一个大语言模型 (LLM) 驱动的智能体，用于音频内容的创建和编辑。它应用 LLM 将各种音频专家模型和数字信号处理 (DSP) 函数连接在一起。WavCraft 架构概览如下：

免责声明 (Disclaimer)

本仓库仅供研究用途。我们不对使用该模型创建的语义所生成/编辑的音频负责。此外，所有使用 WavCraft 的用户绝不得以任何方式禁用水印技术。

致谢 (Acknowledgments)

我们要感谢 WavJourney, AudioCraft, AudioSep, AudioSR, AudioLDM, WavMark 提供的出色代码工作。

引用 (Citing)

如果您发现我们的工作有所帮助，请引用我们的工作：

@misc{liang2024wavcraft,
      title={WavCraft: Audio Editing and Generation with Large Language Models}, 
      author={Jinhua Liang and Huan Zhang and Haohe Liu and Yin Cao and Qiuqiang Kong and Xubo Liu and Wenwu Wang and Mark D. Plumbley and Huy Phan and Emmanouil Benetos},
      year={2024},
      eprint={2403.09527},
      archivePrefix={arXiv},
      primaryClass={eess.AS}
}

WavCraft 快速上手指南

WavCraft 是一个由大语言模型（LLM）驱动的音频内容创作与编辑代理。它支持文本引导的音频编辑、生成、脚本编写以及水印检测。

环境准备

• 操作系统: Linux / macOS (基于 Bash 脚本)
• 前置依赖: Python 3, Git
• API 密钥:
  • OpenAI API Key
  • Hugging Face (HF) Token

安装步骤

1. 初始化环境 运行脚本自动配置依赖环境：

   source scripts/setup_envs.sh
   

2. 配置环境变量 导出您的 API 密钥以授权访问：

   export OPENAI_KEY=YOUR_OPENAI_KEY
   export HF_KEY=YOUR_HF_KEY
   

3. 启动本地深度学习服务 启动所需的后台服务：

   source scripts/start_services.sh
   

基本使用

1. 单行命令进行音频编辑

通过文本指令修改给定音频片段的内容：

python3 WavCraft.py basic -f \
--input-wav assets/duck_quacking_in_water.wav \
--input-text "Add dog barking."

2. 交互式音频编辑

进入对话模式，可添加多个文件并输入指令：

python3 WavCraft-chat.py basic -f -c

在交互界面中输入 +文件名 添加音频，输入指令后回车执行。

3. 检测音频水印

检查音频是否由 WavCraft 生成或修改：

python3 check_watermark.py --wav-path /path/to/audio/file

4. 使用开源大模型 (OpenLLMs)

支持使用 Mistral 等开源模型替代 OpenAI 进行生成或编辑：

python3 WavCraft.py basic -f \
--input-wav assets/duck_quacking_in_water.wav \
--input-text "Add dog barking." \
--model 'mistralai/Mistral-7B-Instruct-v0.2'

注意: 本工具仅供研究用途，使用时请勿禁用水印技术。