AudioGPT：理解与生成语音、音乐、声音及对话头像

我们在本仓库中以开源形式提供了我们的实现和预训练模型。

快速入门

请参阅 run.md

功能概览

以下列出了当前AudioGPT的功能。更多支持的模型和任务即将推出。有关提示示例，请参考 asset。

目前并非所有模型都有对应的代码库。

语音

任务	支持的基础模型	状态
文本转语音	FastSpeech, SyntaSpeech, VITS	是（开发中）
风格迁移	GenerSpeech	是
语音识别	whisper, Conformer	是
语音增强	ConvTasNet	是（开发中）
语音分离	TF-GridNet	是（开发中）
语音翻译	Multi-decoder	开发中
单声道转双声道	NeuralWarp	是

歌唱

任务	支持的基础模型	状态
文本转歌唱	DiffSinger, VISinger	是（开发中）

音频

任务	支持的基础模型	状态
文本转音频	Make-An-Audio	是
音频修复	Make-An-Audio	是
图像转音频	Make-An-Audio	是
声音检测	Audio-transformer	是
目标声音检测	TSDNet	是
声音提取	LASSNet	是

对话头像

任务	支持的基础模型	状态
对话头像合成	GeneFace	是（开发中）

致谢

我们感谢以下项目的开源贡献：

ESPNet   NATSpeech   Visual ChatGPT   Hugging Face   LangChain   Stable Diffusion  

AudioGPT 快速上手指南

AudioGPT 是一个能够理解并生成语音、音乐、音效及说话人头像的多模态 AI 工具。它整合了多个基础模型，支持文本转语音、语音识别、音频修复、歌声合成等任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: Python 3.8 - 3.10
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行大型模型)，需安装 CUDA 11.3+
• 前置依赖:
  • Git
  • FFmpeg (用于音频处理)
  • Conda (推荐用于环境管理)

国内加速建议：

• 代码克隆可使用 Gitee 镜像（如有）或配置 git config --global http.proxy。
• Python 包安装建议临时切换至清华源或阿里源：

  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  

• Hugging Face 模型下载若受阻，建议配置 HF_ENDPOINT 环境变量使用镜像站：

  export HF_ENDPOINT=https://hf-mirror.com
  

安装步骤

1. 克隆仓库

   git clone https://github.com/AIGC-Audio/AudioGPT.git
   cd AudioGPT
   

2. 创建虚拟环境

   conda create -n audiogpt python=3.9
   conda activate audiogpt
   

3. 安装依赖 根据项目根目录下的 requirements.txt 安装核心依赖：

   pip install -r requirements.txt
   

   注：若需使用特定 GPU 版本的 PyTorch，请先前往 pytorch.org 获取对应命令安装，再安装其他依赖。

4. 下载预训练模型 部分基础模型（如 Whisper, VITS, Make-An-Audio 等）需要单独下载权重文件。请参考官方提供的 run.md 文档中的模型下载链接，将模型文件放置于项目指定的 checkpoints 或 models 目录下。

基本使用

AudioGPT 的核心逻辑是通过自然语言指令调用不同的底层模型。以下是最简单的 Python 调用示例。

示例：文本转语音 (Text-to-Speech)

from audiogpt import AudioGPT

# 初始化 AudioGPT
# 请确保已正确配置相关模型的路径
ag = AudioGPT()

# 定义任务指令
prompt = "Generate a male voice saying: Hello, welcome to AudioGPT."

# 执行生成
# 返回通常为音频文件路径或音频数据
output_path = ag.run(prompt)

print(f"Audio generated at: {output_path}")

示例：音频内容理解 (Speech Recognition)

from audiogpt import AudioGPT

ag = AudioGPT()

# 上传音频文件进行识别
audio_file = "path/to/your/audio.wav"
prompt = f"Transcribe the following audio file: {audio_file}"

result = ag.run(prompt)
print(result)

提示：更多具体的 Prompt 示例（如风格迁移、歌声合成、图像转音频等）请参阅项目目录下的 assets/README.md 文件。详细的高级配置和脚本运行方式请查阅 run.md。