基于循环神经网络的语音合成。

此仓库包含我们提交至 ICLR 的论文代码：

Jose Sotelo, Soroush Mehri, Kundan Kumar, João Felipe Santos, Kyle Kastner, Aaron Courville, Yoshua Bengio. Char2Wav：端到端语音合成。

项目主页位于 这里。

注意：目前代码正在重构、清理和添加文档。我们希望尽快将其公开，但也清楚当前版本尚不适合复现。因此，如果您对此感兴趣，请稍后再来查看。您也可以给我发送邮件，我会在准备好时通知您。

注（2）：神经声码器的代码基于 sampleRNN。

更新：

• 添加了 sampleRNN 模块
• 端到端模型在 p6000 显卡上可在 1 秒内生成超过 4 秒的音频。（实现方式是在一个批次中一次性生成 200 个长度为 10 秒的样本，总耗时为 448 秒。）

Parrot (Char2Wav) 快速上手指南

⚠️ 重要提示：根据官方说明，当前代码库正在进行重构、清理和文档化工作。目前的版本尚未准备好用于复现研究结果。建议开发者暂时观望，或通过邮件联系作者获取最新就绪通知。以下指南基于现有代码结构整理，供早期探索者参考。

Parrot 是一个基于循环神经网络（RNN）的端到端语音合成项目，实现了 Char2Wav 模型，可直接从字符生成语音波形。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 16.04+)
• GPU: NVIDIA GPU (推荐 Pascal 架构及以上，如 P6000)，需支持 CUDA
• Python: Python 3.6+

前置依赖

确保已安装以下基础依赖：

• CUDA Toolkit (版本需与 PyTorch/TensorFlow 兼容)
• cuDNN
• Git

安装步骤

1. 克隆仓库

   git clone https://github.com/josesotelo/parrot.git
   cd parrot
   

2. 创建虚拟环境并安装依赖

   python3 -m venv venv
   source venv/bin/activate
   pip install --upgrade pip
   # 注：由于项目正在重构，requirements.txt 可能不完整，需根据实际报错手动安装
   pip install torch torchvision torchaudio
   pip install numpy scipy librosa soundfile
   

3. 安装 SampleRNN 模块（神经声码器基础） 该项目部分代码基于 SampleRNN，确保相关子模块已更新：

   git submodule update --init --recursive
   

基本使用

由于项目处于重构期，暂无封装好的命令行工具。以下为基于现有更新日志的核心逻辑示例（生成音频）：

1. 数据准备 将文本和对应的音频数据整理至 data/ 目录（具体格式需参考后续正式文档）。

2. 模型推理示例 根据更新日志，该模型支持批量生成。以下伪代码展示了在单块 P6000 GPU 上生成音频的逻辑：

   import torch
   from models import Char2Wav  # 假设的模型导入路径，具体以重构后代码为准
   
   # 加载预训练模型
   model = Char2Wav.load_pretrained('path/to/checkpoint.pth')
   model.cuda()
   model.eval()
   
   # 输入文本序列 (示例)
   text_input = "Hello world" 
   
   # 执行推理
   # 更新日志提到：可在 1 秒内生成超过 4 秒的音频
   # 实现方式：单次批处理生成 200 个长度为 10 秒的样本
   with torch.no_grad():
       audio_samples = model.generate(text_input, batch_size=200, duration=10.0)
   
   # 保存音频
   import soundfile as sf
   sf.write('output.wav', audio_samples.cpu().numpy(), samplerate=16000)
   

注意：由于代码正在清理中，上述类名 Char2Wav 及方法 generate 仅为逻辑示意。在实际运行前，请务必检查仓库中最新的 scripts/ 或 examples/ 目录以获取可执行的测试脚本。