🚧 雖然我不再積極更新這個倉庫，但我一直在推動這項技術向更好的方向發展，並致力於開源。同時，我也在構建一個優化且雲託管的版本：https://noiz.ai/，並且我們正在招聘人才（[issue 1029](https://github.com/babysor/MockingBird/issues/1029)）。

英文 | 中文| 中文Linux

特色

🌍 中文 支持普通話，並已在多個數據集上測試過，包括 aidatatang_200zh、magicdata、aishell3、data_aishell 等。

🤩 PyTorch 基於 PyTorch 框架開發，在 1.9.0 版本（截至 2021 年 8 月為最新版本）下進行了測試，使用 Tesla T4 和 GTX 2060 GPU。

🌍 Windows + Linux 可在 Windows 和 Linux 系統上運行，甚至適用於 M1 Mac OS。

🤩 簡單又強大 只需使用新訓練的合成器，即可實現出色效果，同時重用預訓練的編碼器和聲碼器。

🌍 Web 服務器就緒 可以通過遠程調用提供結果。

演示視頻

快速入門

1. 安裝依賴

1.1 一般設置

請按照原始倉庫的說明，檢查是否已準備好所有環境。 Python 3.7 或更高版本 是運行該工具箱的必要條件。

• 安裝 PyTorch。

如果遇到 ERROR: Could not find a version that satisfies the requirement torch==1.9.0+cu102 (from versions: 0.1.2, 0.1.2.post1, 0.1.2.post2 ) 的錯誤，這很可能是由於 Python 版本過低所致。建議使用 3.9 版本，通常可以成功安裝。

• 安裝 ffmpeg。
• 執行 pip install -r requirements.txt 以安裝剩餘的必要軟體包。

推薦的環境配置為：Repo Tag 0.0.1、Pytorch 1.9.0 附帶 Torchvision 0.10.0 和 cudatoolkit 10.2、requirements.txt、webrtcvad-wheels。由於 requirements.txt 是數月前導出的，可能無法與較新的版本兼容。

• 如有需要，安裝 webrtcvad：pip install webrtcvad-wheels。

或者

• 使用 conda 或 mamba 安裝依賴：

  conda env create -n env_name -f env.yml

  mamba env create -n env_name -f env.yml

  這將創建一個包含所需依賴的虛擬環境。切換到新環境後，執行 conda activate env_name 即可開始使用。

  env.yml 只包含運行項目所需的依賴，暫時未包含 monotonic-align。您可以訪問官方網站安裝 GPU 版本的 PyTorch。

1.2 在 M1 Mac 上設置

以下步驟是繞過修改代碼，直接使用原始 demo_toolbox.py 的方法。

由於 demo_toolbox.py 中使用的 PyQt5 套件與 M1 處理器不兼容，這是主要問題。如果希望在 M1 處理器上訓練模型，可以選擇放棄使用 demo_toolbox.py，或嘗試項目中的 web.py。

1.2.1 安裝 PyQt5，參考資料：這裡。

• 打開 Rosetta 終端，參考資料：這裡。
• 使用系統自帶的 Python 創建項目虛擬環境：

  /usr/bin/python3 -m venv /PathToMockingBird/venv
  source /PathToMockingBird/venv/bin/activate
  

• 更新 pip 並安裝 PyQt5：

  pip install --upgrade pip
  pip install pyqt5
  

1.2.2 安裝 pyworld 和 ctc-segmentation

這兩個套件似乎是專屬於本項目，未見於原始的 Real-Time Voice Cloning 項目中。使用 pip install 安裝時，由於缺少輪子文件，程序會嘗試直接從 C 語言編譯，但找不到 Python.h。

• 安裝 pyworld：

  • 使用 brew install python 安裝 Python，brew 安裝的 Python 會附帶 Python.h。
  • 設定環境變量：export CPLUS_INCLUDE_PATH=/opt/homebrew/Frameworks/Python.framework/Headers。brew 安裝的 Python.h 路徑對 M1 Mac 獨特，需手動添加到環境變量中。
  • 再次執行 pip install pyworld，應可成功安裝。

• 安裝 ctc-segmentation：

  對於 ctc-segmentation，上述方法不適用，需要從 GitHub 上的源代碼編譯。

  • 克隆代碼庫：git clone https://github.com/lumaku/ctc-segmentation.git
  • 切換到該目錄：cd ctc-segmentation
  • 激活虛擬環境：source /PathToMockingBird/venv/bin/activate（若尚未激活）。
  • 執行 cythonize -3 ctc_segmentation/ctc_segmentation_dyn.pyx
  • 使用 x86 架構編譯：/usr/bin/arch -x86_64 python setup.py build
  • 使用 x86 架構安裝：/usr/bin.arch -x86_64 python setup.py install --optimize=1 --skip-build

1.2.3 其他依賴

• 使用 x86 架構安裝 PyTorch：/usr/bin.arch -x86_64 pip install torch torchvision torchaudio。
• 安裝 ffmpeg：pip install ffmpeg。
• 安裝其他依賴：pip install -r requirements.txt。

1.2.4 運行推理（使用工具箱）

為了在 x86 架構下運行項目，參考資料：這裡。

• 創建可執行文件 pythonM1：vim /PathToMockingBird/venv/bin/pythonM1，並將其放置在 /PathToMockingBird/venv/bin 目錄下。
• 寫入以下內容：

  #!/usr/bin/env zsh
  mydir=${0:a:h}
  /usr/bin.arch -x86_64 $mydir/python "$@"
  

• 設定文件為可執行：chmod +x pythonM1。
• 若使用 PyCharm IDE，請將項目解釋器配置為 pythonM1（配置步驟在此）；若使用命令行 Python，則執行 /PathToMockingBird/venv/bin/pythonM1 demo_toolbox.py。

2. 准备您的模型

注意，我们使用的是预训练的编码器和声码器，但不使用合成器，因为原始模型与中文符号不兼容。这意味着 demo_cli 目前无法正常工作，因此需要额外的合成器模型。

您可以选择训练自己的模型，也可以直接使用现有的模型：

2.1 使用您的数据集训练编码器（可选）

• 对音频和梅尔谱进行预处理： python encoder_preprocess.py <datasets_root> 可以通过参数 --dataset {dataset} 指定要预处理的数据集。仅会使用这些数据集的训练集。可能的数据集名称包括：librispeech_other、voxceleb1、voxceleb2。多个数据集之间用逗号分隔。

• 训练编码器：python encoder_train.py my_run <datasets_root>/SV2TTS/encoder

编码器在训练过程中会使用 visdom 进行可视化。您可以通过 --no_visdom 参数禁用它，不过启用 visdom 会更有帮助。请在另一个命令行或进程中运行 visdom 来启动 visdom 服务器。

2.2 使用您的数据集训练合成器

• 下载并解压数据集：确保可以访问文件夹中的所有 .wav 文件。

• 对音频和梅尔谱进行预处理： python pre.py <datasets_root> 可以通过参数 --dataset {dataset} 指定 aidatatang_200zh、magicdata、aishell3、data_aishell 等数据集。如果未指定该参数，则默认使用 aidatatang_200zh 数据集。

• 训练合成器： python train.py --type=synth mandarin <datasets_root>/SV2TTS/synthesizer

• 当您在训练目录 synthesizer/saved_models/ 中看到注意力线出现，并且损失达到满意水平时，即可进入下一步。

2.3 使用预训练的合成器模型

感谢社区贡献，以下是一些共享的模型：

作者	下载链接	预览视频	信息
@author	https://pan.baidu.com/s/1iONvRxmkI-t1nHqxKytY3g 百度网盘 提取码：4j5d		基于多个数据集训练的 7.5 万步模型
@author	https://pan.baidu.com/s/1fMh9IlgKJlL2PIiRTYDUvw 百度网盘 提取码：om7f		基于多个数据集训练的 2.5 万步模型，仅适用于版本 0.0.1
@FawenYo	https://yisiou-my.sharepoint.com/:u:/g/personal/lawrence_cheng_fawenyo_onmicrosoft_com/EWFWDHzee-NNg9TWdKckCc4BC7bK2j9cCbOWn0-_tK0nOg?e=n0gGgC	输入 输出	基于台湾本地口音训练的 20 万步模型，仅适用于版本 0.0.1
@miven	https://pan.baidu.com/s/1PI-hM3sn5wbeChRryX-RCQ 提取码：2021；阿里云盘链接：https://www.aliyundrive.com/s/AwPsbo8mcSP 提取码：z2m0	https://www.bilibili.com/video/BV1uh411B7AD/	仅适用于版本 0.0.1

2.4 训练声码器（可选）

注意：声码器对最终效果的影响较小，因此您可能不需要重新训练一个新的声码器。

• 数据预处理： python vocoder_preprocess.py <datasets_root> -m <synthesizer_model_path>

<datasets_root> 替换为您数据集的根目录，<synthesizer_model_path> 替换为您的最佳合成器模型所在的目录，例如 sythensizer\saved_mode\xxx。

• 训练 wavernn 声码器： python vocoder_train.py mandarin <datasets_root>

• 训练 hifigan 声码器： python vocoder_train.py mandarin <datasets_root> hifigan

3. 启动

3.1 使用 Web 服务器

您可以尝试运行：python web.py，然后在浏览器中打开，默认地址为 http://localhost:8080。

3.2 使用工具箱

您也可以尝试使用工具箱： python demo_toolbox.py -d <datasets_root>

3.3 使用命令行

您还可以尝试使用命令： python gen_voice.py <text_file.txt> your_wav_file.wav 为了获得更好的数字转换效果，您可能需要先安装 cn2an 库，命令为 pip install cn2an。

参考文献

本仓库基于 Real-Time-Voice-Cloning 分支而来，原项目仅支持英文。

URL	名称	标题	实现来源
1803.09017	GlobalStyleToken（合成器）	风格标记：端到端语音合成中的无监督风格建模、控制与迁移	本仓库
2010.05646	HiFi-GAN（声码器）	用于高效高保真语音合成的生成对抗网络	本仓库
2106.02297	Fre-GAN（声码器）	Fre-GAN：对抗式频率一致音频合成	本仓库
1806.04558	SV2TTS	从说话人验证到多说话人文本转语音合成的迁移学习	本仓库
1802.08435	WaveRNN（声码器）	高效神经音频合成	fatchord/WaveRNN
1703.10135	Tacotron（合成器）	Tacotron：迈向端到端语音合成	fatchord/WaveRNN
1710.10467	GE2E（编码器）	用于说话人验证的广义端到端损失	本仓库

常见问题解答

1. 我可以在哪里下载数据集？

数据集	原始来源	替代来源
aidatatang_200zh	OpenSLR	Google Drive
magicdata	OpenSLR	Google Drive (开发集)
aishell3	OpenSLR	Google Drive
data_aishell	OpenSLR

解压 aidatatang_200zh 后，需要解压 aidatatang_200zh\corpus\train 下的所有文件。

2. <datasets_root> 是什么？

如果数据集路径是 D:\data\aidatatang_200zh，那么 <datasets_root> 就是 D:\data。

3. 显存不足

训练合成器：调整 synthesizer/hparams.py 中的 batch_size。

//之前
tts_schedule = [(2,  1e-3,  20_000,  12),   # 渐进式训练计划
                (2,  5e-4,  40_000,  12),   # (r, lr, step, batch_size)
                (2,  2e-4,  80_000,  12),   #
                (2,  1e-4, 160_000,  12),   # r = 缩放因子（每个解码器迭代生成的梅尔频谱帧数）
                (2,  3e-5, 320_000,  12),   #
                (2,  1e-5, 640_000,  12)],  # lr = 学习率
//之后
tts_schedule = [(2,  1e-3,  20_000,  8),   # 渐进式训练计划
                (2,  5e-4,  40_000,  8),   # (r, lr, step, batch_size)
                (2,  2e-4,  80_000,  8),   #
                (2,  1e-4, 160_000,  8),   # r = 缩放因子（每个解码器迭代生成的梅尔频谱帧数）
                (2,  3e-5, 320_000,  8),   #
                (2,  1e-5, 640_000,  8)],  # lr = 学习率

训练声码器——预处理数据：调整 synthesizer/hparams.py 中的 batch_size。

//之前
### 数据预处理
        max_mel_frames = 900,
        rescale = True,
        rescaling_max = 0.9,
        synthesis_batch_size = 16,                  # 用于声码器的预处理和推理。
//之后
### 数据预处理
        max_mel_frames = 900,
        rescale = True,
        rescaling_max = 0.9,
        synthesis_batch_size = 8,                  # 用于声码器的预处理和推理。

训练声码器——训练声码器：调整 vocoder/wavernn/hparams.py 中的 batch_size。

//之前
# 训练
voc_batch_size = 100
voc_lr = 1e-4
voc_gen_at_checkpoint = 5
voc_pad = 2

//之后
# 训练
voc_batch_size = 6
voc_lr = 1e-4
voc_gen_at_checkpoint = 5
voc_pad = 2

4. 如果出现 RuntimeError: Error(s) in loading state_dict for Tacotron: size mismatch for encoder.embedding.weight: copying a param with shape torch.Size([70, 512]) from checkpoint, the shape in current model is torch.Size([75, 512]). 错误，

请参考 issue #37。

5. 如何提高 CPU 和 GPU 的占用率？

适当调整 batch_size 可以提高利用率。

6. 如果出现“页面文件太小，无法完成操作”的错误怎么办？

请参考这个 视频，将虚拟内存调整为 100G（102400），例如：当文件放在 D 盘时，将 D 盘的虚拟内存进行相应调整。

7. 训练过程中应该在什么时候停止？

供参考：我的注意力机制在 18k 步后开始起作用，损失在 50k 步后降至 0.4 以下。

MockingBird 快速上手指南

MockingBird 是一个基于 PyTorch 的开源语音克隆工具，支持中文（普通话）及多种数据集，可实现高质量的语音合成与音色转换。

1. 环境准备

系统要求

• 操作系统：Windows、Linux 或 macOS（M1 Mac 需特殊配置，见下文备注）
• Python 版本：3.7 或更高（推荐 3.9 以避免部分依赖安装错误）
• GPU 支持：推荐使用 NVIDIA GPU（如 Tesla T4, GTX 2060），需安装对应版本的 CUDA

前置依赖

在开始之前，请确保已安装以下基础软件：

1. PyTorch：访问 PyTorch 官网 获取适合你环境的安装命令。

   建议环境组合：PyTorch 1.9.0 + Torchvision 0.10.0 + cudatoolkit 10.2

2. FFmpeg：用于音频处理。
   • Windows: 下载二进制包并配置环境变量，或使用 choco install ffmpeg
   • Linux: sudo apt-get install ffmpeg
   • macOS: brew install ffmpeg

2. 安装步骤

方法一：使用 pip 安装（推荐）

1. 克隆项目代码：

   git clone https://github.com/babysor/MockingBird.git
   cd MockingBird
   

2. 安装 Python 依赖包：

   注意：由于 requirements.txt 导出时间较早，建议先创建虚拟环境。

   pip install -r requirements.txt
   

3. 安装额外的 VAD 模块（可选但推荐）：

   pip install webrtcvad-wheels
   

4. 安装数字转换工具（优化中文数字朗读效果）：

   pip install cn2an
   

方法二：使用 Conda/Mamba 安装

如果你偏好使用 Conda 管理环境：

conda env create -n mockingbird -f env.yml
conda activate mockingbird

注：env.yml 仅包含核心依赖，如需 GPU 加速，请手动安装对应版本的 PyTorch。

⚠️ M1 Mac 用户特别提示

M1 芯片默认架构与部分依赖（如 PyQt5）不兼容。若需运行图形界面工具箱 (demo_toolbox.py)，请通过 Rosetta 2 转译运行：

1. 创建 Rosetta 终端并建立 x86_64 虚拟环境。
2. 安装依赖时强制指定架构：

   /usr/bin/arch -x86_64 pip install torch torchvision torchaudio
   

3. 运行脚本时添加架构前缀：

   /usr/bin/arch -x86_64 python demo_toolbox.py
   

若仅需推理功能，可直接使用 web.py 或命令行模式，无需复杂配置。

3. 基本使用

第一步：准备模型

MockingBird 复用预训练的编码器 (Encoder) 和声码器 (Vocoder)，但合成器 (Synthesizer) 需要针对中文重新训练或使用社区分享的预训练模型。

• 方案 A（推荐新手）：下载社区预训练的中文合成器模型。 将下载的模型文件放入 synthesizer/saved_models/ 目录下。 (可在项目 Wiki 或 README 表格中寻找百度网盘链接)

• 方案 B（进阶）：使用自己的数据集训练。 确保数据集（如 aidatatang_200zh）已解压，然后执行：

  python pre.py <datasets_root> --dataset aidatatang_200zh
  python train.py --type=synth mandarin <datasets_root>/SV2TTS/synthesizer
  

第二步：启动服务

方式 1：Web 界面（最简单）

启动本地 Web 服务器，通过浏览器操作：

python web.py

启动后在浏览器访问：http://localhost:8080

方式 2：命令行生成语音

直接通过命令将文本转换为特定音色的语音：

python gen_voice.py <text_file.txt> your_wav_file.wav

• <text_file.txt>：包含待合成文本的文件。
• your_wav_file.wav：参考音频文件（用于提取音色）。

提示：为了获得更好的中文数字朗读效果，请确保已安装 cn2an 库。

方式 3：图形化工具箱

如果环境配置完整（特别是 PyQt5），可启动交互式工具箱：

python demo_toolbox.py -d <datasets_root>