EmotiVoice 是一款功能强大、现代化的开源文本转语音引擎，完全免费供您使用。EmotiVoice 支持英语和中文两种语言，并提供超过2000种不同的声音（详情请参阅声音列表）。其最突出的特点是情感合成，允许您生成包含多种情感的语音，包括开心、兴奋、悲伤、愤怒等。

我们提供了易于使用的网页界面，同时也支持脚本接口，方便批量生成结果。

以下是 EmotiVoice 生成的一些示例：

• 中文音频样本

• 英文音频样本

• 有趣的中英混合音频样本

演示

一个演示托管在 Replicate 上，地址为：EmotiVoice。

最新动态

• 现已在“与 OpenAI 兼容的 TTS API”中支持调整语速，感谢 @john9405 的贡献。#90 #67 #77

• 适用于 Mac 的 EmotiVoice 应用程序 于 2023 年 12 月 28 日发布。只需下载并体验 EmotiVoice 的强大功能！

• EmotiVoice HTTP API 于 2023 年 12 月 6 日发布。上手更简单、使用更快，并且提供超过 13,000 次免费调用。此外，用户还可以探索由 Zhiyun 提供的更多迷人声音。

• 基于个人数据的声音克隆 于 2023 年 12 月 13 日发布，同时推出了 DataBaker Recipe 和 LJSpeech Recipe。

正在开发的功能

• 支持更多语言，例如日语和韩语。#19 #22

EmotiVoice 非常重视社区反馈和用户需求，欢迎您的宝贵意见！

快速入门

EmotiVoice Docker 镜像

尝试 EmotiVoice 最简单的方式就是运行 Docker 镜像。您需要一台配备 NVIDIA GPU 的机器。如果您尚未安装，请按照 Linux 或 Windows WSL2 的说明设置 NVIDIA 容器工具包。然后您可以使用以下命令运行 EmotiVoice：

docker run -dp 127.0.0.1:8501:8501 syq163/emoti-voice:latest

Docker 镜像已于 2024 年 1 月 4 日更新。如果您使用的是旧版本，请通过以下命令进行更新：

docker pull syq163/emoti-voice:latest
docker run -dp 127.0.0.1:8501:8501 -p 127.0.0.1:8000:8000 syq163/emoti-voice:latest

现在打开浏览器，访问 http://localhost:8501 即可开始使用 EmotiVoice 强大的 TTS 功能。

从这个版本开始，“与 OpenAI 兼容的 TTS API”现已可通过 http://localhost:8000 访问。

完整安装

conda create -n EmotiVoice python=3.8 -y
conda activate EmotiVoice
pip install torch torchaudio
pip install numpy numba scipy transformers soundfile yacs g2p_en jieba pypinyin pypinyin_dict
python -m nltk.downloader "averaged_perceptron_tagger_eng"

准备模型文件

如果遇到任何问题，我们建议用户参考维基页面如何下载预训练模型文件。

git lfs install
git lfs clone https://huggingface.co/WangZeJun/simbert-base-chinese WangZeJun/simbert-base-chinese

或者，您也可以运行：

git clone https://www.modelscope.cn/syq163/WangZeJun.git

推理

1. 您可以通过运行以下命令轻松下载预训练模型：

git clone https://www.modelscope.cn/syq163/outputs.git

2. 推理文本格式为 <speaker>|<style_prompt/emotion_prompt/content>|<phoneme>|<content>。

• 推理文本示例：8051|Happy|<sos/eos> [IH0] [M] [AA1] [T] engsp4 [V] [OY1] [S] engsp4 [AH0] engsp1 [M] [AH1] [L] [T] [IY0] engsp4 [V] [OY1] [S] engsp1 [AE1] [N] [D] engsp1 [P] [R] [AA1] [M] [P] [T] engsp4 [K] [AH0] [N] [T] [R] [OW1] [L] [D] engsp1 [T] [IY1] engsp4 [T] [IY1] engsp4 [EH1] [S] engsp1 [EH1] [N] [JH] [AH0] [N] . <sos/eos>|Emoti-Voice - a Multi-Voice and Prompt-Controlled T-T-S Engine。

4. 您可以通过 python frontend.py data/my_text.txt > data/my_text_for_tts.txt 获取音素。

5. 然后运行：

TEXT=data/inference/text
python inference_am_vocoder_joint.py \
--logdir prompt_tts_open_source_joint \
--config_folder config/joint \
--checkpoint g_00140000 \
--test_file $TEXT

合成后的语音将位于 outputs/prompt_tts_open_source_joint/test_audio 目录下。

1. 或者，如果您只想使用交互式 TTS 演示页面，可以运行：

pip install streamlit
streamlit run demo_page.py

与 OpenAI 兼容的 TTS API

感谢 @lewangdev 添加了与 OpenAI 兼容的 API #60。要设置它，请使用以下命令：

pip install fastapi pydub uvicorn[standard] pyrubberband
uvicorn openaiapi:app --reload

维基页面

您可以在我们的维基页面上找到更多信息。

训练

使用个人数据进行语音克隆已于2023年12月13日发布。

路线图与未来工作

• 我们的未来计划可以在 ROADMAP 文件中找到。
• 目前的实现主要通过提示词来控制情感和风格，仅使用音高、语速、能量和情感作为风格因素，未考虑性别因素。不过，将其调整为基于风格或音色的控制并不复杂。
• 欢迎提出建议。您可以通过提交问题或在 Twitter 上联系 @ydopensource。

微信群

欢迎扫描下方二维码加入微信群。

致谢

• PromptTTS。PromptTTS 论文是本项目的重要基础。
• LibriTTS。LibriTTS 数据集被用于 EmotiVoice 的训练。
• HiFiTTS。HiFi TTS 数据集也被用于 EmotiVoice 的训练。
• ESPnet。
• WeTTS。
• HiFi-GAN。
• Transformers。
• tacotron。
• KAN-TTS。
• StyleTTS。
• Simbert。
• cn2an。EmotiVoice 集成了 cn2an 以处理数字转换。

许可证

EmotiVoice 采用 Apache-2.0 许可证授权——详情请参阅 LICENSE 文件。

交互式页面则依据 用户协议 文件提供。

EmotiVoice 快速上手指南

EmotiVoice 是一款强大的开源多音色、提示词控制的文本转语音（TTS）引擎，支持中英文及多种情感合成（如开心、悲伤、愤怒等），内置超过 2000 种音色。

环境准备

• 操作系统: Linux 或 Windows (WSL2)
• 硬件要求: 推荐配备 NVIDIA GPU 的机器
• 软件依赖:
  • Docker (推荐使用 Docker 方式运行，最简便)
  • 或 Conda (Python 3.8+)
  • NVIDIA Container Toolkit (若使用 Docker 需预先安装)

安装步骤

方案一：Docker 运行（推荐）

这是最快速的体验方式。确保已安装并配置好 NVIDIA Container Toolkit。

1. 拉取并运行镜像：

   docker pull syq163/emoti-voice:latest
   docker run -dp 127.0.0.1:8501:8501 -p 127.0.0.1:8000:8000 syq163/emoti-voice:latest
   

2. 访问界面： 打开浏览器访问 http://localhost:8501 即可使用 Web 交互界面。 注：http://localhost:8000/ 提供了兼容 OpenAI 格式的 TTS API 接口。

方案二：完整源码安装

若需进行开发或自定义训练，请按以下步骤操作：

1. 创建虚拟环境并安装基础依赖：

   conda create -n EmotiVoice python=3.8 -y
   conda activate EmotiVoice
   pip install torch torchaudio
   pip install numpy numba scipy transformers soundfile yacs g2p_en jieba pypinyin pypinyin_dict
   python -m nltk.downloader "averaged_perceptron_tagger_eng"
   

2. 下载预训练模型文件（推荐使用国内 ModelScope 源加速）：

   # 安装 git-lfs
   git lfs install
   
   # 方式 A：从 ModelScope 下载 (推荐国内用户)
   git clone https://www.modelscope.cn/syq163/WangZeJun.git
   
   # 方式 B：从 HuggingFace 下载
   # git lfs clone https://huggingface.co/WangZeJun/simbert-base-chinese WangZeJun/simbert-base-chinese
   

3. 下载推理所需输出模型：

   git clone https://www.modelscope.cn/syq163/outputs.git
   

4. 安装 Web 演示依赖（可选）：

   pip install streamlit
   

基本使用

1. 启动交互式 Web 界面

在源码目录下运行以下命令，即可启动本地 Demo 页面进行试听：

streamlit run demo_page.py

随后在浏览器打开显示的本地地址即可。

2. 命令行推理

若需通过脚本批量生成音频，需先准备文本文件（格式：<speaker>|<emotion>|<phoneme>|<content>）。

步骤 A：生成音素文件

python frontend.py data/my_text.txt > data/my_text_for_tts.txt

步骤 B：执行推理

TEXT=data/inference/text
python inference_am_vocoder_joint.py \
--logdir prompt_tts_open_source_joint \
--config_folder config/joint \
--checkpoint g_00140000 \
--test_file $TEXT

生成的音频文件将保存在 outputs/prompt_tts_open_source_joint/test_audio 目录下。

3. 启用 OpenAI 兼容 API

若需集成到现有工作流，可启动兼容 API 服务：

pip install fastapi pydub uvicorn[standard] pyrubberband
uvicorn openaiapi:app --reload

服务启动后，可通过 http://127.0.0.1:8000 调用接口。