ClearerVoice-Studio 是一款开源的、基于人工智能的语音处理工具包，专为研究人员、开发者和终端用户设计。它提供语音增强、语音分离、语音超分辨率、目标说话人提取等功能。该工具包配备了最先进的预训练模型，并附带训练和推理脚本，所有内容均可从此仓库获取。

👉🏻HuggingFace 演示👈🏻 | 👉🏻ModelScope 演示 ｜ 👉🏻SpeechScore 演示👈🏻 ｜ 👉🏻论文👈🏻

---

请在我们的 GitHub 上留下你的 ⭐，以支持这个社区项目！

记得点击右上角的星星⭐来支持我们一下，您的支持是我们更新模型的最大动力！

新闻 :fire:

• 即将推出：ClearVoice 将新增更多任务。
• [2025.6] 为 ClearVoice 添加接口，允许将 NumPy 数组输入模型，并以 NumPy 数组形式接收输出。这使得在训练或推理流程中调用模型更加灵活。请查看 demo_Numpy2Numpy.py。
• [2025.5] 更新了 speechscore，增加了更多非侵入式指标：NISQA 和 DISTILL_MOS。
• [2025.4] 更新了 ClearVoice 的 pip 安装方式。现在只需输入 pip install clearvoice 即可使用 ClearVoice 中的所有预训练模型，详情请参见 PyPi 上的项目说明 链接。
• [2025.4] 新增了语音超分辨率的训练脚本，支持对模型进行再训练和微调。详细信息请参考文档 这里。
• [2025.4] 新增了用于训练/微调语音增强模型的数据生成脚本。这些脚本可以生成含噪语音或含噪混响语音。请查看 这里。
• [2025.1] ClearVoice 演示已在 HuggingFace 和 ModelScope 上开放试用。不过，HuggingFace 的 GPU 使用量有限，而 ModelScope 则有更大的 GPU 配额。
• [2025.1] ClearVoice 现已提供 语音超分辨率 功能，也称为带宽扩展。该功能通过将低分辨率音频（有效采样率至少为 16,000 Hz）转换为采样率为 48,000 Hz 的高分辨率音频，从而提升语音的感知质量。完整的升采样版 LJSpeech-1.1-48kHz 数据集 可从 HuggingFace 和 ModelScope 下载。
• [2025.1] ClearVoice 现在支持更多音频格式，包括 “wav”、“aac”、“ac3”、“aiff”、“flac”、“m4a”、“mp3”、“ogg”、“opus”、“wma”、“webm” 等。它还支持单声道和立体声通道，以及 16 位或 32 位精度。使用这些音频编解码器需要最新版本的 ffmpeg。
• [2024.12] 将预训练模型上传至 ModelScope。用户现在可以从 ModelScope 或 HuggingFace 下载这些模型。
• [2024.11] 我们的 FRCRN 语音去噪器在 ModelScope 上已被使用超过 300 万次。
• [2024.11] 我们的 MossFormer 语音分离器在 ModelScope 上已被使用超过 250 万次。
• [2024.11] 本仓库正式发布。

🌟 为什么选择 ClearerVoice-Studio？

• 预训练模型： 包含最先进的预训练模型，并在大量高质量数据集上进行了微调。无需从零开始！
• 易用性： 设计便于无缝集成到您的项目中，提供简单而灵活的推理和训练接口。
• 功能全面： 将多种语音处理任务的先进算法整合在一个平台上。
• 社区驱动： 专为研究人员、开发者和爱好者打造，旨在促进协作与创新。

本仓库内容

本仓库主要分为三个部分：ClearVoice、Train 和 SpeechScore。

1. ClearVoice [Readme][文档]

ClearVoice 提供了一种用户友好的解决方案，用于语音去噪、分离、超分辨率、音视频结合的目标说话人提取等语音处理任务。它被设计为一个统一的推理平台，利用预训练模型（例如 FRCRN、MossFormer），这些模型均在大规模数据集上训练而成。如果您正在寻找一款能够提升语音质量的工具，ClearVoice 就是理想之选。只需点击 ClearVoice，按照我们的详细说明即可开始使用。

2. Train

对于高级研究人员和开发者，我们提供了 ClearVoice 中所有任务以及其他相关任务的模型微调和训练脚本：

• 任务 1：语音增强（16kHz 和 48kHz）
• 任务 2：语音分离（8kHz 和 16kHz）
• 任务 2：语音超分辨率（48kHz）
• 任务 4：目标说话人提取
  • 子任务 1：仅音频条件下的说话人提取，基于参考语音（8kHz）
  • 子任务 2：音视频结合的说话人提取，基于面部（嘴唇）录像（16kHz）
  • 子任务 3：音视频结合的说话人提取，基于身体姿态（16kHz）
  • 子任务 4：神经引导的说话人提取，基于 EEG 信号（16kHz）

欢迎贡献者加入更多模型架构和任务！

3. SpeechScore [Readme][文档]

SpeechScore 是一个语音质量评估工具包。我们在此将其纳入，用于评估不同模型的性能。SpeechScore 包含许多流行的语音指标：

• 信噪比（SNR）
• 语音质量感知评价（PESQ）
• 短时客观可懂度（STOI）
• 深度噪声抑制平均意见分（DNSMOS）
• 不变尺度信干比（SI-SDR）
• 以及更多质量基准测试

联系方式

如果您对 ClearerVoice-Studio 有任何意见或疑问，欢迎在此仓库中提交问题，或直接通过以下方式联系我们：

• 邮箱：{shengkui.zhao, zexu.pan}@alibaba-inc.com

此外，也欢迎您加入我们的钉钉群，分享和讨论算法、技术及用户体验反馈。您可以通过扫描以下二维码加入我们的官方交流群。

友情链接

请查看阿里巴巴集团智能计算实验室语音组的一些优秀 GitHub 仓库。

致谢

ClearerVoice-Studio 包含第三方组件，以及从一些开源项目修改而来的代码，其中包括：
Speechbrain、ESPnet、TalkNet-ASD

ClearerVoice-Studio 快速上手指南

ClearerVoice-Studio 是一款开源的 AI 语音处理工具包，提供语音增强、语音分离、语音超分辨率（带宽扩展）、目标说话人提取等功能。本指南将帮助您快速完成环境配置并开始使用。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐), macOS, 或 Windows
• Python 版本: Python 3.8 或更高版本
• 硬件要求:
  • 推理：支持 CPU 运行，推荐使用 NVIDIA GPU 以获得更佳性能。
  • 训练：强烈建议使用 NVIDIA GPU。
• 前置依赖:
  • 需要安装最新版本的 ffmpeg 以支持多种音频格式（如 wav, mp3, flac, aac 等）的编解码。
  • PyTorch 环境（安装 clearvoice 时会自动处理相关依赖，但建议预先确认 PyTorch 是否可用）。

2. 安装步骤

您可以通过 pip 直接安装核心推理库 clearvoice，这是最简便的使用方式。

方式一：通过 pip 安装（推荐）

直接使用以下命令安装，它将包含所有预训练模型和推理脚本：

pip install clearvoice

提示：如果您在中国大陆地区遇到下载速度慢的问题，可以使用国内镜像源加速安装：

pip install clearvoice -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（适用于开发者/研究者）

如果您需要运行训练脚本或修改源代码，建议克隆仓库进行安装：

git clone https://github.com/modelscope/ClearerVoice-Studio.git
cd ClearerVoice-Studio
pip install -e .

3. 基本使用

安装完成后，您可以立即调用预训练模型进行语音处理。以下是两种最常用的使用方式。

方法 A：使用 NumPy 数组接口（灵活集成）

适合在现有的 Python 训练或推理管道中直接调用，输入输出均为 NumPy 数组。

import numpy as np
from clearvoice import ClearVoice

# 初始化模型，例如使用语音增强模型 (FRCRN)
# 可选任务：'enhancement', 'separation', 'super_resolution', 'extraction' 等
model = ClearVoice(task='enhancement')

# 准备输入音频数据 (假设已加载为 numpy 数组，采样率需符合模型要求)
# input_audio: shape 通常为 [samples] 或 [channels, samples]
input_audio = np.random.randn(16000) # 示例：1 秒的随机噪声数据

# 执行推理
output_audio = model.infer(input_audio)

print(f"输入形状：{input_audio.shape}, 输出形状：{output_audio.shape}")
# output_audio 即为处理后的干净语音数据

更多详细示例请参考仓库中的 demo_Numpy2Numpy.py。

方法 B：使用命令行处理音频文件

适合直接对本地音频文件进行批量处理。

# 语法示例：clearvoice --task <任务名> --input <输入文件> --output <输出文件>

# 示例 1: 语音增强 (去除噪音)
clearvoice --task enhancement --input noisySpeech.wav --output cleanSpeech.wav

# 示例 2: 语音超分辨率 (将 16k 音频提升至 48k)
clearvoice --task super_resolution --input low_res.wav --output high_res.wav

# 示例 3: 语音分离 (分离混合语音中的不同说话人)
clearvoice --task separation --input mix.wav --output separated.wav

支持的任务类型 (--task):

• enhancement: 语音增强/去噪
• separation: 语音分离
• super_resolution: 语音超分辨率
• extraction: 目标说话人提取

---

如需评估处理后的语音质量，可使用同仓库下的 SpeechScore 工具计算 PESQ, STOI, DNSMOS 等指标。