新闻

• [2024年10月] 🔧 我们更新了 FunASR 接口中的使用方法，并增加了源选择功能。“ms”或“modelscope”适用于中国大陆用户；“hf”或“huggingface”适用于其他海外用户。我们建议使用 FunASR 接口以获得更流畅的体验。
• [2024年6月] 🔧 我们修复了 emotion2vec+ 中的一个错误，请重新拉取最新代码。
• [2024年5月] 🔥 语音情感识别基础模型：emotion2vec+，支持9类情感，已在 Model Scope 和 Hugging Face 上发布。请查看一系列高性能的 emotion2vec+（seed、base、large）模型，用于语音情感识别任务 (我们推荐此次发布的版本，而非2024年1月发布的版本)。
• [2024年1月] 基于 emotion2vec 进行迭代微调的9类情感识别模型已在 modelscope 和 FunASR 上发布。
• [2024年1月] emotion2vec 已集成到 modelscope 和 FunASR 中。
• [2023年12月] 我们发布了论文，并创建了一个微信群用于讨论 emotion2vec。
• [2023年11月] 我们发布了 emotion2vec 的代码、检查点以及提取的特征。

模型卡片

GitHub 仓库：emotion2vec

模型	⭐Model Scope	🤗Hugging Face	微调数据（小时）
emotion2vec	链接	链接	/
emotion2vec+ seed	链接	链接	201
emotion2vec+ base	链接	链接	4788
emotion2vec+ large	链接	链接	42526

概述

• emotion2vec+：语音情感识别基础模型
  • 指南
  • 数据工程
  • 性能
  • 使用检查点进行推理
    • 从 FunASR 安装
• emotion2vec：通用语音情感表示模型
  • 指南
  • 性能
    • 在 IEMOCAP 数据集上的表现
    • 在其他语言上的表现
    • 在其他语音情感任务上的表现
  • 可视化
  • 提取特征
    • 下载提取的特征
    • 从您的数据集提取特征
      • 从源代码安装
      • 从 FunASR 安装
  • 训练您的下游模型
  • 贡献者
  • 引用

emotion2vec+：语音情感识别基础模型

指南

emotion2vec+ 是一系列用于语音情感识别（SER）的基础模型。我们的目标是在语音情感识别领域打造一个“whisper”，通过数据驱动的方法克服语言和录音环境的影响，从而实现通用且鲁棒的情感识别能力。emotion2vec+ 的性能显著优于 Hugging Face 上其他高下载量的开源模型。

数据工程

我们提供了3个版本的 emotion2vec+，每个版本都基于其前一代的数据衍生而来。如果您需要专注于语音情感表示的模型，请参阅 emotion2vec：通用语音情感表示模型。

• emotion2vec+ seed：基于 EmoBox 的学术语音情感数据进行微调。
• emotion2vec+ base：通过过滤大规模伪标签数据得到基础尺寸模型（约90M参数）。
• emotion2vec+ large：通过过滤大规模伪标签数据得到大型尺寸模型（约300M参数）。

迭代过程如下所示，最终使用16万小时语音情感数据中的4万小时训练了 emotion2vec+ large 模型。数据工程的详细信息将在稍后公布。

性能

在 EmoBox 数据集上对4类主要情感的表现（未进行微调）。模型性能的详细信息将在稍后公布。

使用检查点进行推理

从 FunASR 安装

1. 安装 funasr

pip install -U funasr

2. 运行代码。

'''
使用微调后的情感识别模型

rec_result 包含 {'feats', 'labels', 'scores'}
	extract_embedding=False：9类情感及得分
	extract_embedding=True：9类情感及得分，同时包含特征

9类情感：
iic/emotion2vec_plus_seed、iic/emotion2vec_plus_base、iic/emotion2vec_plus_large（2024年5月发布）
iic/emotion2vec_base_finetuned（2024年1月发布）
    0：愤怒
    1：厌恶
    2：恐惧
    3：快乐
    4： neutral
    5：其他
    6：悲伤
    7：惊讶
    8：未知
'''

from funasr import AutoModel

# model="iic/emotion2vec_base"
# model="iic/emotion2vec_base_finetuned"
# model="iic/emotion2vec_plus_seed"

# 模型="iic/emotion2vec_plus_base"
model_id = "iic/emotion2vec_plus_large"

model = AutoModel(
    model=model_id,
    hub="ms",  # 对于中国大陆用户，使用 "ms" 或 "modelscope"；对于其他海外用户，使用 "hf" 或 "huggingface"
)

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(rec_result)

模型将自动下载。

FunASR 支持以 kaldi 样式的 wav.scp 文件作为输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详情请参阅 FunASR。

emotion2vec：通用语音情感表示模型

使用指南

emotion2vec 是首个通用的语音情感表示模型。通过自监督预训练，emotion2vec 能够在不同任务、语言和场景中提取情感表示。

性能表现

IEMOCAP 数据集上的表现

在主流的 IEMOCAP 数据集上，emotion2vec 仅使用线性层即达到了 SOTA 水平。更多细节请参阅论文。

其他语言上的表现

与多个语言（普通话、法语、德语、意大利语等）中的 SOTA SSL 模型相比，emotion2vec 同样达到了 SOTA 水平。更多细节请参阅论文。

其他语音情感任务上的表现

更多细节请参阅论文。

可视化

IEMOCAP 数据集上学习到的特征的 UMAP 可视化结果。红色和蓝色分别代表低唤醒度和高唤醒度的情感类别。更多细节请参阅论文。

提取特征

下载已提取的特征

我们提供了流行情感数据集 IEMOCAP 的已提取特征。这些特征是从 emotion2vec 的最后一层提取的，存储为 .npy 格式，采样率为 50Hz。话语级别的特征是通过对帧级别特征进行平均计算得到的。

• 帧级别：Google Drive | 百度网盘（密码：zb3p）
• 话语级别：Google Drive | 百度网盘（密码：qu3u）

所有 wav 文件均来自原始数据集，适用于多种下游任务。若希望使用标准的 5531 句话语进行四类情感分类的训练，请参考 iemocap_downstream 文件夹。

从您的数据集提取特征

从源代码安装

最低环境要求为 python>=3.8 和 torch>=1.13。我们的测试环境为 python=3.8 和 torch=2.01。

1. 克隆仓库。

pip install fairseq
git clone https://github.com/ddlBoJack/emotion2vec.git

2. 从以下来源下载 emotion2vec 检查点：

• Google Drive
• 百度网盘（密码：b9fq）
• ModelScope：git clone https://www.modelscope.cn/damo/emotion2vec_base.git

3. 修改并运行 scripts/extract_features.sh。

通过 FunASR 安装

1. 安装 FunASR

pip install -U funasr

2. 运行代码。

'''
使用情感表示模型
rec_result 仅包含 {'feats'}
	granularity="utterance": {'feats': [*768]}
	granularity="frame": {feats: [T*768]}
'''

from funasr import AutoModel

model_id = "iic/emotion2vec_base"
model = AutoModel(
    model=model_id,
    hub="ms",  # 对于中国大陆用户，使用 "ms" 或 "modelscope"；对于其他海外用户，使用 "hf" 或 "huggingface"
)

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance")
print(rec_result)

模型将自动下载。

FunASR 支持以 kaldi 样式的 wav.scp 文件作为输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详情请参阅 FunASR。

训练您的下游模型

我们在 iemocap_downstream 文件夹中提供了针对 IEMOCAP 数据集的训练脚本。您可以修改这些脚本，以在其他数据集上训练您的下游模型。

贡献者

机构	贡献
上海交通大学	研究人员；计算资源；数据收集；
复旦大学	研究人员
香港中文大学	研究人员
阿里巴巴集团	研究人员；计算资源；数据托管；模型托管；
鹏城实验室	研究人员

引用

如果您认为我们的 emotion2vec 代码和论文有用，请引用：

@article{ma2023emotion2vec,
  title={emotion2vec: 自监督预训练用于语音情感表示},
  author={Ma, Ziyang and Zheng, Zhisheng and Ye, Jiaxin and Li, Jinchao and Gao, Zhifu and Zhang, Shiliang and Chen, Xie},
  journal={Proc. ACL 2024 Findings},
  year={2024}
}

emotion2vec 快速上手指南

emotion2vec 是一个用于语音情感表示的自监督预训练模型系列，包含通用的情感特征提取模型（emotion2vec）和高性能的语音情感识别基础模型（emotion2vec+）。本指南将帮助您快速在中国大陆环境下部署和使用该工具。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux
• Python: 3.8 或更高版本
• PyTorch: 1.13 或更高版本
• 依赖库: fairseq (仅源码安装时需要)

安装步骤

为了获得最流畅的体验并自动处理模型下载，强烈推荐使用 FunASR 接口进行安装。FunASR 已集成 emotion2vec 并支持国内镜像源加速。

方法一：通过 FunASR 安装（推荐）

只需一条命令即可安装最新版的 FunASR，它会自动处理依赖和模型加载逻辑：

pip install -U funasr

方法二：从源码安装（高级用户）

如果您需要修改底层代码或进行特定的特征提取实验，可以选择从源码安装：

1. 安装 fairseq 依赖：

   pip install fairseq
   

2. 克隆仓库：

   git clone https://github.com/ddlBoJack/emotion2vec.git
   

3. 手动下载模型检查点（Checkpoint）：
   • 百度网盘: 下载链接 (提取码: b9fq)
   • ModelScope: git clone https://www.modelscope.cn/damo/emotion2vec_base.git

基本使用

以下示例展示如何使用 Python 调用预训练模型进行推理。代码会自动根据网络环境选择模型源。

场景 1：语音情感识别 (使用 emotion2vec+)

此场景适用于直接获取音频的情感分类结果（如：愤怒、高兴、悲伤等 9 类情感）。

from funasr import AutoModel

# 选择模型：推荐使用 large 版本以获得最佳效果
# 可选模型：iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large
model_id = "iic/emotion2vec_plus_large"

# 初始化模型
# hub="ms" 代表使用 ModelScope (适合中国大陆用户)
# hub="hf" 代表使用 HuggingFace (适合海外用户)
model = AutoModel(
    model=model_id,
    hub="ms", 
)

# 准备测试音频路径
wav_file = f"{model.model_path}/example/test.wav"

# 执行推理
# extract_embedding=False: 仅返回情感标签和分数
# extract_embedding=True: 同时返回情感标签、分数和情感特征向量
rec_result = model.generate(
    wav_file, 
    output_dir="./outputs", 
    granularity="utterance", 
    extract_embedding=False
)

print(rec_result)

输出说明： 返回结果包含 feats (特征), labels (标签), scores (置信度)。 情感标签对应关系 (0-8): 0: angry (愤怒), 1: disgusted (厌恶), 2: fearful (恐惧), 3: happy (高兴), 4: neutral (中性), 5: other (其他), 6: sad (悲伤), 7: surprised (惊讶), 8: unknown (未知)。

场景 2：提取情感特征向量 (使用 emotion2vec)

此场景适用于提取音频的情感嵌入向量（Embedding），用于下游任务（如聚类、自定义分类器训练等）。

from funasr import AutoModel

# 选择基础特征提取模型
model_id = "iic/emotion2vec_base"

model = AutoModel(
    model=model_id,
    hub="ms",  # 中国大陆用户请使用 "ms"
)

wav_file = f"{model.model_path}/example/test.wav"

# 执行特征提取
# granularity="utterance": 返回整句音频的平均特征向量 (维度 768)
# granularity="frame": 返回帧级特征向量 (维度 T*768)
rec_result = model.generate(
    wav_file, 
    output_dir="./outputs", 
    granularity="utterance"
)

print(rec_result)

输出说明： 返回结果仅包含 feats。

• 若 granularity="utterance"，输出形状为 [768]。
• 若 granularity="frame"，输出形状为 [T, 768]，其中 T 为帧数。

提示：FunASR 同样支持批量处理，您可以准备一个 wav.scp 文件（Kaldi 风格），每行格式为 wav_name wav_path，即可一次性处理多个音频文件。