对话中的情感识别

注释

对于询问如何提取视觉和音频特征的朋友们，请查看这里：https://github.com/soujanyaporia/MUStARD

更新 🔥 🔥 🔥

| 日期 | 公告 | |- |- | | 2024年10月3日 | 如果你对LLM的智商测试感兴趣，可以看看我们的新工作：AlgoPuzzleVQA | 2021年8月3日 | 🎆 🎆 我们发布了一个新的数据集M2H2：用于对话中幽默识别的多模态多人印地语数据集。请查看：M2H2。M2H2数据集的基线模型是基于DialogueRNN和bcLSTM构建的。 | | 2021年5月18日 | 🎆 🎆 我们发布了一个包含解决对话中情感原因识别问题模型的新仓库。请查看：emotion-cause-extraction。感谢Pengfei Hong的整理。 | | 2020年12月24日 | 🎆 🎆 对在对话中识别情感原因这一主题感兴趣吗？我们刚刚发布了相关的数据集。请访问https://github.com/declare-lab/RECCON。 | | 2020年10月6日 | 🎆 🎆 新论文及对话中情感识别的SOTA成果。代码请参考COSMIC目录。阅读论文——COSMIC: COmmonSense知识用于对话中情感识别。 | | 2020年9月30日 | 发表了关于话语级对话理解的新论文及基线模型。请阅读我们的论文话语级对话理解：一项实证研究。可复制代码。 | | 2020年7月26日 | 发布了新的DialogueGCN代码。请访问https://github.com/declare-lab/conv-emotion/tree/master/DialogueGCN-mianzhang。所有功劳归于Mian Zhang (https://github.com/mianzhang/) | | 2020年7月11日 | 想阅读关于ERC或相关任务（如对话中的讽刺检测）的论文吗？我们整理了一份全面的论文阅读清单。请访问https://github.com/declare-lab/awesome-emotion-recognition-in-conversations | | 2020年6月7日： | ERC任务的最新最先进成果将很快发布。 | | 2020年6月7日： | conv-emotion仓库将在https://github.com/declare-lab/上维护。 | | 2019年12月22日： | DialogueGCN的代码已发布。 | | 2019年10月11日： | 新论文：用于情感识别的对话迁移学习。 | | 2019年8月9日： | 关于对话中情感识别（ERC）的新论文。 | | 2019年3月6日： | 在MELD数据集上训练DialogueRNN的特征和代码已发布。 | | 2018年11月20日： | ICON和DialogueRNN的端到端版本已发布。 |

COSMIC是本仓库中表现最好的模型，请访问以下链接，比较各模型在不同ERC数据集上的表现。

该仓库包含了多种对话中情感识别方法以及对话中情感原因识别算法的实现：

• 对话中情感识别
  • 数据格式
  • COSMIC（PyTorch）
  • TL-ERC（PyTorch）
  • DialogueGCN（PyTorch）
  • DialogueRNN（PyTorch）
  • DialogueGCN-mianzhang（PyTorch）
  • ICON（tensorflow）
  • CMN（tensorflow）
  • bc-LSTM-pytorch（PyTorch）
  • bc-LSTM（keras）
• 对话中情感原因识别
  • ECPE-2D在RECCON数据集上
  • Rank-Emotion-Cause在RECCON数据集上
  • ECPE-MLL在RECCON数据集上
  • RoBERTa和SpanBERT基线在RECCON数据集上

与其他情感检测模型不同，这些技术考虑了参与方的状态以及参与者之间的依赖关系，以建模与情感识别相关的对话上下文。所有这些技术的主要目的是为共情式对话生成预训练情感检测模型。

情感识别对于共情和情感对话生成非常有用——

数据格式

这些网络期望对话中每条话语都带有情感/情绪标签和说话人信息，例如：

一方：我讨厌我的女朋友（愤怒）
另一方：你有女朋友了？！（惊讶）
一方：是的（愤怒）

然而，代码可以调整以执行仅提供前序话语作为上下文的任务，而无需其对应的标签，因为目标只是对当前/目标话语进行标注。例如，上下文为：

一方：我讨厌我的女朋友
另一方：你有女朋友了？！

而目标则是：

一方：是的（愤怒）

其中目标情绪为_愤怒_。 此外，该代码还可以被改造为端到端训练网络。我们很快会推送这些有用的改动。

当前最先进结果

方法	IEMOCAP	DailyDialog		MELD		EmoryNLP
	加权平均F1	宏平均F1	微平均F1	加权平均F1（3类）	加权平均F1（7类）	加权平均F1（3类）	加权平均F1（7类）
RoBERTa	54.55	48.20	55.16	72.12	62.02	55.28	37.29
RoBERTa DialogueRNN	64.76	49.65	57.32	72.14	63.61	55.36	37.44
RoBERTa COSMIC	65.28	51.05	58.48	73.20	65.21	56.51	38.11

COSMIC：用于对话中情绪识别的常识知识

COSMIC 利用常识知识解决对话中的话语级情绪识别任务。这是一个新框架，它整合了心理状态、事件和因果关系等不同方面的常识，并在此基础上学习对话参与者之间的互动。目前最先进的方法在上下文传播、情绪转变检测以及区分相关情绪类别方面常常遇到困难。通过学习独特的常识表示，COSMIC解决了这些挑战，并在四个不同的基准对话数据集上实现了情绪识别的新最先进成果。

执行步骤

首先从这里下载RoBERTa和COMET特征，并将其保存在COSMIC/erc-training中的相应目录下。然后按照以下步骤对四个数据集进行训练和评估：

1. IEMOCAP：python train_iemocap.py --active-listener
2. DailyDialog：python train_dailydialog.py --active-listener --class-weight --residual
3. MELD 情绪：python train_meld.py --active-listener --attention simple --dropout 0.5 --rec_dropout 0.3 --lr 0.0001 --mode1 2 --classify emotion --mu 0 --l2 0.00003 --epochs 60
4. MELD 情感：python train_meld.py --active-listener --class-weight --residual --classify sentiment
5. EmoryNLP 情绪：python train_emorynlp.py --active-listener --class-weight --residual
6. EmoryNLP 情感：python train_emorynlp.py --active-listener --class-weight --residual --classify sentiment

引用

如果您在工作中发现此代码有用，请引用以下论文：

COSMIC：用于对话中情绪识别的常识知识。D. Ghosal, N. Majumder, A. Gelbukh, R. Mihalcea, & S. Poria. EMNLP 2020年研究成果。

TL-ERC：基于生成式对话建模的迁移学习对话情绪识别

TL-ERC 是一种基于迁移学习的ERC框架。它预先训练一个生成式对话模型，并将包含情感知识的上下文级别权重迁移到用于ERC的目标判别模型中。

设置步骤

1. 使用Conda搭建环境：

   conda env create -f environment.yml
   conda activate TL_ERC
   cd TL_ERC
   python setup.py
   

2. 下载数据集文件IEMOCAP、DailyDialog并将其存储在./datasets/目录下。

3. 下载HRED在Cornell和Ubuntu数据集上的预训练权重，并将其存储在./generative_weights/目录下。

4. [可选]：若要从对话模型中训练新的生成式权重，可参考https://github.com/ctr4si/A-Hierarchical-Latent-Structure-for-Variational-Conversation-Modeling 。

使用预训练权重运行ERC分类器

1. cd bert_model
2. python train.py --load_checkpoint=../generative_weights/cornell_weights.pkl --data=iemocap。
   • 对于其他数据集组合，可将cornell替换为ubuntu，iemocap替换为dailydialog。
   • 可以省略load_checkpoint以避免初始化上下文权重。
   • 若要修改超参数，请查看configs.py

[可选] 创建ERC数据集划分

1. 在预处理文件中设置glove路径。
2. python iemocap_preprocess.py。对于dailydialog也可类似操作。

引用

如果您在工作中发现此代码有用，请引用以下论文：

对话迁移学习用于情绪识别。Hazarika, D., Poria, S., Zimmermann, R., & Mihalcea, R. (2020). 信息融合。

DialogueGCN：用于对话情绪识别的图卷积神经网络

DialogueGCN（对话图卷积网络）是一种基于图神经网络的ERC方法。我们利用对话参与者之间的自我依赖和相互依赖关系来建模对话上下文，从而进行情绪识别。通过图网络，DialogueGCN解决了当前基于RNN的方法中存在的上下文传播问题。DialogueGCN天然适用于多方对话。

需求

• Python 3
• PyTorch 1.0
• PyTorch Geometric 1.3
• Pandas 0.23
• Scikit-Learn 0.20
• TensorFlow（可选；用于tensorboard）
• tensorboardX（可选；用于tensorboard）

执行

注意: PyTorch Geometric 大量使用 CUDA 原子操作，这会导致非确定性。为了复现论文中报告的结果，我们建议使用以下执行命令。请注意，该脚本将在 CPU 上运行。使用以下命令，我们在本地机器上获得了 IEMOCAP 数据集的加权平均 F1 分数 64.67，在 Google Colaboratory 上则为 64.44。

1. IEMOCAP 数据集: python train_IEMOCAP.py --base-model 'LSTM' --graph-model --nodal-attention --dropout 0.4 --lr 0.0003 --batch-size 32 --class-weight --l2 0.0 --no-cuda

引用

如果您在工作中发现此代码有用，请引用以下论文：

DialogueGCN: 对话中的情感识别图卷积神经网络。D. Ghosal, N. Majumder, S. Poria, N. Chhaya, & A. Gelbukh. EMNLP-IJCNLP (2019), 香港, 中国。

DialogueGCN-mianzhang: Mian Zhang 实现的 DialogueGCN

基于 PyTorch 的实现，对应论文“DialogueGCN: 对话中的情感识别图卷积神经网络”。

运行

您可以非常轻松地运行整个流程。以 IEMOCAP 语料库为例：

第一步：预处理。

./scripts/iemocap.sh preprocess

第二步：训练。

./scripts/iemocap.sh train

需求

• Python 3
• PyTorch 1.0
• PyTorch Geometric 1.4.3
• Pandas 0.23
• Scikit-Learn 0.20

性能对比

-	数据集	加权 F1
原论文	IEMOCAP	64.18%
本实现	IEMOCAP	64.10%

致谢

Mian Zhang（GitHub: mianzhang）

引用

如果您在工作中发现此代码有用，请引用以下论文：

DialogueGCN: 对话中的情感识别图卷积神经网络。D. Ghosal, N. Majumder, S. Poria, N. Chhaya, & A. Gelbukh. EMNLP-IJCNLP (2019), 香港, 中国。

DialogueRNN: 用于对话情感检测的注意力 RNN

DialogueRNN 基本上是一种定制化的循环神经网络 (RNN)，它能够实时对对话中的每个说话者进行建模，同时对对话上下文进行建模。该模型可以轻松扩展到多方场景。此外，它还可以用作共情对话生成的预训练模型。

注意: 代码中的默认设置（超参数和命令行参数）适用于 BiDialogueRNN+Att。用户需要针对其他变体和修改优化设置。

需求

• Python 3
• PyTorch 1.0
• Pandas 0.23
• Scikit-Learn 0.20
• TensorFlow（可选；用于 TensorBoard）
• tensorboardX（可选；用于 TensorBoard）

数据集特征

请解压 DialogueRNN_features.zip 文件。

执行

1. IEMOCAP 数据集: python train_IEMOCAP.py <命令行参数>
2. AVEC 数据集: python train_AVEC.py <命令行参数>

命令行参数

• --no-cuda: 不使用 GPU
• --lr: 学习率
• --l2: L2 正则化权重
• --rec-dropout: 循环丢弃率
• --dropout: 丢弃率
• --batch-size: 批量大小
• --epochs: 训练轮数
• --class-weight: 类别权重（不适用于 AVEC）
• --active-listener: 显式倾听模式
• --attention: 注意力类型
• --tensorboard: 启用 TensorBoard 日志
• --attribute: 属性 1 到 4（仅适用于 AVEC；1 = 情感效价，2 = 激发度，3 = 期待度，4 = 权势感）

引用

如果您在工作中发现此代码有用，请引用以下论文：

DialogueRNN: 用于对话情感检测的注意力 RNN。N. Majumder, S. Poria, D. Hazarika, R. Mihalcea, E. Cambria 和 G. Alexander。AAAI (2019), 夏威夷檀香山，美国

ICON

交互式会话记忆网络 (ICON) 是一种多模态情感检测框架，它从对话视频中提取多模态特征，并分层地将自我及说话者之间的情感影响建模到全局记忆中。这些记忆会生成上下文摘要，从而帮助预测话语视频的情感倾向。

需求

• python 3.6.5
• pandas==0.23.3
• tensorflow==1.9.0
• numpy==1.15.0
• scikit_learn==0.20.0

执行

1. cd ICON

2. 按照如下方式解压数据：

   • 使用此 链接 下载 IEMOCAP 的特征文件。
   • 解压文件夹并将其放置在 /ICON/IEMOCAP/data/ 目录下。示例命令：unzip {path_to_zip_file} -d ./IEMOCAP/

3. 训练 ICON 模型：

   • 对于 IEMOCAP: python train_iemocap.py

引用

ICON: 用于多模态情感检测的交互式会话记忆网络。D. Hazarika, S. Poria, R. Mihalcea, E. Cambria 和 R. Zimmermann。EMNLP (2018), 布鲁塞尔，比利时

CMN

CMN 是一种用于双人对话情感检测的神经框架。它利用文本、音频和视觉模态的多模态信号，并在其架构中特别融入了说话者特定的依赖关系以进行上下文建模。随后，通过多跳记忆网络从这些上下文中生成摘要。

需求

• python 3.6.5
• pandas==0.23.3
• tensorflow==1.9.0
• numpy==1.15.0
• scikit_learn==0.20.0

执行

1. cd CMN

2. 按照如下方式解压数据：

   • 使用此 链接 下载 IEMOCAP 的特征文件。
   • 解压文件夹并将其放置在 /CMN/IEMOCAP/data/ 目录下。示例命令：unzip {path_to_zip_file} -d ./IEMOCAP/

3. 训练 ICON 模型：

   • 对于 IEMOCAP: python train_iemocap.py

引用

如果您在工作中发现此代码有用，请引用以下论文：

Hazarika, D., Poria, S., Zadeh, A., Cambria, E., Morency, L.P. 和 Zimmermann, R., 2018. 用于双人对话视频情感识别的会话记忆网络。载于 2018 年北美计算语言学协会大会人类语言技术会议论文集，第一卷（长篇论文）（第 1 卷，第 2122–2132 页）。

bc-LSTM-pytorch

bc-LSTM-pytorch 是一种利用上下文来检测对话中话语情感的网络。该模型简单而高效，仅使用 LSTM 来建模话语之间的时序关系。在这个仓库中，我们提供了 Semeval 2019 任务 3 的数据。我们使用并公开了 Semeval 2019 任务 3 ——“语境中的情感识别”组织者发布的数据。在该任务中，只提供了连续的三句话：utterance1（用户1）、utterance2（用户2）和 utterance3（用户1）。任务是预测 utterance3 的情感标签。每句话的情感标签并未提供。然而，如果您的数据包含每句话的情感标签，您仍然可以使用这段代码并进行相应调整。因此，这段代码同样适用于 MOSI、MOSEI、IEMOCAP、AVEC、DailyDialogue 等数据集。bc-LSTM 不会像 CMN、ICON 和 DialogueRNN 那样利用说话人信息。

需求

• python 3.6.5
• pandas==0.23.3
• PyTorch 1.0
• numpy==1.15.0
• scikit_learn==0.20.0

运行

1. cd bc-LSTM-pytorch

2. 训练 bc-LSTM 模型：

   • 对于 IEMOCAP 数据集，运行 python train_IEMOCAP.py

引用

如果您在工作中觉得这段代码有用，请引用以下论文：

Poria, S., Cambria, E., Hazarika, D., Majumder, N., Zadeh, A. and Morency, L.P., 2017. Context-dependent sentiment analysis in user-generated videos. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Vol. 1, pp. 873-883).

bc-LSTM

bc-LSTM 的 Keras 实现。

需求

• python 3.6.5
• pandas==0.23.3
• tensorflow==1.9.0
• numpy==1.15.0
• scikit_learn==0.20.0
• keras==2.1

运行

1. cd bc-LSTM

2. 训练 bc-LSTM 模型：

   • 对于 IEMOCAP 数据集，运行 python baseline.py -config testBaseline.config

引用

如果您在工作中觉得这段代码有用，请引用以下论文：

Poria, S., Cambria, E., Hazarika, D., Majumder, N., Zadeh, A. and Morency, L.P., 2017. Context-dependent sentiment analysis in user-generated videos. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Vol. 1, pp. 873-883).

识别对话中的情感原因

这个仓库还包含了用于检测对话中情感原因的不同架构的实现。

RECCON 数据集（DailyDialog 折叠）上的基线结果

| 模型 | emo_f1 | pos_f1 | neg_f1 | macro_avg | |- |- |- |- |- | | ECPE-2d cross_road
(0 层变换) | 52.76 | 52.39 | 95.86 | 73.62 | | ECPE-2d window_constrained
(1 层变换) | 70.48 | 48.80 | 93.85 | 71.32 | | ECPE-2d cross_road
(2 层变换) | 52.76 | 55.50 | 94.96 | 75.23 | | ECPE-MLL | - | 48.48 | 94.68 | 71.58 | | Rank Emotion Cause | - | 33.00 | 97.30 | 65.15 | | RoBERTa-base | - | 64.28 | 88.74 | 76.51 | | RoBERTa-large | - | 66.23 | 87.89 | 77.06 |

ECPE-2D 在 RECCON 数据集上的应用

引用： 如果您使用这段代码，请引用以下论文。

• 识别对话中的情感原因。Soujanya Poria、Navonil Majumder、Devamanyu Hazarika、Deepanway Ghosal、Rishabh Bhardwaj、Samson Yu Bai Jian、Romila Ghosh、Niyati Chhaya、Alexander Gelbukh、Rada Mihalcea。Arxiv（2020）。[pdf]
• Zixiang Ding、Rui Xia、Jianfei Yu。ECPE-2D：基于联合二维表示、交互与预测的情感原因对提取。ACL 2020。[pdf]

Rank-Emotion-Cause 在 RECCON 数据集上的应用

引用： 如果您使用这段代码，请引用以下论文。

• 识别对话中的情感原因。Soujanya Poria、Navonil Majumder、Devamanyu Hazarika、Deepanway Ghosal、Rishabh Bhardwaj、Samson Yu Bai Jian、Romila Ghosh、Niyati Chhaya、Alexander Gelbukh、Rada Mihalcea。Arxiv（2020）。[pdf]
• 有效的句间建模用于端到端的情感原因对提取。载于 Proc. of ACL 2020：第 58 届计算语言学协会年会，第 3171–3181 页。[pdf]

ECPE-MLL 在 RECCON 数据集上的应用

引用： 如果您使用这段代码，请引用以下论文。

• 识别对话中的情感原因。Soujanya Poria、Navonil Majumder、Devamanyu Hazarika、Deepanway Ghosal、Rishabh Bhardwaj、Samson Yu Bai Jian、Romila Ghosh、Niyati Chhaya、Alexander Gelbukh、Rada Mihalcea。Arxiv（2020）。[pdf]
• Zixiang Ding、Rui Xia、Jianfei Yu。基于滑动窗口多标签学习的端到端情感原因对提取。EMNLP 2020。[pdf]

RoBERTa 和 SpanBERT 基线在 RECCON 数据集上的应用

RoBERTa 和 SpanBERT 基线如原始 RECCON 论文所述。请参阅 此文档。

引用： 如果您使用这段代码，请引用以下论文。

• 识别对话中的情感原因。Soujanya Poria、Navonil Majumder、Devamanyu Hazarika、Deepanway Ghosal、Rishabh Bhardwaj、Samson Yu Bai Jian、Romila Ghosh、Niyati Chhaya、Alexander Gelbukh、Rada Mihalcea。Arxiv（2020）。[pdf]

conv-emotion 快速上手指南

conv-emotion 是一个用于对话情感识别 (ERC) 和对话情感原因识别的开源工具库，包含了多种前沿模型（如 COSMIC, DialogueGCN, DialogueRNN 等）。本指南以当前性能最佳的 COSMIC 模型为例，介绍如何快速搭建环境并运行。

环境准备

• 操作系统: Linux / macOS (Windows 用户建议使用 WSL2)
• Python 版本: 推荐 Python 3.6 - 3.8
• 深度学习框架: PyTorch (COSMIC 模型基于 PyTorch)
• 硬件要求: 建议配备 NVIDIA GPU 以加速训练和推理

前置依赖: 确保已安装 git, python, pip 以及对应的 CUDA 驱动。

安装步骤

1. 克隆仓库

   git clone https://github.com/declare-lab/conv-emotion.git
   cd conv-emotion
   

2. 创建虚拟环境并安装依赖 虽然根目录未提供统一的 requirements.txt，但各子模块（如 COSMIC）通常依赖基础的 PyTorch 生态。建议先创建环境并安装基础包：

   conda create -n conv_emotion python=3.7
   conda activate conv_emotion
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   pip install numpy pandas scikit-learn tqdm
   

   注：若特定子模块有独立的 environment.yml（如 TL-ERC），请进入对应目录执行 conda env create -f environment.yml。

3. 下载预训练特征数据 (以 COSMIC 为例) COSMIC 模型需要预先提取的 RoBERTa 和 COMET 特征文件。

   • 下载地址：Google Drive Link
   • 国内用户提示: 由于原链接为 Google Drive，下载可能较慢。建议使用 IDM、Motrix 等工具加速，或寻找国内镜像源/网盘搬运资源。
   • 将下载的文件解压后，放入 COSMIC/erc-training 目录下的相应文件夹中。

基本使用

以下演示如何在 IEMOCAP 数据集上训练和评估 COSMIC 模型。

1. 进入模型目录

   cd COSMIC
   

2. 运行训练脚本 根据目标数据集选择不同的脚本和参数。以下是针对 IEMOCAP 数据集的命令：

   python train_iemocap.py --active-listener
   

   其他数据集示例:

   • DailyDialog:

     python train_dailydialog.py --active-listener --class-weight --residual
     

   • MELD (情感分类):

     python train_meld.py --active-listener --attention simple --dropout 0.5 --rec_dropout 0.3 --lr 0.0001 --mode1 2 --classify emotion --mu 0 --l2 0.00003 --epochs 60
     

3. 查看结果 脚本运行结束后，终端将输出加权平均 F1 分数 (W-Avg F1) 等评估指标。日志和模型检查点通常保存在当前目录或指定的 output 文件夹中。

数据格式说明

模型期望的输入数据格式为包含说话人、话语内容及情感标签的序列。例如：

Party 1: I hate my girlfriend (angry)
Party 2: you got a girlfriend?! (surprise)
Party 1: yes (angry)

代码支持自适应处理，也可仅利用前文语境对当前话语进行情感预测。具体数据集预处理脚本请参考各子模块目录下的数据处理代码。