基于深度学习的文本人格检测文档建模

本代码实现了论文 Deep Learning-Based Document Modeling for Personality Detection from Text 中讨论的模型，用于检测大五人格特质 (Big-Five personality traits)，即：

• 外向性 (Extroversion)
• 神经质 (Neuroticism)
• 宜人性 (Agreeableness)
• 尽责性 (Conscientiousness)
• 开放性 (Openness)

需求

• Python 2.7
• Theano 0.7（已测试）
• Pandas 18.0（已测试）
• 预训练的 GoogleNews word2vec 向量

预处理

process_data.py 准备训练数据。它需要三个命令行参数：

1. google word2vec 文件的路径 (GoogleNews-vectors-negative300.bin)
2. 包含标注数据集的 essays.csv 文件路径
3. 包含每个样本/文章 Mairesse 特征 的 mairesse.csv 文件路径

此代码生成一个 pickle 文件 essays_mairesse.p。

示例：

python process_data.py ./GoogleNews-vectors-negative300.bin ./essays.csv ./mairesse.csv

训练

conv_net_train.py 用于训练和测试模型。它需要三个命令行参数：

1. 模式：
   • -static: 词嵌入 (word embeddings) 将保持不变
   • -nonstatic: 词嵌入 (word embeddings) 将被训练
2. 词嵌入类型：
   • -rand: 随机词嵌入（维度默认为 300；是硬编码的；可以通过修改 process_data.py 第 111 行中 k 的默认值来更改）
   • -word2vec: 300 维度的 Google 预训练词嵌入
3. 人格特质：
   • 0: 外向性 (Extroversion)
   • 1: 神经质 (Neuroticism)
   • 2: 宜人性 (Agreeableness)
   • 3: 尽责性 (Conscientiousness)
   • 4: 开放性 (Openness)

示例：

python conv_layer_train.py -static -word2vec 2

引用

如果您在作品中使用此代码，请引用以下论文 - Deep Learning-Based Document Modeling for Personality Detection from Text，格式如下：

@ARTICLE{7887639, 
 author={N. Majumder and S. Poria and A. Gelbukh and E. Cambria}, 
 journal={IEEE Intelligent Systems}, 
 title={{Deep} Learning-Based Document Modeling for Personality Detection from Text}, 
 year={2017}, 
 volume={32}, 
 number={2}, 
 pages={74-79}, 
 keywords={feedforward neural nets;information filtering;learning (artificial intelligence);pattern classification;text analysis;Big Five traits;author personality type;author psychological profile;binary classifier training;deep convolutional neural network;deep learning based method;deep learning-based document modeling;document vector;document-level Mairesse features;emotionally neutral input sentence filtering;identical architecture;personality detection;text;Artificial intelligence;Computational modeling;Emotion recognition;Feature extraction;Neural networks;Pragmatics;Semantics;artificial intelligence;convolutional neural network;distributional semantics;intelligent systems;natural language processing;neural-based document modeling;personality}, 
 doi={10.1109/MIS.2017.23}, 
 ISSN={1541-1672}, 
 month={Mar},}

personality-detection 快速上手指南

本项目实现了基于深度学习的文档建模方法，用于从文本中检测“大五人格”（Big-Five）特质，包括：外向性、神经质、宜人性、尽责性和开放性。

1. 环境准备

本工具对运行环境有特定要求，请确保满足以下条件：

• Python 版本: Python 2.7 (重要：不支持 Python 3)
• 核心依赖:
  • Theano 0.7 (已测试)
  • Pandas 18.0 (已测试)
• 外部资源:
  • 预训练 GoogleNews word2vec 向量文件 (GoogleNews-vectors-negative300.bin)

提示：由于项目较老，建议使用国内镜像源加速 Python 包下载。

2. 安装步骤

安装 Python 依赖

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple theano==0.7 pandas==0.18.0

(注：原文档标注为 Pandas 18.0，实际可能指 0.18.0 版本，建议根据兼容性调整)

下载数据文件

1. 下载 GoogleNews word2vec 向量文件至本地。
2. 准备标注数据集 essays.csv。
3. 准备 Mairesse 特征文件 mairesse.csv。

3. 基本使用

数据预处理

运行 process_data.py 生成训练所需的 pickle 文件 essays_mairesse.p。

python process_data.py ./GoogleNews-vectors-negative300.bin ./essays.csv ./mairesse.csv

模型训练与测试

运行 conv_layer_train.py 进行训练。参数说明如下：

• 模式: -static (词向量固定) 或 -nonstatic (词向量训练)
• 嵌入类型: -rand (随机) 或 -word2vec (预训练)
• 人格特质: 0: Extroversion, 1: Neuroticism, 2: Agreeableness, 3: Conscientiousness, 4: Openness

示例命令（训练开放性特质）：

python conv_layer_train.py -static -word2vec 2