基于LSTM三分类的文本情感分析

背景介绍

文本情感分析作为自然语言处理中的常见任务，具有极高的实际应用价值。本文将采用LSTM模型，训练一个能够识别文本中“积极”、“中性”和“消极”三种情感的分类器。

本文旨在快速熟悉LSTM在情感分析任务中的应用，因此文中仅展示了一个基础模型，并在最后对其优缺点进行了详细分析。对于真正的文本情感分析而言，在本文所提及的模型基础上，还可以开展大量工作。未来若有空闲时间，笔者将对模型进行进一步优化与改进。

理论介绍

RNN的应用场景

与传统神经网络相比，RNN允许我们对向量序列进行操作：输入序列、输出序列，或大部分的输入输出序列。如图所示，每一个矩形代表一个向量，箭头则表示函数（例如矩阵乘法）。输入向量用红色标出，输出向量用蓝色标出，绿色的矩形则表示RNN的状态（后续将详细介绍）。从左至右依次为：（1）未使用RNN的“Vanilla”模型，从固定大小的输入得到固定大小的输出（如图像分类）；（2）序列输出（如图片字幕，输入一张图片后输出一段文字序列）；（3）序列输入（如情感分析，输入一段文字并将其分类为积极或消极情感）；（4）序列输入与序列输出（如机器翻译：RNN读取一条英文语句，然后以法语形式输出）；（5）同步序列输入与输出（如视频分类，对视频中的每一帧进行标签标注）。值得注意的是，在上述每一种场景中，序列长度并未被预先设定为固定值，因为递归变换（绿色部分）是固定的，且我们可以多次重复使用。

Word2Vec算法

在建模环节中，特征提取是最关键的一步，自然语言处理领域也不例外。在自然语言处理中，最核心的问题在于：如何将一句话高效地转化为数字形式？若能完成这一步骤，句子的分类问题便迎刃而解。显然，一种最初的思路是：为每个词赋予唯一的编号1、2、3、4……，然后将句子视为一个编号集合。假设1、2、3、4分别代表“我”、“你”、“爱”、“恨”，那么“我爱你”可以表示为[1, 3, 2]，“我恨你”则为[1, 4, 2]。这种思路看似有效，但实际上存在诸多问题：例如，一个稳定的模型可能会认为3和4非常接近，因此[1, 3, 2]与[1, 4, 2]应给出相近的分类结果；然而，按照我们的编号规则，3和4所代表的词语含义却截然相反，分类结果自然不可能一致。因此，这种编码方式难以取得理想的分类效果。

读者或许会想到：是否可以将意思相近的词归为一类，即赋予它们相近的编号呢？确实，如果能够将相近的词归为一组，模型的准确率无疑会大幅提升。然而问题在于，若为每个词赋予唯一的编号，并将相近的词归为相近，实际上我们是在假定语义具有单一性——也就是说，语义仅仅是一维的。然而事实并非如此，语义本应是多维的。

以“家园”为例，有些人会联想到近义词“家庭”，而“家庭”又可能让人联想到“亲人”。这些词虽然意思相近，但“亲人”与“火星”之间并无明显的联系。同样地，“家园”与“地球”之间也存在类似的关联，但“亲人”与“火星”之间的关系却并不紧密。此外，从语义的角度来看，“大学”与“舒适”也可以被视为“家园”的二级近似，然而“亲人”与“火星”本身却并无直接的语义联系。

Word2Vec：高维来了

通过上述讨论可知，许多词的意思往往呈多向扩散状态，而非单一指向。因此，单一的编号并不能完全满足需求。那么，如何实现多维度的编号呢？换句话说，能否将词对应一个高维向量？答案是肯定的——这正是非常正确的思路。

为什么多维向量可行呢？首先，多维向量解决了词义多方向扩散的问题：仅需二维向量，就能实现360度全方位旋转，更何况是更高维度的向量（实际应用中，通常为数百维）。其次，还有一个更为现实的问题：多维向量使我们能够用变化较小的数字来表征词义。具体来说，中文词汇数量多达数十万，若为每个词赋予唯一的编号，那么编号范围将从1到数十万不等，这样的变化幅度极大，模型的稳定性难以保证。而若采用高维向量，比如20维，只需0和1即可表达2^20 = 1048576220 = 1048576（100万）个词。由于变化较小，模型的稳定性得以保障。

尽管已经阐述了诸多内容，但我们仍未真正触及核心问题。如今，思路已清晰：接下来要解决的问题是：如何将这些词映射到合适的高维向量中？更重要的是，我们是否能在没有语言背景的情况下完成这一任务？（换句话说，如果我想处理英语任务，其实无需先学好英语，只需收集大量的英语文章，该有多方便啊！）在这里，我们无法也不必深入探讨更多理论原理，而是要重点介绍：基于这一思路，Google开源了一款著名的工具——Word2Vec。

简单来说，Word2Vec实现了我们之前所追求的目标——用高维向量（词向量，Word Embedding）来表示词义，并将意思相近的词放置在相近的位置，而且使用的是一种实数向量（而非局限于整数）。只要我们拥有足够多的某语言语料，便可利用这些语料训练模型，从而获得词向量。词向量的优点前面已有所提及，或者说，它正是为了解决前文所提到的问题而诞生的。此外，词向量还具备其他优势：借助词向量，我们能够轻松进行聚类分析，通过欧氏距离或余弦相似度，可以迅速找出意思相近的词。这相当于解决了“一词多义”的问题（遗憾的是，似乎并没有什么有效的办法来解决一词多义的问题）。

关于Word2Vec的数学原理，读者可参考相关系列文章。Word2Vec的实现，Google官方提供了C语言的源代码，读者可自行编译。此外，Python的Gensim库中也提供现成的Word2Vec子库（事实上，这个版本似乎比官方版本更强大）。

句向量

接下来要解决的问题是：我们已经将词分好，并将词转换为高维向量，那么句子就对应着词向量的集合，也就是一个矩阵——类似于图像处理，图像数字化后也会形成一个像素矩阵；然而，模型的输入一般只接受一维特征，那该怎么办呢？一个较为简单的想法是将矩阵展平，即将词向量逐一排列，组成一个更长的向量。这一思路虽可行，但会导致输入维度高达数千维甚至数万维，事实上，这在现实中几乎难以实现。（如果说数万维对今天的计算机来说不是问题，那么对于1000×1000的图像，其维度甚至高达100万维！）

在自然语言处理领域，通常采用递归神经网络或循环神经网络（统称为RNNs）。它们的作用与卷积神经网络相同：将矩阵形式的输入编码为较低维度的一维向量，同时保留大部分有用信息。

展示代码

工程代码主要结合参考资料2，用于实现文本情感分析的三分类任务；

数据预处理与词向量模型训练

参考资料2中包含了详尽的数据处理流程，包括：

1. 将不同类别数据整理成输入矩阵
2. 使用jieba进行分词
3. 训练Word2Vec词向量模型

本文不再赘述重复介绍，若想深入了解相关内容，可前往参考资料2的博客文章中查阅。

除了“积极”和“消极”两种情感外，三分类模型还包含一种“中性”情感。原始数据集中，一些句子蕴含语义转折，例如“然而”和“但”都是关键词。由此，我们能够构建出三个不同语义的数据集。

LSTM三分类模型

代码需要注意的几点是：首先，标签需要使用keras.utils.to_categorical进行编码；其次，LSTM二分类的参数设置与二分类有所不同，我们选用softmax激活函数，并将损失函数改为categorical_crossentropy，代码如下：

def get_data(index_dict, word_vectors, combined, y):
    n_symbols = len(index_dict) + 1  # 所有单词的索引数，频数小于10的词语索引为0，所以加1
    embedding_weights = np.zeros((n_symbols, vocab_dim))  # 初始化索引为0的词，词向量全为0
    for word, index in index_dict.items():  # 从索引为1的词开始，对每个词对应其词向量
        embedding_weights[index, :] = word_vectors[word]
    x_train, x_test, y_train, y_test = train_test_split(combined, y, test_size=0.2)
    y_train = keras.utils.to_categorical(y_train, num_classes=3) 
    y_test = keras.utils.to_categorical(y_test, num_classes=3)
    # print x_train.shape, y_train.shape
    return n_symbols, embedding_weights, x_train, y_train, x_test, y_test


## 定义网络结构
def train_lstm(n_symbols, embedding_weights, x_train, y_train, x_test, y_test):
    print '定义一个简单的Keras模型...'
    model = Sequential()  # 或者使用Graph或其它框架
    model.add(Embedding(output_dim=vocab_dim,
                        input_dim=n_symbols,
                        mask_zero=True,
                        weights=[embedding_weights],
                        input_length=input_length))  # 添加输入长度
    model.add(LSTM(output_dim=50, activation='tanh'))
    model.add(Dropout(0.5))
    model.add(Dense(3, activation='softmax'))  # Dense=>全连接层，输出维度=3
    model.add(Activation('softmax'))

    print '编译模型...'
    model.compile(loss='categorical_crossentropy',
                  optimizer='adam', metrics=['accuracy'])

    print "训练..." # batch_size=32
    model.fit(x_train, y_train, batch_size=batch_size, epochs=n_epoch, verbose=1)

    print "评估..."
    score = model.evaluate(x_test, y_test,
                            batch_size=batch_size)

    yaml_string = model.to_yaml()
    with open('../model/lstm.yml', 'w') as outfile:
        outfile.write(yaml_string)
    model.save_weights('../model/lstm.h5')
    print '测试得分:', score

测试

代码如下：

def lstm_predict(string):
    print '加载模型......'
    with open('../model/lstm.yml', 'r') as f:
        yaml_string = yaml.load(f)
    model = model_from_yaml(yaml_string)

    print '加载权重......'
    model.load_weights('../model/lstm.h5')
    model.compile(loss='categorical_crossentropy',
                  optimizer='adam', metrics=['accuracy'])
    data = input_transform(string)
    data.reshape(1, -1)
    #print data
    result = model.predict_classes(data)
    # print result # [[1]]
    if result[0] == 1:
        print string, '为积极'
    elif result[0] == 0:
        print string, '为中性'
    else:
        print string, '为消极'

经检测发现，原本在二分类模型中表现不佳的“不是太好”和“不错不错”这类带有前后语义转换的句子，如今均能正确预测。实战效果显著提升，不过仍存在一些不足之处：中性评价的出现概率相对较低。笔者分析原因在于：首先，从数据集的数量和质量入手，中性数据集的数量比另外两个数据集少了一半左右；其次，通过简单的规则“然而”和“但”提取出的中性数据集质量也并不高，因此出现了偏差。总而言之，训练数据的质量至关重要，如何获取高质量且数量充足的训练样本，成为了新的挑战。

• 参考资料

文本情感分类（二）：深度学习模型

购物评论的情感分析

SentimentAnalysis 快速上手指南

本指南基于 LSTM 模型，帮助开发者快速构建一个支持 积极 (positive)、中性 (neutral)、消极 (negative) 三分类的文本情感分析工具。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: 推荐 Python 3.6+ (原文代码示例基于 Python 2/3 混合风格，建议统一使用 Python 3 并调整打印语句)
• 核心依赖库:
  • keras: 深度学习框架
  • tensorflow: Keras 后端
  • gensim: 用于训练 Word2Vec 词向量
  • jieba: 中文分词工具
  • scikit-learn: 数据划分与处理
  • pyyaml: 模型保存与加载

国内加速建议： 安装依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras tensorflow gensim jieba scikit-learn pyyaml

安装步骤

1. 克隆项目代码 将开源项目下载到本地：

   git clone <项目仓库地址>
   cd SentimentAnalysis
   

2. 安装 Python 依赖 如果项目包含 requirements.txt，直接安装：

   pip install -r requirements.txt
   

   若无该文件，请手动执行上述“环境准备”中的安装命令。

3. 数据预处理与词向量训练 根据项目逻辑，需先准备数据集（包含 positive, neutral, negative 三类），并进行分词和 Word2Vec 训练。

   • 使用 jieba 对文本进行分词。
   • 使用 gensim 训练词向量模型，生成词向量矩阵。
   • 注：具体数据处理脚本需参考项目中的预处理模块或相关博文（如参考资料中的购物评论数据集处理）。

4. 目录结构检查 确保项目根目录下存在用于存储模型的文件夹，若不存在请创建：

   mkdir -p model
   

基本使用

完成模型训练后，您将得到 lstm.yml (模型结构) 和 lstm.h5 (模型权重) 文件。以下是加载模型并进行预测的最简示例。

1. 加载模型并预测

将以下代码保存为 predict.py 或在 Python 交互环境中运行：

import yaml
from keras.models import model_from_yaml
import numpy as np

# 假设 input_transform 函数已定义，用于将输入字符串转换为模型所需的数字序列
# 实际使用时需引入项目中定义的数据预处理函数
# from your_preprocessing_module import input_transform 

def lstm_predict(string):
    print('loading model......')
    with open('../model/lstm.yml', 'r') as f:
        yaml_string = yaml.load(f, Loader=yaml.FullLoader) # 兼容新版 PyYAML
    
    model = model_from_yaml(yaml_string)

    print('loading weights......')
    model.load_weights('../model/lstm.h5')
    
    model.compile(loss='categorical_crossentropy',
                  optimizer='adam', metrics=['accuracy'])
    
    # 数据转换：将文本转换为索引序列
    # 注意：此处需替换为实际的项目预处理函数
    data = input_transform(string) 
    data = data.reshape(1, -1)
    
    result = model.predict_classes(data)
    
    # 输出结果映射：0=neutral, 1=positive, 2=negative (根据代码逻辑调整)
    if result[0] == 1:
        print(string, ' positive')
    elif result[0] == 0:
        print(string, ' neutral')
    else:
        print(string, ' negative')

# 测试示例
if __name__ == "__main__":
    # 替换为您想要测试的句子
    test_sentence = "虽然价格有点贵，但是质量非常好"
    lstm_predict(test_sentence)

2. 关键注意事项

• 标签编码: 模型训练时使用 keras.utils.to_categorical 将标签转换为 One-Hot 编码，类别数为 3。
• 损失函数: 三分类任务必须使用 categorical_crossentropy 作为 loss 函数，激活函数使用 softmax。
• 数据质量: 中性 (neutral) 数据的识别效果高度依赖于训练集中“转折句”（如包含“然而”、“但”）的质量和数量。若发现中性预测概率低，建议优化中性数据集的构建规则。

3. 模型训练入口 (参考)

若需重新训练模型，核心训练逻辑如下：

from keras.models import Sequential
from keras.layers import Embedding, LSTM, Dropout, Dense, Activation
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
import numpy as np

def train_lstm(n_symbols, embedding_weights, x_train, y_train, x_test, y_test):
    print('Defining a Simple Keras Model...')
    model = Sequential()
    model.add(Embedding(output_dim=vocab_dim,
                        input_dim=n_symbols,
                        mask_zero=True,
                        weights=[embedding_weights],
                        input_length=input_length))
    model.add(LSTM(output_dim=50, activation='tanh'))
    model.add(Dropout(0.5))
    model.add(Dense(3, activation='softmax'))
    model.add(Activation('softmax'))

    print('Compiling the Model...')
    model.compile(loss='categorical_crossentropy',
                  optimizer='adam', metrics=['accuracy'])

    print("Train...")
    model.fit(x_train, y_train, batch_size=batch_size, epochs=n_epoch, verbose=1)

    print("Evaluate...")
    score = model.evaluate(x_test, y_test, batch_size=batch_size)
    
    # 保存模型
    yaml_string = model.to_yaml()
    with open('../model/lstm.yml', 'w') as outfile:
        outfile.write(yaml.dump(yaml_string, default_flow_style=True))
    model.save_weights('../model/lstm.h5')
    print('Test score:', score)