MTA-LSTM

我们专注于作文生成任务，这是一项具有挑战性的任务，要求生成包含多个主题的段落级文本。要在这一任务中更好地理解不同主题并表达多样性，需要更强大的生成模型以及更丰富的训练和评估资源。为此，我们开发了一种多主题感知长短期记忆网络（MTA-LSTM）。在该模型中，我们维护了一个新颖的多主题覆盖向量，它能够学习每个主题的权重，并在解码过程中被顺序更新。随后，该向量会被输入到注意力机制中，以指导生成器。

本仓库中的代码使用 Python 2.7 和 TensorFlow 1.4.0 编写。如果您使用其他版本的 Python 或 TensorFlow，可能需要对部分代码进行修改。

数据集

作文数据集：下载

知乎数据集：下载

使用方法

数据准备

在 Data/ 目录下，您需要准备两个文件：TrainingData.txt 和 vec.txt（由 word2vec 训练得到的词嵌入），后者是根据上述文本数据集生成的。

训练

在开始训练模型之前，您需要在 Config.py 文件中设置一些模型参数。然后，运行 Preprocess.py 脚本，生成 coverage_data 文件（将训练数据转换为 TensorFlow 的二进制格式，更多详细信息请参阅 博客）、word_vec.pkl 文件（词嵌入）以及 word_voc.pkl 文件（文本词汇表）。同时，您还需要在 Train.py 中设置 total_step 参数，其值应从 Preprocess.py 的输出中获取。

接下来，使用 Train.py 开始训练模型：

$ python Train.py

生成

训练完成后，您可以按照指定的词集生成文本。您需要修改 Generation.py 文件，将 test_word 设置为一个词集。此外，如果需要，还可以在 Config.py 文件中设置一些生成参数。最后，通过运行以下命令生成文本：

$ python Generation.py

MTA-LSTM 快速上手指南

MTA-LSTM 是一个专注于多主题段落生成（如作文生成）的深度学习模型。该模型通过维护一个多主题覆盖向量，在解码过程中动态学习各主题权重，并利用注意力机制引导文本生成。

环境准备

本项目基于较早期的技术栈开发，请严格遵循以下环境要求以避免兼容性问题：

• 操作系统：Linux / macOS (Windows 需配置相应 Python 环境)
• Python 版本：Python 2.7 (必须，不支持 Python 3)
• 深度学习框架：TensorFlow 1.4.0
• 其他依赖：
  • word2vec (用于训练词向量)
  • numpy, pickle 等标准科学计算库

注意：如果您使用其他版本的 Python 或 TensorFlow，需要手动修改源代码以适配。

安装步骤

1. 获取数据集

项目提供了两个主要数据集，请根据需求下载（国内用户推荐使用百度网盘链接）：

• 作文数据集 (Composition Data Set): 下载链接
• 知乎数据集 (Zhihu Data Set): 下载链接

2. 准备数据文件

在 Data/ 目录下，您需要准备以下两个核心文件：

1. TrainingData.txt: 从上述数据集中整理出的训练文本。
2. vec.txt: 使用 word2vec 训练好的词向量文件。

3. 配置与预处理

在开始训练前，需进行参数配置和数据格式化：

1. 修改配置：编辑 Config.py 文件，设置模型相关参数。

2. 执行预处理：运行预处理脚本，生成模型所需的二进制文件和词典。

   python Preprocess.py
   

   执行后将生成：

   • coverage_data: TensorFlow 二进制格式的训练数据。
   • word_vec.pkl: 序列化后的词向量。
   • word_voc.pkl: 文本词汇表。

   重要：请记录 Preprocess.py 输出中的样本总数，并将其设置为 Train.py 中的 total_step 参数。

基本使用

1. 训练模型

完成预处理和参数调整后，使用以下命令启动训练：

python Train.py

2. 文本生成

模型训练完成后，可通过指定关键词集合来控制生成内容：

1. 设置生成词：编辑 Generation.py 文件，将 test_word 变量设置为您想要的关键词集合。
2. 调整参数（可选）：如有需要，可在 Config.py 中调整生成阶段的参数。
3. 执行生成：

   python Generation.py
   

运行后，模型将根据设定的主题词生成相应的段落文本。