用于文档分类的层次化注意力网络

我们知道，文档具有层次结构：单词组成句子，句子再组成文档。我们可以尝试学习这种层次结构，也可以将该层次结构直接输入到模型中，看看是否能提升现有模型的性能。这篇论文正是利用了这种结构来构建分类模型。

这里提供了一个使用 PyTorch 实现的（近似）版本模型。

注意事项：

1. 我使用同一个优化器同时优化词级和句级的注意力模型。
2. 小批量数据会用零进行填充。这一点可以改进：可以将长度相近的句子放在一起，从而减少填充的数量。
3. 目前 PyTorch 尚不支持梯度掩码，因此在反向传播过程中，填充的零也会产生梯度。理论上可以创建一个掩码，但由于我使用的是双向 GRU，无法应用掩码。不过，我了解到 PyTorch 即将支持变长 RNN，并提供了 pack_padded_sequence 方法。 更新：PyTorch 现已通过 pack_padded_sequence 方法支持带掩码的 RNN。

这张来自 Explosion 博客 的图片完美地解释了该模型的结构。

笔记本

笔记本中包含了一个在 IMDB 电影评论数据集上训练好的示例模型。由于我未能获取论文中提到的原始 IMDB 数据集，因此使用了 这份数据。

预处理后的数据可在此下载：链接

我得到的最佳准确率约为 0.35 左右。该数据集仅有 84,919 个样本和 10 个类别。以下是该数据集的训练损失曲线：

attention-networks-for-classification 快速上手指南

本文档基于 PyTorch 实现的层次化注意力网络（Hierarchical Attention Networks），用于文档分类任务。该模型利用文档的层级结构（词组成句，句组成文档）来提升分类性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • PyTorch (支持 pack_padded_sequence 的版本)
  • torchvision (可选，视具体代码导入情况而定)
• 数据集：本项目示例使用了预处理后的 IMDB 电影评论数据集（非原始 IMDB 数据，而是来自 HIT-SCIR 的变体，含 10 个类别）。

国内加速建议： 安装 PyTorch 时，推荐使用清华或中科大镜像源以提升下载速度。

安装步骤

1. 克隆项目代码

   git clone https://github.com/your-repo/attention-networks-for-classification.git
   cd attention-networks-for-classification
   

   (注：请将上述 URL 替换为实际的项目仓库地址)

2. 安装依赖库 如果项目包含 requirements.txt，请直接运行：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若需手动安装 PyTorch（以 CPU 版本为例，GPU 版本请访问 pytorch.org 获取对应命令）：

   pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据 下载预处理后的数据集并解压到项目目录：

   • 数据来源：Google Drive 链接
   • 备用数据源（原论文参考）：HIT-SCIR Dataset

   将下载的数据文件放置在代码期望读取的路径下（通常为 data/ 文件夹，具体请参考 notebook 中的路径设置）。

基本使用

该项目主要通过 Jupyter Notebook 提供训练和评估示例。

1. 启动 Jupyter Notebook

   jupyter notebook
   

2. 运行示例脚本 在浏览器中打开项目目录下的 Notebook 文件（通常命名为 example.ipynb 或类似名称）。

3. 核心逻辑说明 Notebook 中包含了完整的模型定义与训练流程：

   • 模型结构：同时优化词级（word-level）和句级（sentence-level）的注意力机制。
   • 数据处理：使用零填充（zero-padding）处理 mini-batch。代码已更新支持 pack_padded_sequence 以正确处理变长序列的梯度掩码。
   • 训练执行：直接按顺序运行 Notebook 单元格即可开始训练。

   简单代码片段示例（模型初始化）：

   # 假设已在 Notebook 中导入相关类
   model = HierarchicalAttnNetwork(
       vocab_size=vocab_size,
       embed_dim=300,
       hidden_dim=128,
       num_classes=10
   )
   
   # 定义优化器
   optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
   
   # 开始训练循环 (具体逻辑请参阅 Notebook)
   # train(model, train_loader, optimizer)
   

注意：根据作者记录，在该特定数据集（84,919 个样本，10 个类别）上，最佳准确率约为 0.35。如需复现论文结果，建议尝试更大的标准 IMDB 数据集并调整超参数。