本仓库包含由滑铁卢大学数据系统研究组实现的用于文档分类的 PyTorch 深度学习模型。

模型

• DocBERT：DocBERT：用于文档分类的 BERT (Adhikari 等，2019)
• Reg-LSTM：用于文档分类的正则化 LSTM (Adhikari 等，NAACL 2019)
• XML-CNN：用于极端多标签文本分类的 CNN (Liu 等，SIGIR 2017)
• HAN：层次化注意力网络 (Zichao 等，NAACL 2016)
• Char-CNN：字符级卷积网络 (Zhang 等，NIPS 2015)
• Kim CNN：用于句子分类的 CNN (Kim，EMNLP 2014)

每个模型目录都包含一个 README.md 文件，其中提供了更多详细信息。

配置 PyTorch 环境

Hedwig 专为 Python 3.6 和 PyTorch 0.4 设计。PyTorch 推荐使用 Anaconda 来管理环境。我们建议按以下步骤创建自定义环境：

$ conda create --name castor python=3.6
$ source activate castor

然后按照以下命令安装 PyTorch：

$ conda install pytorch=0.4.1 cuda92 -c pytorch

其他我们使用的 Python 包可以通过 pip 安装：

$ pip install -r requirements.txt

代码依赖于 NLTK 中的数据（例如停用词），因此需要先下载这些数据。启动 Python 解释器并输入以下命令：

>>> import nltk
>>> nltk.download()

数据集

有两种方法可以下载 Reuters、AAPD 和 IMDB 数据集以及 word2vec 嵌入：

选项 1. 我们的 Wasabi 托管镜像：

$ wget http://nlp.rocks/hedwig -O hedwig-data.zip
$ unzip hedwig-data.zip

选项 2. 学校托管的仓库 hedwig-data：

$ git clone https://github.com/castorini/hedwig.git
$ git clone https://git.uwaterloo.ca/jimmylin/hedwig-data.git

接下来，请按照以下方式组织目录结构：

.
├── hedwig
└── hedwig-data

克隆 hedwig-data 仓库后，需要解压嵌入文件并运行预处理脚本：

cd hedwig-data/embeddings/word2vec 
tar -xvzf GoogleNews-vectors-negative300.tgz

如果您是 Hedwig 的内部贡献者，并在实验室的机器上工作，请遵循 这里 的说明。

Hedwig 快速上手指南

Hedwig 是由滑铁卢大学数据系统组开发的基于 PyTorch 的文档分类深度学习模型库，包含 DocBERT、Reg-LSTM、XML-CNN、HAN 等多种经典模型。

环境准备

• 操作系统: Linux / macOS (Windows 需自行配置 CUDA 环境)
• Python 版本: 3.6
• 核心框架: PyTorch 0.4.1 (配套 CUDA 9.2)
• 包管理工具: 推荐安装 Anaconda 以管理虚拟环境
• 其他依赖: NLTK (需下载停用词等数据资源)

注意：该项目基于较早期的 PyTorch 版本开发。若在现代硬件或新版 Python 环境中运行遇到兼容性问题，建议严格遵循下方的版本锁定指令，或在隔离环境中运行。

安装步骤

1. 创建并激活虚拟环境

使用 Conda 创建名为 castor 的专用环境：

$ conda create --name castor python=3.6
$ source activate castor

2. 安装 PyTorch

安装指定版本的 PyTorch 和 CUDA 支持：

$ conda install pytorch=0.4.1 cuda92 -c pytorch

3. 安装 Python 依赖

进入项目目录（假设已克隆代码），安装 requirements.txt 中的依赖包：

$ pip install -r requirements.txt

4. 下载 NLTK 数据

代码依赖 NLTK 的资源（如停用词）。启动 Python 解释器并执行以下命令进行下载：

>>> import nltk
>>> nltk.download()

数据准备与目录结构

本项目需要 Reuters、AAPD、IMDB 数据集及 Word2Vec 嵌入向量。

方式一：直接下载数据包（推荐）

从镜像源下载整理好的数据包：

$ wget http://nlp.rocks/hedwig -O hedwig-data.zip
$ unzip hedwig-data.zip

方式二：通过 Git 克隆

分别克隆代码库和数据库：

$ git clone https://github.com/castorini/hedwig.git
$ git clone https://git.uwaterloo.ca/jimmylin/hedwig-data.git

整理目录结构

确保最终目录结构如下所示，使 hedwig 代码库与 hedwig-data 数据文件夹位于同一层级：

.
├── hedwig
└── hedwig-data

解压预训练向量

如果通过 Git 克隆了数据，需手动解压 Word2Vec 向量文件：

cd hedwig-data/embeddings/word2vec 
tar -xvzf GoogleNews-vectors-negative300.tgz

基本使用

各具体模型（如 DocBERT, HAN, Kim CNN 等）均位于 models/ 下的独立子目录中，每个子目录包含详细的 README.md 说明及特定的训练/推理脚本。

以最简单的 Kim CNN 模型为例，通常的使用流程如下（具体参数请参考对应模型目录下的说明）：

1. 进入模型目录：

   $ cd hedwig/models/kim_cnn
   

2. 运行训练脚本（示例命令，具体脚本名请以目录内文件为准）：

   $ python train.py --data_dir ../../hedwig-data/datasets/imdb --embeddings ../../hedwig-data/embeddings/word2vec/GoogleNews-vectors-negative300.bin
   

提示：由于不同模型的数据预处理方式和参数略有差异，强烈建议在运行前阅读对应模型文件夹内的 README.md 获取最准确的命令行参数。