ON-LSTM

本仓库包含论文《有序神经元：将树结构整合到循环神经网络中》（arXiv:1810.09536）中用于词级语言模型和无监督句法分析实验的代码，最初基于 PyTorch 的 LSTM 和 QRNN 语言模型工具包 分支而来。如果您在研究中使用了这些代码或我们的实验结果，我们诚挚地希望您能按如下方式引用我们的论文：

@article{shen2018ordered,
  title={Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks},
  author={Shen, Yikang and Tan, Shawn and Sordoni, Alessandro and Courville, Aaron},
  journal={arXiv preprint arXiv:1810.09536},
  year={2018}
}

软件要求

当前代码库需要 Python 3.6、NLTK 和 PyTorch 0.4。

操作步骤

1. 安装 PyTorch 0.4 和 NLTK。

2. 下载 PTB 数据。请注意，语言模型和无监督句法分析这两个任务虽然共享相同的模型结构，但对 PTB 数据的格式要求不同。对于语言模型任务，我们需要标准的 10,000 词 Penn Treebank 语料库 数据；而对于句法分析任务，则需要 Penn Treebank Parsed 数据。

3. 脚本与命令

   • 训练语言模型

   python main.py --batch_size 20 --dropout 0.45 --dropouth 0.3 --dropouti 0.5 --wdrop 0.45 --chunk_size 10 --seed 141 --epoch 1000 --data /path/to/your/data

   • 测试无监督句法分析

   python test_phrase_grammar.py --cuda

   main.py 中的默认设置在 PTB 测试集上可达到约 56.17 的困惑度，在 WSJ 测试集上可达到约 47.7 的未标注 F1 分数。

Ordered-Neurons (ON-LSTM) 快速上手指南

本指南帮助开发者快速部署并运行基于 ON-LSTM 的词级语言模型及无监督句法分析实验。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.6
• 核心依赖：
  • PyTorch 0.4
  • NLTK

注意：本项目代码基于较旧版本的 PyTorch (0.4) 开发，建议创建独立的虚拟环境以避免版本冲突。

安装步骤

1. 安装基础依赖

使用 pip 安装所需的 Python 库。国内用户推荐使用清华或阿里镜像源加速下载。

pip install torch==0.4.1 nltk -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 获取项目代码

克隆本仓库到本地：

git clone <repository_url>
cd <repository_directory>

3. 准备数据集

根据任务不同，需要下载不同格式的 Penn Treebank (PTB) 数据：

• 语言建模 (Language Modeling)： 下载标准的 10,000 词 PTB 语料库。 数据地址：Penn Treebank corpus

• 无监督句法分析 (Unsupervised Parsing)： 下载已标注的 Penn Treebank Parsed 数据 (LDC99T42)。 数据地址：Penn Treebank Parsed

将下载的数据解压并放置到您指定的路径（例如 /path/to/your/data）。

基本使用

训练语言模型

运行以下命令开始训练。默认配置在 PTB 测试集上可达到约 56.17 的困惑度 (Perplexity)。

python main.py --batch_size 20 --dropout 0.45 --dropouth 0.3 --dropouti 0.5 --wdrop 0.45 --chunk_size 10 --seed 141 --epoch 1000 --data /path/to/your/data

请将 /path/to/your/data 替换为您实际的数据集路径。

测试无监督句法分析

训练完成后（或使用预训练模型），运行以下脚本进行句法分析测试。默认配置在 WSJ 测试集上的无标签 F1 值约为 47.7。

python test_phrase_grammar.py --cuda

提示：--cuda 参数用于启用 GPU 加速，请确保您的环境支持 CUDA。