树状长短期记忆网络

这是基于 PyTorch 的 Tree-LSTM 实现，如 Kai Sheng Tai、Richard Socher 和 Christopher Manning 在论文 Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks 中所述。在使用 SICK 数据集的语义相似度任务上，该实现达到了：

• 皮尔逊相关系数：0.8492，均方误差：0.2842，采用超参数 --lr 0.010 --wd 0.0001 --optim adagrad --batchsize 25
• 皮尔逊相关系数：0.8674，均方误差：0.2536，采用超参数 --lr 0.025 --wd 0.0001 --optim adagrad --batchsize 25 --freeze_embed
• 原始论文中报告的数值为：皮尔逊相关系数：0.8676，均方误差：0.2532。
• 已知差异包括梯度累积的方式（是否按批次大小归一化）。

需求

• Python（已在 3.6.5 上测试过，应在 >=2.7 上工作）
• Java >= 8（用于 Stanford CoreNLP 工具）
• 其他依赖项见 requirements.txt 注意：目前支持 PyTorch 0.4.0。若需使用 PyTorch 0.3.1，请切换到 pytorch-v0.3.1 分支。

使用方法

在深入了解如何运行代码之前，先简要概述一下内容：

• 使用脚本 fetch_and_preprocess.sh 下载 SICK 数据集、Stanford Parser 和 Stanford POS Tagger，以及 Glove 词向量（Common Crawl 840）——警告： 这将下载约 2GB 的数据！），并进一步预处理数据，即使用 Stanford Neural Network Dependency Parser 生成依存句法树。
• main.py 执行训练模型并在 SICK 数据集上进行测试的实际工作。有关所有命令行参数的列表，请参阅 config.py。
  • 第一次运行会缓存 SICK 词汇表中单词的 GLOVE 嵌入。后续运行仅读取缓存。
  • 日志和模型检查点将保存到 checkpoints/ 目录，并以命令行参数 --expname 指定的名称命名。

接下来，以下是运行此处代码以训练 TreeLSTM 模型的不同方式。

本地 Python 环境

如果您有一个可用的 Python3 环境，只需按照以下步骤操作：

- bash fetch_and_preprocess.sh
- pip install -r requirements.txt
- python main.py

纯 Docker 环境

如果您想使用 Docker 容器，只需执行以下步骤：

- docker build -t treelstm .
- docker run -it treelstm bash
- bash fetch_and_preprocess.sh
- python main.py

本地文件系统 + Docker 环境

如果您希望使用 Docker 容器，但又想将数据和检查点保留在本地文件系统中，只需执行以下步骤：

- bash fetch_and_preprocess.sh
- docker build -t treelstm .
- docker run -it --mount type=bind,source="$(pwd)",target="/root/treelstm.pytorch" treelstm bash
- python main.py

注意：通常将环境变量 OMP_NUM_THREADS 设置为 1 可以提高 CPU 性能。使用方法如下：OMP_NUM_THREADS=1 python main.py。若要在 GPU 上运行，请设置 CUDA_VISIBLE_DEVICES。通常情况下，CUDA 在这里不会带来显著的速度提升，因为我们使用的批次大小仅为 1。

备注

• (2018年4月2日) 添加了 Dockerfile
• (2018年4月2日) 现在支持 PyTorch 0.3.1 和 Python 3.6，移除了对 Python 2.7 的依赖
• (2017年11月28日) 添加了 冻结嵌入，缩小了与论文结果的差距
• (2017年11月8日) 重构了模型，获得了 1.5倍至2倍的速度提升
• (2017年10月23日) 现在支持 PyTorch 0.2.0
• (2017年5月4日) 添加了对 稀疏张量 的支持。使用 --sparse 参数将启用 nn.Embedding 的稀疏梯度更新，从而可能减少内存占用。
  • 不过也存在一些注意事项，例如权重衰减无法与稀疏性同时使用，且使用稀疏嵌入可能无法复现原始论文中的结果。

致谢

特别感谢 Kai Sheng Tai 提供的 原始 LuaTorch 实现，以及 Pytorch 团队 提供的优秀库。

联系方式

Riddhiman Dasgupta

这是我第一个基于 PyTorch 的实现，可能存在一些 bug。如果您发现任何问题，请告知我！

许可证

MIT

treelstm.pytorch 快速上手指南

本指南基于 PyTorch 实现的树结构长短期记忆网络（Tree-LSTM），用于语义相似度任务（SICK 数据集）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS (Windows 需通过 WSL 或 Docker)
• Python：推荐 3.6.5 及以上版本（兼容 >=2.7，但已移除对 2.7 的强依赖）
• Java：JDK 8 或更高版本（用于运行 Stanford CoreNLP 工具）
• PyTorch：默认支持 0.4.0。如需使用 0.3.1，请切换至 pytorch-v0.3.1 分支。
• 其他依赖：详见项目根目录下的 requirements.txt。

注意：脚本将自动下载约 2GB 的数据和模型文件（SICK 数据集、Stanford Parser/Tagger、Glove 词向量），请确保网络连接通畅。国内用户若下载缓慢，可考虑手动下载后放置到对应目录，或使用代理加速。

安装步骤

您可以选择本地环境或 Docker 环境进行部署。

方案一：本地 Python 环境

1. 克隆仓库并进入目录（假设已完成 git clone）。
2. 执行数据获取与预处理脚本（包含下载依赖和生成依存句法分析）：

   bash fetch_and_preprocess.sh
   

3. 安装 Python 依赖包：

   pip install -r requirements.txt
   

   (国内用户建议使用清华源加速：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

方案二：Docker 环境（推荐隔离环境）

如果您希望避免配置本地依赖，可使用 Docker：

1. 构建镜像：

   docker build -t treelstm .
   

2. 运行容器并进入交互模式：

   docker run -it treelstm bash
   

3. 在容器内执行数据预处理：

   bash fetch_and_preprocess.sh
   

(若需持久化保存模型检查点到本地，请使用 --mount 参数挂载当前目录，参考原文 "Local Filesystem + Docker Environment" 部分)

基本使用

完成环境准备和数据预处理后，即可开始训练和测试模型。

启动训练

运行主程序 main.py。首次运行时会自动缓存 SICK 词汇表的 GloVe 嵌入，后续运行将直接读取缓存。

python main.py

性能调优示例

根据 README，使用以下超参数组合可获得接近原论文的效果（Pearson 系数约 0.8674）：

python main.py --lr 0.025 --wd 0.0001 --optim adagrad --batchsize 25 --freeze_embed

运行提示

• CPU 加速：在 CPU 上运行时，设置环境变量通常能提升速度：

  OMP_NUM_THREADS=1 python main.py
  

• GPU 加速：由于该实现默认 batchsize 较小（通常为 1），GPU 加速效果可能不明显。如需指定 GPU，请设置：

  CUDA_VISIBLE_DEVICES=0 python main.py
  

• 输出目录：训练日志和模型检查点将保存在 checkpoints/ 目录下，实验名称可通过 --expname 参数指定。