Neural Networks for NLP Code Examples

This is a repository of code examples for the 2017 edition of CMU CS 11-747 Neural Networks for NLP.

By Graham Neubig, Daniel Clothiaux, Zhengzhong Liu, and Xuezhe Ma

nn4nlp-code 快速上手指南

nn4nlp-code 是卡内基梅隆大学（CMU）2017 年《神经网络的 NLP 应用》课程（CS 11-747）的官方代码示例库，由 Graham Neubig 等专家维护。本指南帮助中国开发者快速搭建环境并运行示例。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 16.04+) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• Python 版本：Python 3.6 或更高版本（基于 2017 年技术栈，建议优先尝试 Python 3.6-3.8 以避免部分旧库兼容性问题）。
• 前置依赖：
  • git：用于克隆代码库。
  • pip：Python 包管理工具。
  • virtualenv 或 conda：强烈建议创建独立的虚拟环境以隔离依赖。

安装步骤

1. 克隆项目

打开终端，执行以下命令获取源代码：

git clone https://github.com/neubig/nn4nlp-code.git
cd nn4nlp-code

国内加速提示：如果 GitHub 连接缓慢，可使用国内镜像源克隆：

git clone https://gitee.com/mirrors/nn4nlp-code.git
cd nn4nlp-code

(注：若 Gitee 无同步镜像，请配置本地 Git 代理或使用上述标准命令)

2. 创建虚拟环境

推荐使用 venv 或 conda 创建隔离环境：

# 使用 venv
python3 -m venv venv
source venv/bin/activate

# 或者使用 conda
# conda create -n nn4nlp python=3.7
# conda activate nn4nlp

3. 安装依赖

项目根目录通常包含 requirements.txt。为加速下载，建议临时指定清华或阿里 PyPI 镜像源：

# 使用清华镜像源安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：由于该课程代码基于 2017 年的技术栈，部分依赖（如旧版 TensorFlow 或 Theano）可能在最新 Python 版本上安装失败。如遇报错，请尝试将 Python 版本降级至 3.6 或 3.7。

基本使用

该项目包含多个子目录，分别对应课程不同章节的模型实现（如 RNN, Transformer, Attention 等）。以下以运行一个简单的语言模型训练脚本为例：

1. 查看可用脚本

进入具体任务目录，例如 lm-lstm (基于 LSTM 的语言模型)：

cd lm-lstm
ls

2. 准备数据

大多数示例需要预处理的数据集。通常项目内提供简单的下载或生成脚本，或者直接使用内置的小型测试数据。检查是否有 get_data.sh 或类似脚本：

# 如果有数据下载脚本
bash get_data.sh

若无自动脚本，可直接使用代码中自带的微小样本进行测试运行，无需额外下载大型数据集。

3. 运行训练示例

执行训练脚本。以下是一个典型的启动命令（参数可根据 --help 查看）：

python train.py --train_data ../data/ptb/train.txt --dev_data ../data/ptb/valid.txt --model_path model.pt

• --train_data: 训练数据路径。
• --dev_data: 验证数据路径。
• --model_path: 模型保存路径。

运行后，终端将输出每个 Epoch 的损失值（Loss）和困惑度（Perplexity），标志着模型正在训练。

4. 运行评估或生成

训练完成后，可使用生成的模型进行文本生成或评估：

python generate.py --model_path model.pt --input_text "the cat sat on the"

现在您已成功运行了 nn4nlp-code 的基础示例，可以进一步探索其他目录下的进阶模型实现。