字符感知神经语言模型

字符感知神经语言模型 的 TensorFlow 实现。作者的原始代码可在 这里 找到。

该实现包含：

1. 词级和字符级卷积神经网络
2. 高速公路网络
3. 循环神经网络语言模型

当前实现存在性能问题。请参阅 #3。

前提条件

• Python 2.7 或 Python 3.3+
• TensorFlow

使用方法

使用 ptb 数据集训练模型：

$ python main.py --dataset ptb

测试现有模型：

$ python main.py --dataset ptb --forward_only True

查看所有训练选项，运行：

$ python main.py --help

将打印出：

usage: main.py [-h] [--epoch EPOCH] [--word_embed_dim WORD_EMBED_DIM]
              [--char_embed_dim CHAR_EMBED_DIM]
              [--max_word_length MAX_WORD_LENGTH] [--batch_size BATCH_SIZE]
              [--seq_length SEQ_LENGTH] [--learning_rate LEARNING_RATE]
              [--decay DECAY] [--dropout_prob DROPOUT_PROB]
              [--feature_maps FEATURE_MAPS] [--kernels KERNELS]
              [--model MODEL] [--data_dir DATA_DIR] [--dataset DATASET]
              [--checkpoint_dir CHECKPOINT_DIR]
              [--forward_only [FORWARD_ONLY]] [--noforward_only]
              [--use_char [USE_CHAR]] [--nouse_char] [--use_word [USE_WORD]]
              [--nouse_word]

optional arguments:
  -h, --help            显示此帮助信息并退出
  --epoch EPOCH         训练的轮数 [25]
  --word_embed_dim WORD_EMBED_DIM
                        词嵌入矩阵的维度 [650]
  --char_embed_dim CHAR_EMBED_DIM
                        字符嵌入矩阵的维度 [15]
  --max_word_length MAX_WORD_LENGTH
                        单词的最大长度 [65]
  --batch_size BATCH_SIZE
                        批次大小 [100]
  --seq_length SEQ_LENGTH
                        展开的时间步数 [35]
  --learning_rate LEARNING_RATE
                        学习率 [1.0]
  --decay DECAY         SGD 的衰减率 [0.5]
  --dropout_prob DROPOUT_PROB
                        Dropout 层的概率 [0.5]
  --feature_maps FEATURE_MAPS
                        CNN 中特征图的数量
                        [50,100,150,200,200,200,200]
  --kernels KERNELS     CNN 核的宽度 [1,2,3,4,5,6,7]
  --model MODEL         要训练和测试的模型类型 [LSTM, LSTMTDNN]
  --data_dir DATA_DIR   数据目录名称 [data]
  --dataset DATASET     数据集名称 [ptb]
  --checkpoint_dir CHECKPOINT_DIR
                        保存检查点的目录名称 [checkpoint]
  --forward_only [FORWARD_ONLY]
                        只进行前向传播为真，训练为假 [False]
  --noforward_only
  --use_char [USE_CHAR]
                        使用字符级语言模型 [True]
  --nouse_char
  --use_word [USE_WORD]
                        使用词级语言模型 [False]
  --nouse_word

但更多选项可在 models/LSTMTDNN 和 models/TDNN 中找到。

性能

未能复现论文中的结果（2016年2月12日）。如果您正在寻找能够复现论文结果的代码，请参阅 https://github.com/mkroutikov/tf-lstm-char-cnn。

宾夕法尼亚树库 (PTB) 语料库测试集上的困惑度。

名称	字符嵌入	LSTM 隐藏单元	论文（Y Kim 2016）	本仓库
LSTM-Char-Small	15	100	92.3	进行中
LSTM-Char-Large	15	150	78.9	进行中

作者

Taehoon Kim / @carpedm20

lstm-char-cnn-tensorflow 快速上手指南

本项目是基于 TensorFlow 实现的“字符感知神经语言模型”（Character-Aware Neural Language Models），结合了词级与字符级的卷积神经网络（CNN）、高速网络（Highway Network）以及循环神经网络（RNN/LSTM）。

注意：当前实现存在性能问题，尚未完全复现原论文结果。如需复现论文数据，建议参考其他仓库。本指南仅用于快速体验代码结构与基础运行。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows (需配置好 Python 环境)
• Python 版本：Python 2.7 或 Python 3.3+
• 核心依赖：
  • TensorFlow

国内加速建议： 安装 TensorFlow 时，推荐使用清华或阿里镜像源以提升下载速度：

pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码 将仓库克隆到本地：

   git clone https://github.com/carpedm20/lstm-char-cnn-tensorflow.git
   cd lstm-char-cnn-tensorflow
   

2. 安装依赖 确保已安装 TensorFlow。如果项目中包含 requirements.txt，可运行：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若无形如 requirements.txt 的文件，请手动确保 tensorflow 已安装)

3. 准备数据集 默认使用 PTB (Penn Treebank) 数据集。首次运行时，脚本通常会自动下载数据至 data 目录。若自动下载失败，请手动下载 PTB 数据集并放置于 data/ptb 目录下。

基本使用

1. 训练模型

使用默认的 PTB 数据集开始训练模型：

python main.py --dataset ptb

2. 测试/评估模型

如果您已经拥有训练好的检查点（checkpoint），可以仅进行前向传播测试：

python main.py --dataset ptb --forward_only True

3. 查看与自定义参数

您可以查看完整的训练选项列表，包括调整嵌入维度、学习率、Dropout 概率等：

python main.py --help

常用参数示例：

• 修改训练轮数：--epoch 50
• 调整批次大小：--batch_size 64
• 切换模型类型（LSTM 或 LSTMTDNN）：--model LSTMTDNN
• 启用/禁用字符级模型：--use_char True 或 --nouse_char

完整命令示例：

python main.py --dataset ptb --epoch 50 --batch_size 64 --model LSTM