word-rnn-tensorflow

使用 TensorFlow 在 Python 中实现的多层循环神经网络（LSTM、RNN），用于词级语言模型。

大部分代码复用了 https://github.com/sherjilozair/char-rnn-tensorflow，而该仓库又受到 Andrej Karpathy 的 char-rnn 的启发。

要求

• TensorFlow 1.1.0 rc0

基本用法

要在 tinyshakespeare 语料库上使用默认参数进行训练，请运行：

python train.py

要从已训练好的模型中采样：

python sample.py

若要使用束搜索进行采样，可使用 --pick 参数。束搜索还可以通过 --width 参数进一步定制，该参数用于设置搜索的束数。例如：

python sample.py --pick 2 --width 4

示例输出

词级 RNN

LEONTES:
为何，我的爱尔兰时光？
且在主前争辩；那疯癫之人，理应得到一种足以淹没好战者的灵魂。请他祈求，如何有七人在此。

国王本可因此成就，我曾以为自己娶了一位不配为勋爵之妇，
胜过你成为我羽翼与筋骨，以捍卫他的荣耀。
依理而言，这突如其来的夜晚将再次命令所有人如此行事。次数远多于我这位不常侍奉的绅士。

LARTIUS:
哦，这是市政官们在战斗！
再见吧，他自己也亲眼目睹了这一切。

SLY:
如今众神拥有他们的 VINCENTIO:
鞭笞虽令人畏惧，但我首先认识的是你们，阻碍真相者。

ANGELO:
这正是我最珍视的地位，却被交付出去。

公爵看起来已消散：仿佛燃烧的火焰，
祂存在于此，
充满蟾蜍，他们让我感到喜悦。

字符级 RNN

ESCALUS:
我们的荣誉究竟是什么？就像理查德的故事一样，
你用鲜血标记着它。我们将面对逆境：
你啊，奥特鲁克特的伟大将领，
或许能拯救它，而不是让这些消息改变我的命运。
克莱斯特斯会带走我们吗？
说吧，那个狡猾的骗子究竟想展示什么。他们得逞了！

安贝丝·格切斯特：
现在，远处的光芒刺痛了我的双眼，如同这女王一般。
如果你曾与一位贵族相遇呢？

KATHW:
我不能违背自己的天性，
更何况还有六股强大的风，我该如何是好？

信使：
我的长袍，高贵的臂膀；

束搜索

束搜索与其他 --pick 选项的不同之处在于，它不会贪婪地选择单个词；相反，它会扩展最有希望的节点，并为每条束维护一个实时得分。

词级 RNN（使用束搜索）

# python sample.py --prime "KING RICHARD III:" -n 100 --pick 2 --width 4

KING RICHARD III:
你，以及你所拥有的，是否注定要被绞死？我难道不该被触碰吗？

普罗沃斯特：
一位波希米亚出生的人，为了系紧自己的衣带，
立即与所有更善于与乌鸦饲养员交谈的人结盟；
我已经喝下了这杯酒，伴随着橡果摇篮般的祝福。跟随吧。

FERDINAND:
谁不愿被引导呢？

ELY 主教：
如果你曾在一片荒芜的土地上躺过，那便是神圣的；
我敢保证，我的大人会在正午时分恢复原状。

ISABELLA:
“救救我的主人吧，他那微弱的声音向我低语，指向那位小贩；
金钱真是个搅局者。
我要好好宠爱它，让它继续抱怨下去。”

VOLUMNIA:
的确，我就是……

词级 RNN（不使用束搜索）

# python sample.py --prime "KING RICHARD III:" -n 100

KING RICHARD III:
好吧，那就随风而去吧；
那么朱丽叶，您呢？

JULIET:
嗯，既然如此，就请谈谈您的表亲关系吧；
也许您可以稍微奉承一下。
我的手会替他回答的；
不要让你的玛丽安娜低于这些人，也不要夺走她的生命，
以免扰乱理智之光。
卢琴提奥一直守护着属于你的根。
诅咒他的力量吧，
他曾经是我的邻居，直到分娩之时，我才停止饮用他的水。

MENENIUS:
事情是这样的，
我知道这个地方很酸涩，
他们知道忠诚——正是这种忠诚让你犯下了罪行。
你却在她和我们高贵的心胸之间，给予她安慰，而她原本属于博林布鲁克。

项目

如果您有任何使用此词级 RNN 的项目，请告知我们。我会在此列出您的项目。

• http://bot.wpoem.com/（韩语简易诗歌生成器）

贡献

欢迎随时提出您的意见（Issue）和 Pull Request。

word-rnn-tensorflow 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (需配置 Python 环境)
• Python 版本：建议 Python 3.x
• 核心依赖：TensorFlow (原文指定版本为 1.1.0rc0，建议使用兼容的 TensorFlow 1.x 稳定版或根据代码适配 TF 2.x)

国内加速提示：安装 TensorFlow 时若下载缓慢，推荐使用清华或阿里镜像源。

pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目仓库 将源代码下载到本地：

   git clone https://github.com/hunkim/word-rnn-tensorflow.git
   cd word-rnn-tensorflow
   

2. 安装依赖 确保已安装 TensorFlow。如果尚未安装，执行：

   pip install tensorflow
   

   (注：若需严格复现原文环境，可尝试 pip install tensorflow==1.1.0，但需注意版本兼容性)

基本使用

本项目内置了 tinyshakespeare 数据集作为默认训练语料。

1. 训练模型

使用默认参数开始训练词级语言模型：

python train.py

训练完成后，模型文件将保存在 checkpoint 目录中。

2. 生成文本 (采样)

使用训练好的模型生成新的文本内容：

python sample.py

3. 高级采样 (束搜索)

为了获得更连贯的生成结果，可以使用束搜索 (Beam Search)。通过 --pick 启用该模式，并通过 --width 设置束的宽度（搜索路径数量）：

python sample.py --pick 2 --width 4

• --pick 2：启用束搜索模式。
• --width 4：设置同时保留 4 个最佳候选序列进行扩展。