Char-RNN-TensorFlow

TensorFlow中的多语言字符级循环神经网络。你可以使用这段代码生成英文文本、中文诗歌和歌词、日文文本以及其他语言的文本。

一个基于最新版本TensorFlow的Char RNN实现。可以实现生成英文、写诗、歌词、小说、生成代码、生成日文等功能。

需求

• Python 2.7.X
• TensorFlow >= 1.2

生成英文文本

训练命令：

python train.py \
  --input_file data/shakespeare.txt  \
  --name shakespeare \
  --num_steps 50 \
  --num_seqs 32 \
  --learning_rate 0.01 \
  --max_steps 20000

采样命令：

python sample.py \
  --converter_path model/shakespeare/converter.pkl \
  --checkpoint_path model/shakespeare/ \
  --max_length 1000

结果：

BROTON:
当你在她那里站立时，那些拥有……
他们认为那是对我马匹的教导之心，就像一些信任一样。

LAUNCE:
那形式如此巧妙地映射在他的身上，你已经看到了她……
到她的耳朵里，我们将成为那种会发出声音的人。
主啊，所有的鸟儿也一样，他们会说，
我们注定要在这里与我的和平共处。

PALINA:
为什么，你呼吸的空气或你的影子才是最重要的呢？
我已经告诉他了，他也同意让我……
我感到非常困惑。

生成中文诗歌

训练命令：

python train.py \
  --use_embedding \
  --input_file data/poetry.txt \
  --name poetry \
  --learning_rate 0.005 \
  --num_steps 26 \
  --num_seqs 32 \
  --max_steps 10000

采样命令：

python sample.py \
  --use_embedding \
  --converter_path model/poetry/converter.pkl \
  --checkpoint_path model/poetry/ \
  --max_length 300

结果：

何人无不见，此地自何如。
一夜山边去，江山一夜归。
山风春草色，秋水夜声深。
何事同相见，应知旧子人。
何当不相见，何处见江边。
一叶生云里，春风出竹堂。
何时有相访，不得在君心。

生成中文小说

训练命令（文件“novel.txt”未包含在本仓库中。请自行寻找并确保其为UTF-8编码！）：

python train.py \
  --use_embedding True \
  --input_file data/novel.txt \
  --num_steps 80 \
  --name novel \
  --learning_rate 0.005 \
  --num_seqs 32 \
  --num_layers 3 \
  --embedding_size 256 \
  --lstm_size 256 \
  --max_steps 1000000

采样命令：

python sample.py \
  --converter_path model/novel/converter.pkl \
  --checkpoint_path  model/novel \
  --use_embedding \
  --max_length 2000 \
  --num_layers 3 \
  --lstm_size 256 \
  --embedding_size 256

结果：

闻言，萧炎一怔，旋即目光转向一旁的那名灰袍青年，然后目光在那位老者身上扫过，那里，一个巨大的石台上，有着一个巨大的巨坑，一些黑色光柱，正在从中，一道巨大的黑色巨蟒，一股极度恐怖的气息，从天空上暴射而出 ，然后在其中一些一道道目光中，闪电般的出现在了那些人影，在那种灵魂之中，却是有着许些强者的感觉，在他们面前，那一道道身影，却是如同一道黑影一般，在那一道道目光中，在这片天地间，在那巨大的空间中，弥漫而开……

“这是一位斗尊阶别，不过不管你，也不可能会出手，那些家伙，可以为了这里，这里也是能够有着一些异常，而且他，也是不能将其他人给你的灵魂，所以，这些事，我也是不可能将这一个人的强者给吞天蟒，这般一次，我们的实力，便是能够将之击杀……”

“这里的人，也是能够与魂殿强者抗衡。”

萧炎眼眸中也是掠过一抹惊骇，旋即一笑，旋即一声冷喝，身后那些魂殿殿主便是对于萧炎，一道冷喝的身体，在天空之上暴射而出，一股恐怖的劲气，便是从天空倾洒而下。

“嗤！”

生成中文歌词

训练命令：

python train.py  \
  --input_file data/jay.txt \
  --num_steps 20 \
  --batch_size 32 \
  --name jay \
  --max_steps 5000 \
  --learning_rate 0.01 \
  --num_layers 3 \
  --use_embedding

采样命令：

python sample.py --converter_path model/jay/converter.pkl \
  --checkpoint_path  model/jay  \
  --max_length 500  \
  --use_embedding \
  --num_layers 3 \
  --start_string 我知道

结果：

我知道
我的世界 一种解
我一直实现 语不是我
有什么(客) 我只是一口
我想想我不来 你的微笑
我说 你我你的你
只能有我 一个梦的
我说的我的
我不能再想
我的爱的手 一点有美
我们 你的我 你不会再会爱不到

生成Linux代码

训练命令：

python train.py  \
  --input_file data/linux.txt \
  --num_steps 100 \
  --name linux \
  --learning_rate 0.01 \
  --num_seqs 32 \
  --max_steps 20000

采样命令：

python sample.py \
  --converter_path model/linux/converter.pkl \
  --checkpoint_path  model/linux \
  --max_length 1000 

结果：

static int test_trace_task(struct rq *rq)
{
        read_user_cur_task(state);
        return trace_seq;
}

static int page_cpus(struct flags *str)
{
        int rc;
        struct rq *do_init;
};

/*
 * Core_trace_periods the time in is is that supsed,
 */
#endif

/*
 * Intendifint to state anded.
 */
int print_init(struct priority *rt)
{       /* Comment sighind if see task so and the sections */
        console(string, &can);
}

生成日文文本

训练命令：

python train.py  \
  --input_file data/jpn.txt \
  --num_steps 20 \
  --batch_size 32 \
  --name jpn \
  --max_steps 10000 \
  --learning_rate 0.01 \
  --use_embedding

采样命令：

python sample.py \
  --converter_path model/jpn/converter.pkl \
  --checkpoint_path model/jpn \
  --max_length 1000 \
  --use_embedding

结果：

「ああ、それだ、」とお夏は、と夏のその、
「そうだっていると、お夏は、このお夏が、その時、
（あ、」
　と声にはお夏が、これは、この膝の方を引寄って、お夏に、
「まあ。」と、その時のお庇《おも》ながら、

致谢

部分代码借鉴自NELSONZHAO/zhihu/anna_lstm

Char-RNN-TensorFlow 快速上手指南

Char-RNN-TensorFlow 是一个基于 TensorFlow 实现的字符级循环神经网络（Char-RNN）工具。它支持多语言文本生成，包括英文、中文诗词、小说、歌词、代码以及日文等。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 2.7.X
• 深度学习框架：TensorFlow >= 1.2

注意：本项目依赖较旧的 Python 2.7 和 TensorFlow 1.x 版本。如果您使用的是现代环境，建议创建独立的虚拟环境（如 virtualenv 或 conda）以避免依赖冲突。

安装依赖：

pip install tensorflow==1.15.0
# 如果下载速度慢，推荐使用国内镜像源：
# pip install tensorflow==1.15.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone https://github.com/sherjilozwer/char-rnn-tensorflow.git
   cd char-rnn-tensorflow
   

2. 准备训练数据 将您的文本数据（.txt 格式，推荐 UTF-8 编码）放入 data/ 目录下。

   • 英文示例：data/shakespeare.txt
   • 中文诗词示例：data/poetry.txt
   • 其他语言请自行准备对应文件。

基本使用

本工具的核心流程分为两步：训练模型 (train) 和 采样生成 (sample)。

场景一：生成英文文本（莎士比亚风格）

这是最基础的用法，无需额外嵌入层参数。

1. 训练模型

python train.py \
  --input_file data/shakespeare.txt  \
  --name shakespeare \
  --num_steps 50 \
  --num_seqs 32 \
  --learning_rate 0.01 \
  --max_steps 20000

2. 生成文本

python sample.py \
  --converter_path model/shakespeare/converter.pkl \
  --checkpoint_path model/shakespeare/ \
  --max_length 1000

---

场景二：生成中文诗词

处理中文等多字节字符时，必须添加 --use_embedding 参数。

1. 训练模型

python train.py \
  --use_embedding \
  --input_file data/poetry.txt \
  --name poetry \
  --learning_rate 0.005 \
  --num_steps 26 \
  --num_seqs 32 \
  --max_steps 10000

2. 生成文本

python sample.py \
  --use_embedding \
  --converter_path model/poetry/converter.pkl \
  --checkpoint_path model/poetry/ \
  --max_length 300

---

场景三：生成中文小说（进阶配置）

对于长文本（如小说），建议增加网络层数 (num_layers) 和隐藏单元大小 (lstm_size) 以提升生成质量。

1. 训练模型

python train.py \
  --use_embedding True \
  --input_file data/novel.txt \
  --num_steps 80 \
  --name novel \
  --learning_rate 0.005 \
  --num_seqs 32 \
  --num_layers 3 \
  --embedding_size 256 \
  --lstm_size 256 \
  --max_steps 1000000

2. 生成文本 注意：采样时的网络结构参数需与训练时保持一致。

python sample.py \
  --converter_path model/novel/converter.pkl \
  --checkpoint_path  model/novel \
  --use_embedding \
  --max_length 2000 \
  --num_layers 3 \
  --lstm_size 256 \
  --embedding_size 256

常用参数说明

• --input_file: 输入训练数据的路径。
• --name: 模型保存的名称标识。
• --max_steps: 最大训练步数（迭代次数）。
• --learning_rate: 学习率。
• --use_embedding: 关键参数，处理中文、日文等非 ASCII 字符时必须开启。
• --start_string: (仅在 sample.py 中有效) 指定生成文本的起始字符串，例如 --start_string "我知道"。