句子变分自编码器

Bowman 等人于 2015 年提出的 从连续空间生成句子 的 PyTorch 重新实现。 注意：目前此实现不支持 LSTM，但支持 RNN 和 GRU。

结果

训练

ELBO

负对数似然

KL 散度

性能

训练在 4 个 epoch 后停止。真实的 ELBO 大约在一个 epoch 内就被优化到了最佳状态（如上图所示）。结果是整个划分的平均值。

划分	NLL	KL
训练	99.821	7.944
验证	103.220	7.346
测试	103.967	7.269

样本

句子是在从 z ~ N(0, I) 中采样后得到的。

mr . n 谁不是 n 与他自己的员工一起，而且 n n n n n
在美国公司的 n 中，n 很可能无法联系到以获取评论
当他们在 n 中时，然后他们又变成了 n a n n
但该公司表示，它将在 n n 和 n n 结束前完成
但该公司表示，这将是美国经济的一部分

句子插值

句子是在两次从 z ~ N(0, I) 中采样，并对这两个样本进行插值后得到的。

该公司表示，除了该公司之外，一切都会正常
但该公司表示，除了该公司已发行的股票外，一切都会正常
但该公司表示，该公司的 n n 和 n n
但该公司在过去两年中经历了 n n
但该公司在过去两年中经历了 n n
但在过去几年中，该公司的 n n
但在过去几年中，这些信息并未披露
但在过去几年中，这些信息并未披露
但在一份声明中表示，他们过去几周内并不知道 $ n 百万的资金
但在一份声明中表示，他们直到过去几周结束时才收到付款

训练

要运行训练，请先下载 Penn Tree Bank 数据（可从 Tomas Mikolov 的网页 下载）。代码期望在指定的数据目录中找到至少 ptb.train.txt 和 ptb.valid.txt 文件。数据也可以使用 dowloaddata.sh 脚本下载。

然后可以使用以下命令执行训练：

python3 train.py

可用的参数如下：

--data_dir PTB 数据存储的目录路径，辅助数据文件也将存储在此处。
--create_data 如果提供此选项，则会根据源数据创建新的辅助数据文件。
--max_sequence_length 指定长句子的截断长度。
--min_occ 如果某个词在语料库中出现的次数少于“min_occ”，则会被替换为 标记。
--test 如果提供此选项，则还会在测试集上测量性能。

-ep, --epochs
-bs, --batch_size
-lr, --learning_rate

-eb, --embedding_size
-rnn, --rnn_type 可选 'rnn' 或 'gru'。
-hs, --hidden_size
-nl, --num_layers
-bi, --bidirectional
-ls, --latent_size
-wd, --word_dropout 应用于解码器输入的单词丢弃率，即以 word_dropout 的概率将单词替换为 <unk>。
-ed, --embedding_dropout 应用于解码器输入的词嵌入丢弃率。

-af, --anneal_function 可选 'logistic' 或 'linear'。
-k, --k 逻辑退火函数的陡峭程度。
-x0, --x0 对于 'logistic'，这是中点（即权重为 0.5）；对于 'linear'，这是分母。

-v, --print_every
-tb, --tensorboard_logging 如果提供此选项，则会使用 TensorBoard 监控训练进度。
-log, --logdir TensorBoard 日志文件的存储目录。
-bin,--save_model_path 存储模型检查点的目录。

推理

要获取样本并在句子之间进行插值，可以使用 inference.py。

python3 inference.py -c $CHECKPOINT -n $NUM_SAMPLES

Sentence-VAE 快速上手指南

Sentence-VAE 是基于 PyTorch 实现的句子变分自编码器（Variational Autoencoder），用于从连续空间生成句子。该实现支持 RNN 和 GRU 单元。

环境准备

• 系统要求：Linux / macOS / Windows (需配置 Python 环境)
• 核心依赖：
  • Python 3.x
  • PyTorch
  • TensorBoard (可选，用于监控训练进度)
• 数据集：Penn Tree Bank (PTB)。代码默认需要 ptb.train.txt 和 ptb.valid.txt。

提示：建议使用国内镜像源安装依赖以加速下载。

pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone https://github.com/timbmg/Sentence-VAE.git
   cd Sentence-VAE
   

2. 准备数据 项目提供了脚本自动下载 PTB 数据集，也可手动下载。

   方式一：使用自带脚本下载（推荐）

   bash downloaddata.sh
   

   方式二：手动下载 从 Tomas Mikolov 的网页 下载数据，解压后确保 ptb.train.txt 和 ptb.valid.txt 位于指定的数据目录中。

基本使用

1. 开始训练

运行以下命令启动训练过程。默认情况下，脚本会读取当前目录下的数据并保存模型。

python3 train.py

常用参数示例： 若需自定义数据路径、调整模型结构或启用 TensorBoard 监控，可使用以下命令：

python3 train.py \
  --data_dir ./data \
  --create_data \
  --rnn_type gru \
  --hidden_size 512 \
  --latent_size 32 \
  --epochs 10 \
  --batch_size 64 \
  --tensorboard_logging \
  --logdir ./logs \
  --save_model_path ./checkpoints

• --rnn_type: 选择 'rnn' 或 'gru' (暂不支持 LSTM)。
• --anneal_function: KL 散度退火函数，可选 'logistic' 或 'linear'。
• --word_dropout: 解码器输入的词丢弃率。

2. 推理与生成

训练完成后，使用 inference.py 进行句子采样或插值生成。

生成随机句子：

python3 inference.py -c ./checkpoints/model_checkpoint.pth -n 5

• -c: 指定训练好的模型检查点路径。
• -n: 指定生成句子的数量。

句子插值（Interpolation）： 该工具支持在两个潜在向量之间进行插值以生成过渡句子（具体用法参考源码逻辑，通常通过修改采样策略实现）。