深度文本校正器

深度文本校正器使用 TensorFlow 训练序列到序列模型，能够自动纠正会话式书面英语（例如短信）中的小语法错误。其方法是：选取已知基本语法正确的英语文本样本，在每句话中随机引入少量小语法错误（例如删除冠词），从而生成输入-输出对（输出为原始样本），再用这些对来训练序列到序列模型。

有关这项工作的更详细说明，请参阅这篇博客文章。

动机

尽管上下文感知的拼写检查系统能够自动纠正即时通讯、电子邮件和短信中的大量输入错误，但它们却无法纠正哪怕是简单的语法错误。例如，消息“I'm going to store”通常不会被自动纠错系统修改，而用户很可能原本想写的是“I'm going to the store”。这类简单的语法错误在所谓的“学习者英语”中十分常见，构建能够检测并纠正这些错误的系统一直是多个 CoNLL 共享任务 的研究主题。

本项目的目标是训练能够自动纠正此类错误的序列到序列模型。具体而言，这些模型被训练成能够将可能包含错误的输入序列映射为所有（小）语法错误均已修正的序列。有了这些模型，便可以构建工具来帮助纠正电子邮件、即时通讯等书面交流中的简单语法错误。

使用深度学习纠正语法错误

本项目的基本思路是：我们可以通过从语法正确的样本出发，人为引入小错误来生成用于语法纠正任务的大规模训练数据集，进而利用这些数据对序列到序列模型进行训练。以下将详细介绍如何构建这些数据集、如何使用它们训练模型，以及如何针对该任务生成预测结果。

数据集

为了创建深度文本校正器的数据集，我们首先选取大量基本语法正确的会话式书面英语样本。本项目主要使用的数据集是 康奈尔电影对话语料库，其中包含超过 30 万行电影剧本内容。这是我能找到的、大部分语法正确的最大规模会话式书面英语集合。

有了这样的文本样本后，下一步就是生成用于训练的输入-输出对。具体步骤如下：

1. 从数据集中随机抽取一句话。
2. 对该句子施加若干随机扰动，作为输入序列。
3. 将未受扰动的原句作为输出序列。

其中，步骤 (2) 中所施加的扰动旨在引入我们希望模型学会纠正的小型语法错误。截至目前，这些扰动主要包括：

• 删除冠词（a、an、the）
• 删除动词缩写形式中的第二部分（如“'ve”、“'ll”、“'s”、“'m”）
• 将少数常见同音异义词替换为其对应的另一个词（例如将“their”替换成“there”，或将“then”替换成“than”）

这些扰动的引入频率大致参考了 2014 年 CoNLL 语法错误纠正共享任务 中的相关数据。在本项目中，每种扰动仅在可能应用的情况下以 25% 的概率执行。

训练

为了在训练序列模型时人为扩充数据集，我们会多次重复上述采样策略，最终使输入-输出对的数量达到原始数量的 2 到 3 倍。有了扩充后的数据集，训练过程与 TensorFlow 的序列到序列教程 非常相似。也就是说，我们使用 LSTM 编码器和解码器，并结合 Bahdanau 等人，2014 年 提出的注意力机制，通过随机梯度下降法来训练序列到序列模型。

解码

与使用序列到序列模型中最可能的解码方法不同，本项目利用问题的独特结构，施加了一个先验约束：解码出的序列中的所有标记要么存在于输入序列中，要么属于一组“纠正”标记。
“纠正”标记集是在训练过程中构建的，包含了在训练集中至少一个样本的目标序列中出现、但源序列中未出现的所有标记。
其背后的直觉是，训练过程中观察到的错误主要涉及一些常见词汇（如“the”、“an”、“their”）的误用，因此模型应当只允许在此范围内进行纠正。

这一先验约束通过修改序列到序列模型的解码循环以及一个用于处理未登录词（OOV）的后处理步骤来实现：

有偏解码

为了限制解码过程仅从输入序列或纠正标记集中选择标记，本项目在提取预测结果并将其输入到下一个时间步之前，对模型的 logits 应用了一个二值掩码。
该掩码的构造方式为：mask[i] == 1.0 如果 i 在输入或纠正标记集中，否则为 0.0。
由于此掩码应用于 softmax 转换后的结果（保证所有输出均为非负值），我们可以确保始终只选择输入序列或纠正标记集中的标记。

需要注意的是，这一逻辑在训练过程中并不使用，因为那样会过滤掉模型可能有用的信号。

处理未登录词

由于上述解码偏置是在模型使用的截断词汇表内应用的，对于任何未登录词，输出中仍会出现未知标记。
更一般地解决这些未登录词的问题并非易事（例如参见 Addressing the Rare Word Problem in NMT），但在本项目中，我们同样可以利用其独特的结构，设计出一种相对简单的未登录词处理方案。
具体来说，如果我们假设输入序列中的未登录词顺序与输出序列中的未登录词顺序相同，则可以简单地将每个“未知”标记替换为相应的正确标记。
从经验上和直觉上看，这一假设是合理的，因为这些模型所训练应对的错误类型相对简单，通常不会涉及需要插入或删除罕见词汇的错误。

实验与结果

以下是使用深度文本纠正模型，并基于 康奈尔电影对话语料库 进行的一些实验的轶事性和汇总结果。
该数据集包含 304,713 行电影剧本，其中 243,768 行用于模型训练，验证集和测试集各包含 30,474 行。数据集的划分方式确保同一部电影的台词不会同时出现在训练集和测试集中。

下面评估的模型是一个带有注意力机制的序列到序列模型，编码器和解码器均为两层、每层 512 个隐藏单元的 LSTM。
模型使用了训练集中出现频率最高的 2,000 个单词作为词汇表进行训练。

汇总性能

以下报告了在测试数据集上，经过训练的模型与基线模型的 BLEU 分数和准确率。其中，基线模型为恒等函数（即假定输入中不存在任何错误）。

可以看出，就准确率而言，模型在所有分桶大小下均优于基线；而在 BLEU 分数方面，除一个分桶外，模型也优于基线。
这表明，将深度文本纠正模型应用于可能存在错误的文本时，平均而言会产生语法更加正确的文本。因此，那些经常犯与模型训练目标类似的错误的人，可以通过让他们的文本经过该模型来受益。

分桶 0: (10, 10)
        基线 BLEU = 0.8341
        模型 BLEU = 0.8516
        基线准确率：0.9083
        模型准确率：0.9384
分桶 1: (15, 15)
        基线 BLEU = 0.8850
        模型 BLEU = 0.8860
        基线准确率：0.8156
        模型准确率：0.8491
分桶 2: (20, 20)
        基线 BLEU = 0.8876
        模型 BLEU = 0.8880
        基线准确率：0.7291
        模型准确率：0.7817
分桶 3: (40, 40)
        基线 BLEU = 0.9099
        模型 BLEU = 0.9045
        基线准确率：0.6073
        模型准确率：0.6425

示例

解码一个缺少冠词的句子：

In [31]: decode("Kvothe went to market")
Out[31]: 'Kvothe went to the market'

解码一个混淆“then”和“than”的句子：

In [30]: decode("the Cardinals did better then the Cubs in the offseason")
Out[30]: 'the Cardinals did better than the Cubs in the offseason'

实现细节

本项目复用了 TensorFlow 的 Seq2SeqModel，并对其进行了轻微扩展。该模型本身实现了带有注意力机制的序列到序列模型，其原理参见 https://arxiv.org/pdf/1412.7449v3.pdf。
本项目的主要贡献包括：

• data_reader.py: 一个抽象类，定义了能够读取源数据集并生成输入-输出对的接口，其中输入是语法错误的源句变体，输出则是原始句子。
• text_corrector_data_readers.py: 包含几个 DataReader 的实现，分别针对 Penn Treebank 数据集 和 康奈尔电影对话语料库。
• text_corrector_models.py: 包含一个修改后的 Seq2SeqModel 版本，实现了 有偏解码 中描述的逻辑。
• correct_text.py: 一系列辅助函数，共同支持模型的训练以及在测试时对错误输入序列的解码。此处定义的 decode 方法实现了 处理未登录词的逻辑。此外，该文件还定义了一个主方法，可通过命令行调用。它主要基于 TensorFlow 的 translate.py 开发。
• TextCorrector.ipynb: 一个 IPython 笔记本，将上述所有组件整合在一起，以交互式的方式进行模型的训练和评估。

使用示例

注意：本项目要求 TensorFlow 版本 >= 0.11。请参阅此页面以获取安装说明。

预处理电影对话数据

python preprocessors/preprocess_movie_dialogs.py --raw_data movie_lines.txt \
                                                 --out_file preprocessed_movie_lines.txt

随后，您可以根据需要对预处理后的文件进行分割，以创建训练集、验证集和测试集。

训练：

python correct_text.py --train_path /movie_dialog_train.txt \
                       --val_path /movie_dialog_val.txt \
                       --config DefaultMovieDialogConfig \
                       --data_reader_type MovieDialogReader \
                       --model_path /movie_dialog_model

测试：

python correct_text.py --test_path /movie_dialog_test.txt \
                       --config DefaultMovieDialogConfig \
                       --data_reader_type MovieDialogReader \
                       --model_path /movie_dialog_model \
                       --decode

Deep Text Corrector 快速上手指南

Deep Text Corrector 是一个基于 TensorFlow 的序列到序列（Seq2Seq）模型，旨在自动纠正英语口语化文本（如短信、即时通讯消息）中的细微语法错误（例如冠词缺失、同音词混淆等）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • TensorFlow (版本 >= 0.11，建议使用较新的兼容版本)
  • NumPy
  • Jupyter Notebook (可选，用于交互式运行 TextCorrector.ipynb)

安装依赖：

pip install tensorflow numpy jupyter

提示：国内用户推荐使用清华源或阿里源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow numpy jupyter

安装步骤

该项目为开源代码库，无需通过包管理器安装，直接克隆源码即可。

1. 克隆仓库

   git clone https://github.com/atpaino/deep-text-corrector.git
   cd deep-text-corrector
   

2. 数据预处理（以电影对话数据集为例） 在使用模型前，需要先将原始文本数据转换为训练所需的输入 - 输出对。项目提供了针对 Cornell Movie-Dialogs Corpus 的预处理脚本。

   假设您已下载 movie_lines.txt，运行以下命令生成预处理文件：

   python preprocessors/preprocess_movie_dialogs.py --raw_data movie_lines.txt \
                                                    --out_file preprocessed_movie_lines.txt
   

   注：生成的 preprocessed_movie_lines.txt 可自行划分为训练集、验证集和测试集。

基本使用

1. 训练模型

使用预处理好的数据训练 Seq2Seq 模型。以下命令展示了如何指定训练路径、验证路径以及配置参数：

python correct_text.py --train_path /path/to/movie_dialog_train.txt \
                       --val_path /path/to/movie_dialog_val.txt \
                       --config DefaultMovieDialogConfig \
                       --data_reader_type MovieDialogReader \
                       --model_dir /path/to/save/model

• --train_path: 训练数据文件路径
• --val_path: 验证数据文件路径
• --config: 配置文件类名（默认使用 DefaultMovieDialogConfig）
• --data_reader_type: 数据读取器类型（此处使用 MovieDialogReader）
• --model_dir: 模型保存目录

2. 推理与纠错

训练完成后，您可以加载模型对含有语法错误的句子进行纠正。可以通过 Python 交互式环境或直接修改脚本调用 decode 方法。

Python 交互示例：

from correct_text import decode

# 示例 1: 纠正缺失的冠词
result_1 = decode("Kvothe went to market")
print(result_1)
# 输出: 'Kvothe went to the market'

# 示例 2: 纠正同音词混淆 (then -> than)
result_2 = decode("the Cardinals did better then the Cubs in the offseason")
print(result_2)
# 输出: 'the Cardinals did better than the Cubs in the offseason'

命令行交互模式： 您也可以直接运行主脚本进入交互模式（具体取决于 correct_text.py 的实现细节，通常支持直接输入句子）：

python correct_text.py --model_dir /path/to/save/model --interactive

3. 使用 Notebook 进行实验

项目包含一个完整的 Jupyter Notebook (TextCorrector.ipynb)，集成了数据加载、模型训练和评估流程，适合开发者进行交互式探索和调试：

jupyter notebook TextCorrector.ipynb