演示 and 演示 2

Punctuator

一个带有注意力机制（Attention Mechanism）的双向循环神经网络（Bidirectional Recurrent Neural Network）模型，用于恢复未分词（Unsegmented Text）文本中缺失的词间标点。

该模型可以分两个阶段进行训练（第二阶段可选）：

1. 第一阶段在带标点标注的文本上进行训练。在此阶段，模型仅基于文本特征学习恢复标点。
2. 可选的第二阶段可以在带标点和停顿（Pause）标注的文本上进行训练。在此阶段，模型学习结合停顿时长与文本特征，并适应目标领域。如果省略停顿，则仅执行适应。带有停顿时长的第二阶段可用于例如自动语音识别（Automatic Speech Recognition）系统输出的标点恢复。

效果如何？

• 此处可见运行中的演示：http://bark.phon.ioc.ee/punctuator
• 您可以尝试在此处与该模型竞争：http://bark.phon.ioc.ee/punctuator/game

请记住，下面给出的所有分数都是针对_unsegmented_（未分词）文本的，我们没有使用韵律（Prosodic）特征，因此，除其他外，模型必须完全基于文本特征检测句子边界以及边界类型（?QUESTIONMARK, .PERIOD 或 !EXCLAMATIONMARK）。分数是在测试集上计算的。

使用默认设置、优化的 Theano 安装和现代 GPU，训练速度应约为每秒 10000 个单词。

预训练模型可在此下载 here（演示版 + Interspeech 论文中的 2 个模型）。

英文 TED 演讲

训练集大小：210 万单词。仅第一阶段。更多详情见 这篇论文。 作为对比，我们的 先前模型 获得了 50.8 的整体 F1 分数。

标点	精确率	召回率	F 分数
,COMMA	64.4	45.2	53.1
?QUESTIONMARK	67.5	58.7	62.8
.PERIOD	72.3	71.5	71.9
总计	68.9	58.1	63.1

英文 Europarl v7

训练集大小：4000 万单词。仅第一阶段。详情见 ./example。

您可以尝试在此处与该模型竞争 here。

标点	精确率	召回率	F 分数
?QUESTIONMARK	77.7	73.2	75.4
!EXCLAMATIONMARK	50.0	0.1	0.1
,COMMA	68.9	72.0	70.4
-DASH	55.9	8.8	15.2
:COLON	60.9	23.8	34.2
;SEMICOLON	44.7	1.1	2.2
.PERIOD	84.7	84.1	84.4
总计	75.7	73.9	74.8

环境要求

• Python 2.7
• Numpy
• Theano

数据要求：

• 用于第一阶段模型训练和验证的清理后的文本文件。每个标点符号标记必须用空格包围。

  示例： to be ,COMMA or not to be ,COMMA that is the question .PERIOD

• (可选) 用于第二阶段模型训练和验证的停顿标注文本文件。这些文件的清理方式应与第一阶段数据相同。以秒为单位的停顿时长应在每个单词后使用特殊标签 <sil=0.200> 标记。如果有标点符号，必须在停顿标签之后。

  示例： to <sil=0.000> be <sil=0.100> ,COMMA or <sil=0.000> not <sil=0.000> to <sil=0.000> be <sil=0.150> ,COMMA that <sil=0.000> is <sil=0.000> the <sil=0.000> question <sil=1.000> .PERIOD

  第二阶段数据也可以没有停顿标注，仅用于目标领域适应。

请确保句子的首单词不要有大写首字母。这会给模型关于句号位置的不公平提示。此外，你用于训练和验证的文本文件必须足够大（至少 minibatch_size x sequence_length 个单词，默认设置下为 128x50=6400 个单词），否则可能会出错。

配置

词汇表大小、标点标记及其映射，以及转换数据的位置可以在 data.py 的头部进行配置。 一些模型超参数（Hyperparameters）可以在 main.py 和 main2.py 的头部进行配置。学习率（Learning Rate）和隐藏层大小（Hidden Layer Size）可以作为参数传递。

使用方法

第一步是数据转换。假设预处理和清理后的 *.train.txt, *.dev.txt 和 *.test.txt 文件位于 <data_dir> 中，可以使用以下命令启动转换：

python data.py <data_dir>

如果你也有第二阶段数据，那么：

python data.py <data_dir> <second_stage_data_dir>

第一阶段可以通过以下方式训练：

python main.py <model_name> <hidden_layer_size> <learning_rate>

例如 python main.py <model_name> 256 0.02 效果良好。

第二阶段可以通过以下方式训练：

python main2.py <model_name> <hidden_layer_size> <learning_rate> <first_stage_model_path>

预处理文本可以通过以下方式添加标点，例如：

cat data.dev.txt | python punctuator.py <model_path> <model_output_path>

或者，如果 data.dev.txt 中存在停顿标注且你有一个在停顿标注数据上训练的第二阶段模型，那么：

cat data.dev.txt | python punctuator.py <model_path> <model_output_path> 1

data.dev.txt 中的标点标记不需要移除 - punctuator.py 脚本会忽略它们。

此示例中的错误统计信息可以通过以下方式计算：

python error_calculator.py data.dev.txt <model_output_path>

你可以使用以下方式玩弄训练好的模型（假设输入文本的预处理方式与训练数据类似）：

python play_with_model.py <model_path>

或者使用：

python play_with_model.py <model_path> 1

如果你想查看模型将哪些词视为 UNKs（未知词，Out-of-Vocabulary）。

引用

该软件描述于：

@inproceedings{tilk2016,
  author    = {Ottokar Tilk and Tanel Alum{\"a}e},
  title     = {Bidirectional Recurrent Neural Network with Attention Mechanism for Punctuation Restoration},
  booktitle = {Interspeech 2016},
  year      = {2016}
}

我们在论文中使用了 release v1.0。

替代方案

• Punctuator 使用 TensorFlow（深度学习框架）重新实现：https://github.com/cadia-lvl/punctuation-prediction/tree/master/punctuator2tf2
• 此仓库的一个分支，使用了额外的韵律特征：https://github.com/alpoktem/punkProse
• 卷积神经网络（CNN），准确率略低但速度快得多（50 倍）：https://github.com/vackosar/keras-punctuator（更多详情见此处：https://github.com/ottokart/punctuator2/issues/14）
• 一个通用的序列标注模型：https://github.com/marekrei/sequence-labeler，经过少量修改即可用于标点恢复（示例见此处：https://github.com/ottokart/sequence-labeler）。Punctuator2 可能也可用于其他序列标注问题。
• 我们之前使用单向 LSTM（长短期记忆网络）的方法（准确率较低，但如果你不想使用 Theano（深度学习库）则很有用）：https://github.com/ottokart/punctuator

punctuator2 快速上手指南

punctuator2 是一个基于双向循环神经网络（RNN）和注意力机制的开源工具，用于在未分词文本中恢复缺失的标点符号。支持纯文本训练及结合停顿时长进行自适应训练。

1. 环境准备

本工具对运行环境有特定要求，请确保满足以下条件：

• 操作系统: Linux / macOS / Windows
• Python 版本: Python 2.7 (重要：不支持 Python 3)
• 核心依赖:
  • Numpy
  • Theano
• 数据格式要求:
  • 训练/验证文本需清理过，每个标点符号 Token 前后必须有空格。
  • 示例：to be ,COMMA or not to be ,COMMA that is the question .PERIOD
  • 若使用第二阶段模型，需在单词后标记停顿时间，如 <sil=0.200>。

2. 安装步骤

2.1 获取代码

git clone https://github.com/ottokart/punctuator2.git
cd punctuator2

2.2 安装依赖

建议使用国内镜像源加速安装过程：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy theano

2.3 下载预训练模型（可选）

如需直接使用，可从 Google Drive 下载预训练模型： 下载地址 将下载的文件放入项目根目录或指定路径。

3. 基本使用

3.1 数据转换

在训练前，需将原始文本转换为模型可识别的格式。假设预处理后的文件位于 <data_dir>：

python data.py <data_dir>

若有第二阶段数据（含停顿标注），则：

python data.py <data_dir> <second_stage_data_dir>

3.2 模型训练（可选）

第一阶段训练（仅基于文本特征）：

python main.py <model_name> <hidden_layer_size> <learning_rate>
# 示例：python main.py my_model 256 0.02

第二阶段训练（结合停顿时长，可选）：

python main2.py <model_name> <hidden_layer_size> <learning_rate> <first_stage_model_path>

3.3 标点恢复（推理）

使用训练好的模型对文本进行标点预测。假设输入文件为 data.dev.txt，模型路径为 <model_path>：

基础模式：

cat data.dev.txt | python punctuator.py <model_path> <model_output_path>

带停顿标注模式（需使用第二阶段模型且输入包含停顿标签）：

cat data.dev.txt | python punctuator.py <model_path> <model_output_path> 1

注：输入文件中的原有标点 Token 无需移除，脚本会自动忽略。

3.4 交互式测试

可直接加载模型进行本地交互测试：

python play_with_model.py <model_path>