中文版

warp-ctc

一种在 CPU 和 GPU 上实现的快速并行 CTC 算法。

引言

连接时序分类 是一种损失函数，适用于对序列数据进行监督学习，而无需输入数据与标签之间的对齐。例如，CTC 可以用于训练用于语音识别的端到端系统，这也是我们在百度硅谷 AI 实验室一直以来使用的方式。

上图展示了 CTC 如何计算输出序列“THE CAT”的概率，它是所有可能映射到“THE CAT”的输入序列对齐方式的概率之和。需要注意的是，由于标签可能会在输入数据的多个时间步上重复出现（如图中底部的语谱图所示），因此标签可能会被拉伸。如果显式地计算所有这些概率之和，由于组合数学的原因，计算成本将非常高昂。然而，CTC 使用动态规划技术显著降低了计算复杂度。由于 CTC 是一个可微分函数，因此它可以在深度神经网络的标准 SGD 训练过程中使用。

在我们的实验室中，我们专注于扩展循环神经网络，而 CTC 损失是其中的重要组成部分。为了提高系统的效率，我们对 CTC 算法进行了并行化，具体方法见这篇论文。该项目包含了我们高性能的 CPU 和 CUDA 版本的 CTC 损失函数，以及针对 Torch 的绑定。该库提供了一个简单的 C 接口，便于集成到深度学习框架中。

这种实现不仅提升了训练的可扩展性，还超越了单纯通过更快的并行 CTC 实现所带来的性能提升。对于以 GPU 为中心的训练流程，能够将所有数据保留在 GPU 内存中，使我们能够将互联带宽用于增加数据并行度。

性能

与许多其他公开可用的实现相比，我们的 CTC 实现非常高效。同时，我们也尽可能地提高了数值稳定性。该算法对数值敏感，我们甚至在使用双精度进行标准计算时也观察到了灾难性的下溢现象——两个数量级约为 1e-324 的数相除，本应得到约 1 的结果，但由于分母下溢为 0，最终结果却变成了无穷大。相反，通过在对数空间中进行计算，即使在单精度浮点下也能保持数值稳定性，尽管这会带来更高的计算开销。加法操作不再是一条机器指令，而是需要评估多个超越函数。因此，只有当不同实现采用相同的方式进行计算时，才能公平地比较它们的速度。

我们将我们的性能与 Eesen、基于 Theano 构建的 CTC 实现，以及仅支持 CPU 的 Cython 实现 Stanford-CTC 进行对比。为了与其它实现保持一致，我们对 Theano 实现进行了基准测试，使其在 32 位浮点数上运行，并在对数空间中进行计算。Stanford-CTC 原本不支持对数空间计算，因此我们也对其进行了修改以支持这一功能。此外，Stanford-CTC 不支持大于 1 的小批量，因此在实际训练流程中使用时需要特殊的内存布局，我们假设其计算成本随小批量大小线性增加。

我们展示了两种问题规模的结果，分别对应于我们的英语和普通话端到端模型。其中 T 表示 CTC 输入的时间步数，L 表示每个样本的标签长度，A 表示词汇表大小。

在 GPU 上，当小批量大小为 64 时，我们的性能比 Eesen 快 7 到 155 倍，比 Theano 实现快 46 到 68 倍。

GPU 性能

在单个 NVIDIA Titan X GPU 上进行基准测试。

T=150, L=40, A=28	warp-ctc	Eesen	Theano
N=1	3.1 ms	.5 ms	67 ms
N=16	3.2 ms	6 ms	94 ms
N=32	3.2 ms	12 ms	119 ms
N=64	3.3 ms	24 ms	153 ms
N=128	3.5 ms	49 ms	231 ms

T=150, L=20, A=5000	warp-ctc	Eesen	Theano
N=1	7 ms	40 ms	120 ms
N=16	9 ms	619 ms	385 ms
N=32	11 ms	1238 ms	665 ms
N=64	16 ms	2475 ms	1100 ms
N=128	23 ms	4950 ms	2100 ms

CPU 性能

在一台配备两颗 Intel E5-2660 v3 处理器的双路服务器上进行基准测试。warp-ctc 使用 40 个线程以充分利用 CPU 资源。Eesen 没有提供 CPU 实现。我们注意到 Theano 实现并未在多线程之间并行化计算。而 Stanford-CTC 则完全不支持多线程并行化。

T=150, L=40, A=28	warp-ctc	Stanford-CTC	Theano
N=1	2.6 ms	13 ms	15 ms
N=16	3.4 ms	208 ms	180 ms
N=32	3.9 ms	416 ms	375 ms
N=64	6.6 ms	832 ms	700 ms
N=128	12.2 ms	1684 ms	1340 ms

T=150, L=20, A=5000	warp-ctc	Stanford-CTC	Theano
N=1	21 ms	31 ms	850 ms
N=16	37 ms	496 ms	10800 ms
N=32	54 ms	992 ms	22000 ms
N=64	101 ms	1984 ms	42000 ms
N=128	184 ms	3968 ms	86000 ms

接口

接口定义在 include/ctc.h 中。它支持 CPU 或 GPU 上的执行；在 CPU 上运行时可以指定 OpenMP 并行度，在 GPU 上运行时则可以指定 CUDA 流。我们特别注意确保该库内部不进行内存分配，以避免因内存分配带来的同步和开销。

编译

warp-ctc 已在 Ubuntu 14.04 和 OSX 10.10 上测试通过。目前暂不支持 Windows。

首先获取代码：

git clone https://github.com/baidu-research/warp-ctc.git
cd warp-ctc

创建一个构建目录：

mkdir build
cd build

如果您的 CUDA 安装路径非标准，请设置环境变量 export CUDA_BIN_PATH=/path_to_cuda，以便 CMake 能够正确检测到 CUDA。同时，请确保 th 命令位于 $PATH 中，以保证 Torch 能被正确识别。

接下来运行 CMake 并编译：

cmake ../
make

此时应会生成 C 库和 Torch 共享库，以及相应的测试可执行文件。如果检测到了 CUDA，则会构建 test_gpu；而 test_cpu 则始终会被构建。

测试

运行测试时，请确保 CUDA 库位于 LD_LIBRARY_PATH（对于 OSX 为 DYLD_LIBRARY_PATH）中。

Torch 相关的测试必须从 torch_binding/tests/ 目录下运行。

Torch 安装

luarocks make torch_binding/rocks/warp-ctc-scm-1.rockspec

您也可以无需克隆仓库直接安装，命令如下：

luarocks install http://raw.githubusercontent.com/baidu-research/warp-ctc/master/torch_binding/rocks/warp-ctc-scm-1.rockspec

此外，还提供了一个 Torch CTC 的教程。

贡献

我们欢迎社区的改进与贡献，请随时提交 Pull Request。

已知问题 / 限制

CUDA 实现要求设备的计算能力至少为 3.0。

CUDA 实现支持的最大标签长度为 639（时间步数无限制）。

warp-ctc 快速上手指南

warp-ctc 是百度研究院开源的高性能 CTC（Connectionist Temporal Classification）损失函数实现，支持 CPU 和 GPU 并行计算。它专为端到端语音识别等序列学习任务设计，具有极高的数值稳定性和训练扩展性。

环境准备

系统要求

• 操作系统：Ubuntu 14.04+ 或 macOS 10.10+（暂不支持 Windows）
• GPU 要求（如需 GPU 加速）：NVIDIA GPU，计算能力（Compute Capability）至少为 3.0
• 编译器：支持 C++11 的编译器（如 GCC）

前置依赖

• CMake：用于构建项目
• CUDA Toolkit（可选）：如需编译 GPU 版本，需安装 CUDA 并配置环境变量
• Torch（可选）：如需使用 Lua/Torch 绑定，需安装 Torch 框架并确保 th 命令在 $PATH 中
• OpenMP：CPU 版本利用 OpenMP 进行多线程并行（通常随编译器自带）

提示：若 CUDA 安装在非标准路径，请设置环境变量：

export CUDA_BIN_PATH=/path_to_cuda

安装步骤

1. 获取源码

git clone https://github.com/baidu-research/warp-ctc.git
cd warp-ctc

2. 创建构建目录

mkdir build
cd build

3. 配置与编译

确保 th（如果使用 Torch）在环境变量中，然后运行 CMake 和 Make：

cmake ../
make

编译完成后，build 目录下将生成：

• libwarpctc.so (或 .dylib)：C 动态链接库
• test_cpu：CPU 测试程序
• test_gpu：若检测到 CUDA，将生成 GPU 测试程序

4. 安装 Torch 绑定（可选）

如果您使用 Torch 框架，可以通过 luarocks 安装绑定：

方式一：本地安装

luarocks make torch_binding/rocks/warp-ctc-scm-1.rockspec

方式二：远程安装（无需克隆仓库）

luarocks install http://raw.githubusercontent.com/baidu-research/warp-ctc/master/torch_binding/rocks/warp-ctc-scm-1.rockspec

基本使用

warp-ctc 提供了简洁的 C 接口（见 include/ctc.h），可轻松集成到深度学习框架中。库内部不进行内存分配，以避免同步开销，调用前需自行管理输入输出内存。

C/C++ 使用示例逻辑

虽然具体代码取决于您的框架集成，但核心调用流程如下：

1. 引入头文件

   #include "ctc.h"
   

2. 准备数据

   • activations: 神经网络输出的概率分布（形状：[num_times, num_classes * minibatch_size]）
   • labels: 真实标签序列（扁平化存储）
   • label_lengths: 每个样本的标签长度
   • input_lengths: 每个样本的时间步长度

3. 计算损失与梯度

   // 初始化工作空间大小
   size_t workspace_size;
   compute_ctc_loss_workspace_size(..., &workspace_size);
   
   // 分配显存/内存作为 workspace
   void* workspace = malloc(workspace_size); 
   
   // 执行损失计算
   float loss;
   compute_ctc_loss(activations, gradients, labels, label_lengths, 
                    input_lengths, alphabet_size, minibatch_size, 
                    workspace, &loss, stream);
   

   注：stream 参数在 CPU 模式下可设为 NULL 或用于指定 OpenMP 线程，在 GPU 模式下传入 CUDA Stream。

Torch 使用示例

安装绑定后，可在 Lua 脚本中直接调用：

local ctc = require 'warp_ctc'

-- 定义 CTC 模块
local criterion = ctc.CTC()

-- 前向传播计算损失
-- input: [T, N, A] (Time, Batch, Alphabet)
-- target: 标签张量
local loss = criterion:forward(input, target)

-- 反向传播计算梯度
local gradInput = criterion:backward(input, target)

详细用法请参考官方教程：torch_binding/TUTORIAL.md。

注意：运行测试或程序时，请确保动态库路径已加入环境变量：

• Linux: export LD_LIBRARY_PATH=/path/to/warp-ctc/build:$LD_LIBRARY_PATH
• macOS: export DYLD_LIBRARY_PATH=/path/to/warp-ctc/build:$DYLD_LIBRARY_PATH