---

Transformer 模型擅长捕捉基于内容的全局交互，而 CNN 则能有效利用局部特征。Conformer 将卷积神经网络与 Transformer 结合起来，以参数高效的方式建模音频序列中的局部和全局依赖关系。Conformer 显著优于先前的基于 Transformer 和 CNN 的模型，达到了最先进的准确率。

本仓库仅包含模型代码，但您可以在 openspeech 上使用 Conformer 进行训练。

安装

本项目推荐使用 Python 3.7 或更高版本。 我们建议为该项目创建一个新的虚拟环境（使用 virtualenv 或 conda）。

先决条件

• Numpy: pip install numpy（如遇到安装问题，请参考 这里）。
• PyTorch: 请参考 PyTorch 官网，根据您的环境安装相应版本。

从源码安装

目前我们仅支持使用 setuptools 从源码进行安装。克隆源代码并运行以下命令：

pip install -e .

使用

import torch
import torch.nn as nn
from conformer import Conformer

batch_size, sequence_length, dim = 3, 12345, 80

cuda = torch.cuda.is_available()  
device = torch.device('cuda' if cuda else 'cpu')

criterion = nn.CTCLoss().to(device)

inputs = torch.rand(batch_size, sequence_length, dim).to(device)
input_lengths = torch.LongTensor([12345, 12300, 12000])
targets = torch.LongTensor([[1, 3, 3, 3, 3, 3, 4, 5, 6, 2],
                            [1, 3, 3, 3, 3, 3, 4, 5, 2, 0],
                            [1, 3, 3, 3, 3, 3, 4, 2, 0, 0]]).to(device)
target_lengths = torch.LongTensor([9, 8, 7])

model = Conformer(num_classes=10, 
                  input_dim=dim, 
                  encoder_dim=32, 
                  num_encoder_layers=3).to(device)

# 前向传播
outputs, output_lengths = model(inputs, input_lengths)

# 计算 CTC 损失
loss = criterion(outputs.transpose(0, 1), targets, output_lengths, target_lengths)

故障排除与贡献

如果您有任何问题、错误报告或功能请求，请在 GitHub 上 提交一个问题，或联系 sh951011@gmail.com。

我非常欢迎任何形式的反馈或贡献。您可以从小的改进开始，比如修复 bug 或完善文档。对于较大的贡献和新功能，请先在相应的议题中与合作者讨论。

代码风格

我遵循 PEP-8 的代码风格规范。尤其是 docstring 的格式对生成文档非常重要。

参考文献

• Conformer: 用于语音识别的卷积增强 Transformer
• Transformer-XL：超越固定长度上下文的注意力语言模型
• kimiyoung/transformer-xl
• espnet/espnet

作者

• Soohwan Kim @sooftware
• 联系方式：sh951011@gmail.com

Conformer 快速上手指南

Conformer 是一个基于 PyTorch 实现的语音识别模型，它结合了卷积神经网络（CNN）和 Transformer 的优势，能够同时高效地建模音频序列的局部特征和全局依赖关系。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.7 或更高版本
• 前置依赖：
  • NumPy：用于数值计算
  • PyTorch：深度学习框架（请根据您的 CUDA 版本安装对应的 PyTorch）

国内加速建议： 安装依赖时，建议使用清华或阿里镜像源以提升下载速度。

• 安装 NumPy: pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
• 安装 PyTorch: 请访问 PyTorch 官网 获取适合您环境的命令，或使用国内镜像站。

安装步骤

本项目目前支持通过源码使用 setuptools 进行安装。建议先在虚拟环境（virtualenv 或 conda）中操作。

1. 克隆项目源代码到本地。
2. 进入项目目录。
3. 执行以下命令进行安装：

pip install -e .

基本使用

以下是最简单的代码示例，展示如何初始化模型、构建输入数据并进行前向传播及损失计算。

import torch
import torch.nn as nn
from conformer import Conformer

# 定义输入维度
batch_size, sequence_length, dim = 3, 12345, 80

# 设置设备 (GPU 或 CPU)
cuda = torch.cuda.is_available()  
device = torch.device('cuda' if cuda else 'cpu')

# 初始化 CTC Loss
criterion = nn.CTCLoss().to(device)

# 构造随机输入数据
inputs = torch.rand(batch_size, sequence_length, dim).to(device)
input_lengths = torch.LongTensor([12345, 12300, 12000])

# 构造目标标签数据
targets = torch.LongTensor([[1, 3, 3, 3, 3, 3, 4, 5, 6, 2],
                            [1, 3, 3, 3, 3, 3, 4, 5, 2, 0],
                            [1, 3, 3, 3, 3, 3, 4, 2, 0, 0]]).to(device)
target_lengths = torch.LongTensor([9, 8, 7])

# 初始化 Conformer 模型
model = Conformer(num_classes=10, 
                  input_dim=dim, 
                  encoder_dim=32, 
                  num_encoder_layers=3).to(device)

# 前向传播
outputs, output_lengths = model(inputs, input_lengths)

# 计算 CTC Loss
loss = criterion(outputs.transpose(0, 1), targets, output_lengths, target_lengths)

注意：此仓库仅包含模型代码。如果您需要进行完整的模型训练，请参考 openspeech 项目。