注意：FasterTransformer 的开发已迁移至 TensorRT-LLM。我们鼓励所有开发者使用 TensorRT-LLM 来获得 LLM 推理方面的最新改进。NVIDIA/FasterTransformer 仓库将继续保留，但将不再进行进一步开发。

FasterTransformer

本仓库提供用于运行高度优化的基于 Transformer 的编码器和解码器组件的脚本和配方，并由 NVIDIA 进行测试和维护。

目录

• FasterTransformer
  • 目录
  • 模型概述
    • 支持矩阵
  • 高级用法
    • 全局环境配置
  • 性能
    • BERT base 性能
      • FasterTransformer 新特性下的 BERT base 性能
      • TensorFlow 上的 BERT base 性能
      • PyTorch 上的 BERT base 性能
    • 解码与解码器性能
      • TensorFlow 上的解码器及端到端翻译性能
      • PyTorch 上的解码器及端到端翻译性能
    • GPT 性能
  • 发布说明
    • 变更日志
    • 已知问题

模型概述

在自然语言处理领域，编码器和解码器是两个重要的组成部分，而 Transformer 层已成为这两种组件中非常流行的一种架构。FasterTransformer 为推理任务实现了高度优化的 Transformer 编码器和解码器层。在 Volta、Turing 和 Ampere 架构的 GPU 上，当数据和权重的精度为 FP16 时，Tensor Core 的计算能力会自动被利用。

FasterTransformer 基于 CUDA、cuBLAS、cuBLASLt 和 C++ 构建。我们提供了至少一种以下框架的 API：TensorFlow、PyTorch 和 Triton 后端。用户可以直接将 FasterTransformer 集成到这些框架中。对于支持的框架，我们还提供了示例代码来演示如何使用，并展示其在这些框架上的性能。

支持矩阵

模型	框架	FP16	INT8（Turing之后）	稀疏化（Ampere之后）	张量并行	流水线并行	FP8（Hopper之后）
BERT	TensorFlow	是	是	-	-	-	-
BERT	PyTorch	是	是	是	是	是	-
BERT	Triton后端	是	-	-	是	是	-
BERT	C++	是	是	-	-	-	是
XLNet	C++	是	-	-	-	-	-
Encoder	TensorFlow	是	是	-	-	-	-
Encoder	PyTorch	是	是	是	-	-	-
Decoder	TensorFlow	是	-	-	-	-	-
Decoder	PyTorch	是	-	-	-	-	-
Decoding	TensorFlow	是	-	-	-	-	-
Decoding	PyTorch	是	-	-	-	-	-
GPT	TensorFlow	是	-	-	-	-	-
GPT/OPT	PyTorch	是	-	-	是	是	是
GPT/OPT	Triton后端	是	-	-	是	是	-
GPT-MoE	PyTorch	是	-	-	是	是	-
BLOOM	PyTorch	是	-	-	是	是	-
BLOOM	Triton后端	是	-	-	是	是	-
GPT-J	Triton后端	是	-	-	是	是	-
Longformer	PyTorch	是	-	-	-	-	-
T5/UL2	PyTorch	是	-	-	是	是	-
T5	TensorFlow 2	是	-	-	-	-	-
T5/UL2	Triton后端	是	-	-	是	是	-
T5	TensorRT	是	-	-	是	是	-
T5-MoE	PyTorch	是	-	-	是	是	-
Swin Transformer	PyTorch	是	是	-	-	-	-
Swin Transformer	TensorRT	是	是	-	-	-	-
ViT	PyTorch	是	是	-	-	-	-
ViT	TensorRT	是	是	-	-	-	-
GPT-NeoX	PyTorch	是	-	-	是	是	-
GPT-NeoX	Triton后端	是	-	-	是	是	-
BART/mBART	PyTorch	是	-	-	是	是	-
WeNet	C++	是	-	-	-	-	-
DeBERTa	TensorFlow 2	是	-	-	进行中	进行中	-
DeBERTa	PyTorch	是	-	-	进行中	进行中	-

• 注意：FasterTransformer 在 C++ 上支持上述模型，因为所有源代码都是基于 C++ 构建的。

有关具体模型的更多详细信息，请参阅 docs/ 中的 xxx_guide.md 文件，其中 xxx 表示模型名称。一些常见问题及其解答已收录在 docs/QAList.md 中。请注意，Encoder 和 BERT 的模型较为相似，因此我们将相关说明合并到了 bert_guide.md 中。

高级

以下代码列出了 FasterTransformer 的目录结构：

/src/fastertransformer: FasterTransformer 的源代码
    |--/cutlass_extensions: Cutlass GEMM/内核的实现。
    |--/kernels: 用于不同模型/层和操作的 CUDA 内核，例如 addBiasResiual。
    |--/layers: 层模块的实现，如注意力层、FFN 层。
    |--/models: 不同模型的实现，如 BERT、GPT。
    |--/tensorrt_plugin: 将 FasterTransformer 封装为 TensorRT 插件。
    |--/tf_op: 自定义 TensorFlow OP 实现
    |--/th_op: 自定义 PyTorch OP 实现
    |--/triton_backend: 自定义 Triton 后端实现
    |--/utils: 包含常用的 CUDA 工具，如 cublasMMWrapper、memory_utils
/examples: C++、TensorFlow 和 PyTorch 接口示例
    |--/cpp: C++ 接口示例
    |--/pytorch: PyTorch OP 示例
    |--/tensorflow: TensorFlow OP 示例
    |--/tensorrt: TensorRT 示例
/docs: 解释不同模型实现细节并展示基准测试结果的文档
/benchmark: 包含运行不同模型基准测试的脚本
/tests: 单元测试
/templates: 解释如何将新模型/示例添加到 FasterTransformer 仓库的文档

请注意，许多文件夹包含多个子文件夹，用于划分不同的模型。量化工具已移至 examples 目录下，例如 examples/tensorflow/bert/bert-quantization/ 和 examples/pytorch/bert/bert-quantization-sparsity/。

全局环境

FasterTransformer 提供了一些方便的环境变量，用于调试和测试。

1. FT_LOG_LEVEL: 此环境变量控制调试消息的日志级别。更多详细信息请参阅 src/fastertransformer/utils/logger.h。请注意，当日志级别低于 DEBUG 时，程序会打印大量信息，从而导致程序运行速度显著变慢。
2. FT_NVTX: 如果将其设置为 ON，例如 FT_NVTX=ON ./bin/gpt_example，程序将插入 nvtx 标签，以帮助对程序进行性能分析。
3. FT_DEBUG_LEVEL: 如果将其设置为 DEBUG，则程序将在每个内核执行后调用 cudaDeviceSynchronize()。否则，默认情况下内核是异步执行的。这有助于在调试过程中定位错误点。但此标志会显著影响程序性能，因此应仅在调试时使用。

性能

硬件配置：

• 8xA100-80GB（mclk 1593MHz，pclk 1410MHz），搭配 AMD EPYC 7742 64 核处理器
• T4（mclk 5000MHz，pclk 1590MHz），搭配 Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz

为了运行以下基准测试，我们需要安装 Unix 计算工具 "bc"，命令如下：

apt-get install bc

BERT 基础性能

TensorFlow 的 FP16 结果通过运行 benchmarks/bert/tf_benchmark.sh 获得。

TensorFlow 的 INT8 结果通过运行 benchmarks/bert/tf_int8_benchmark.sh 获得。

PyTorch 的 FP16 结果通过运行 benchmarks/bert/pyt_benchmark.sh 获得。

PyTorch 的 INT8 结果通过运行 benchmarks/bert/pyt_int8_benchmark.sh 获得。

更多基准测试结果请参阅 docs/bert_guide.md。

FasterTransformer 新功能的 BERT 基础性能

下图比较了 T4 上 FP16 条件下，FasterTransformer 不同功能与原版 FasterTransformer 的性能。

对于较大的批次大小和序列长度，EFF-FT 和 FT-INT8-v2 都带来了约 2 倍的加速。同时使用 Effective FasterTransformer 和 int8v2 可以使大型任务的加速比达到原版 FasterTransformer FP16 的 3.5 倍。

BERT 基础性能（TensorFlow）

下图比较了 T4 上 FP16 条件下，FasterTransformer 不同功能与 TensorFlow XLA 的性能。

对于较小的批次大小和序列长度，使用 FasterTransformer 可以带来约 3 倍的加速。

对于较大的批次大小和序列长度，使用 Effective FasterTransformer 并结合 INT8-v2 量化技术，可以带来约 5 倍的加速。

BERT 基础性能（PyTorch）

下图比较了 T4 上 FP16 条件下，FasterTransformer 不同功能与 PyTorch TorchScript 的性能。

对于较小的批次大小和序列长度，使用 FasterTransformer CustomExt 可以带来约 4 到 6 倍的加速。

对于较大的批次大小和序列长度，使用 Effective FasterTransformer 并结合 INT8-v2 量化技术，可以带来约 5 倍的加速。

解码与解码器性能

TensorFlow 的结果通过运行 benchmarks/decoding/tf_decoding_beamsearch_benchmark.sh 和 benchmarks/decoding/tf_decoding_sampling_benchmark.sh 获得。

PyTorch 的结果通过运行 benchmarks/decoding/pyt_decoding_beamsearch_benchmark.sh 获得。

在解码实验中，我们更新了以下参数：

• head_num = 8
• size_per_head = 64
• num_layers = 6 对于编码器和解码器
• vocabulary_size = 32001 对于 TensorFlow 示例代码，31538 对于 PyTorch 示例代码
• memory_hidden_dim = 512
• max sequence length = 128

更多基准测试结果请参阅 docs/decoder_guide.md。

解码器及解码端到端翻译性能（TensorFlow）

下图展示了在 T4 上 FP16 条件下，FT-Decoder op 和 FT-Decoding op 相较于 TensorFlow 的加速效果。这里我们使用翻译测试集的吞吐量来避免不同方法的总 token 数可能不同。相比 TensorFlow，FT-Decoder 提供了 1.5 到 3 倍的加速；而 FT-Decoding 则提供了 4 到 18 倍的加速。

解码器及解码端到端翻译性能（PyTorch）

下图展示了在 T4 上 FP16 条件下，FT-Decoder op 和 FT-Decoding op 相较于 PyTorch 的加速效果。这里我们使用翻译测试集的吞吐量来避免不同方法的总 token 数可能不同。相比 PyTorch，FT-Decoder 提供了 1.2 到 3 倍的加速；而 FT-Decoding 则提供了 3.8 到 13 倍的加速。

GPT 性能

下图比较了 A100 上 FP16 条件下，Megatron 和 FasterTransformer 的性能。

在解码实验中，我们更新了以下参数：

• head_num = 96
• size_per_head = 128
• num_layers = 48 对于 GPT-89B 模型，96 对于 GPT-175B 模型
• data_type = FP16
• vocab_size = 51200
• top_p = 0.9
• tensor parallel size = 8
• input sequence length = 512
• output sequence length = 32

发行说明

更改日志

2023年5月

• 修复生成过程中的提前停止相关 bug

2023年1月

• 支持 GPT MoE 模型
• 支持 Bert 和 GPT 的 FP8 精度（实验性功能）
• 支持在 TensorFlow 2 和 PyTorch 上运行 DeBERTa 模型

2022年12月

• 发布 FasterTransformer 5.2 版本
• 支持最小长度惩罚机制

2022年11月

• 支持 T5 Tensorflow 2 自定义算子
• 支持 T5 MoE 模型
• 支持 WeNet 模型
• 支持 BART 和 mBART 模型
• 支持 SwinV2 模型
• 初步支持 GPT 模型的 w8a8 int8 运行模式（预览版）
• 支持 GPT 中的融合多头注意力机制

2022年10月

• 支持 BLOOM 模型

2022年9月

• 在 GPT 模型中支持事实采样（链接）
• 支持 T5 模型中的 IA3 适配方案

2022年8月

• 支持在 GPT 模型中返回上下文 token 的嵌入表示
• 发布 FasterTransformer 5.1 版本
• 支持交互式生成
• 支持注意力机制的有限内存功能
• 支持 mt5 和 t5-v1.1 模型

2022年7月

• 支持 UL2 Hugging Face 检查点（链接）
  • 修复 T5 模型在 bfloat16 精度下的 bug
• 添加 ViT INT8 TensorRT 插件
• 支持批量采样
• 支持 GPT 模型中的共享上下文优化

2022年6月

• 支持 Triton 后端的流式生成
• 支持 OPT 模型
• 支持在 FP32、FP16 和 BF16 精度下进行多节点多 GPU 的 BERT 推理

2022年5月

• 支持大多数模型使用 bfloat16 精度
• 支持 GPT-J 模型的 前缀提示
• 支持 GPT-NeoX 模型
  • 层归一化中使用的 epsilon 值现为可配置参数
  • 引入 GPT-NeoX 风格的旋转位置编码（此前仅实现 GPT-J）
  • 支持按 GPU 加载层归一化和偏置参数
  • 支持从 EleutherAI 检查点转换权重

2022年4月

• 发布 FasterTransformer 5.0 版本
  • 将所有矩阵乘法运算的默认累加类型更改为 FP32
  • 支持 GPT 模型中的 bfloat16 推理
  • 支持 Nemo Megatron T5 和 Megatron-LM T5 模型
  • 支持 ViT 模型

2022年3月

• 支持 GPT-J 模型中的 stop_ids 和 ban_bad_ids
• 支持 GPT-J、GPT 和 T5 模型中动态设置 start_id 和 end_id
• 支持解码过程中动态调整输入

2022年2月

• 支持 Swin Transformer 模型
• 通过定向缓冲优化束搜索的 k/v 缓存更新
• 支持 GPT-J、T5 和 GPT 模型的运行时输入
• 支持 GPT 和 GPT-J 模型中的软提示
• 支持自定义 AllReduce 核心
  • 限制：
    1. 仅支持 DGX-A100 上的张量并行规模为 8
    2. 仅支持使用 cudaMallocAsync 的 CUDA 版本

2021年12月

• 添加 T5 模型的 TensorRT 插件
• 将 GPT 模型的部分超参数改为运行时可查询
• 优化 C++ 代码中的内存分配器
• 修复 CUB 库的 bug，包括在使用 CUDA 11.5 或更高版本时的问题

2021年11月

• 更新 FasterTransformer 5.0 测试版
• 添加 GPT-3 INT8 权重量化支持，适用于批大小不超过 2 的场景
• 支持 T5 模型的多节点多 GPU 推理
• 增强 GPT-3 模型的多节点多 GPU 支持能力

2021年8月

• 发布 FasterTransformer 5.0 测试版
  • 重构代码库和代码结构
  • 特别感谢 NAVER 公司对本版本的大量贡献，具体如下：
    • Bug 修复：
      • 修复 GPT PyTorch 封装中 batch_size 小于 max_batch_size 时出现的错误
      • 修复因重复使用内存分配器导致的每次前向传播时的内存泄漏问题
      • 修复重复惩罚核函数中的竞态条件
    • 功能增强：
      • 添加随机种子设置
      • 修复 GPT 在 FP16 精度下 GEMM 缓冲区溢出问题
      • 更改完成缓冲区的失效策略，确保每次推理完成后及时释放
      • 引入 stop_before 参数用于提前停止
  • 支持 Longformer 模型
  • 将 layer_para 重命名为 pipeline_para
  • 优化 top p 采样的排序逻辑
  • 支持 Ampere 架构 GPU 上 BERT 模型的稀疏化
  • 支持 GPT 模型中 size_per_head 取值为 96、160、192、224、256
  • 支持 GPT Triton 后端的多节点推理

2021年6月

• 支持 XLNet 模型

2021年4月

• 发布 FasterTransformer 4.0 版本
  • 支持 GPT 模型在 C++ 和 PyTorch 下的多 GPU 多节点推理
  • 支持 GPT 模型在 Triton 上的单节点多 GPU 推理
  • 为 BERT 模型添加 INT8 融合多头注意力核
  • 为 V100 显卡上的 BERT 模型添加 FP16 融合多头注意力核
  • 优化解码器核函数
  • 迁移到独立代码库
  • 废弃 Eager 模式下的 PyTorch 扩展

2020年12月

• 发布 FasterTransformer 3.1 版本
  • 通过添加已完成掩码来优化解码过程，避免无效计算
  • 支持 OpenNMT 编码器
  • 移除 TensorRT 插件支持
  • 废弃 TorchScript 自定义算子

2020年11月

• 优化 INT8 推理流程
• 支持 PyTorch 的 INT8 推理
• 提供 PyTorch 的 INT8 量化工具
• 将 TensorRT 的融合多头注意力核集成到 FasterTransformer 中
• 添加 SQuAD 数据集的单元测试
• 更新缺失的 NGC 检查点

2020年9月

• 支持 GPT2 模型
• 发布 FasterTransformer 3.0 版本
  • 支持 C++ 和 TensorFlow 算子的编码器 INT8 量化
  • 添加 bert-tf-quantization 工具
  • 修复 CMake 15 或 CMake 16 无法构建该项目的问题

2020年8月

• 修复 trt 插件的 bug

2020年6月

• 发布 FasterTransformer 2.1 版本
  • 基于 Effective Transformer 思想添加 Effective FasterTransformer
  • 优化束搜索核函数
  • 添加 PyTorch 算子支持

2020年5月

• 修复编码器序列长度必须大于 3 的 bug
• 将解码的位置编码作为 FasterTransformer 解码的输入。这样可以方便使用不同类型的位置编码。FasterTransformer 不会自行计算位置编码值，而是直接查表。
• 修改 translate_sample.py 中加载模型的方法

2020年4月

• 将 decoding_opennmt.h 重命名为 decoding_beamsearch.h
• 为解码添加 DiverseSiblingsSearch 策略
• 在解码中加入采样功能
  • 实现位于 decoding_sampling.h
  • 添加 top_k 采样和 top_p 采样
• 重构 TensorFlow 自定义算子代码
  • 将 bert_transformer_op.h 和 bert_transformer_op.cu.cc 合并为 bert_transformer_op.cc
  • 将 decoder.h 和 decoder.cu.cc 合并为 decoder.cc
  • 将 decoding_beamsearch.h 和 decoding_beamsearch.cu.cc 合并为 decoding_beamsearch.cc
• 修复 decoding.py 中 finalize 函数的 bug
• 修复 TF 版本的 DiverseSiblingSearch 的 bug
• 将 BLEU 评分器 bleu_score.py 添加到 utils 目录中。注意，BLEU 评分需要 Python 3 环境。
• 将编码器的 QKV GEMM 和解码器的 masked_multi_head_attention 融合在一起
• 在所有算子中添加动态批大小和动态序列长度功能。

2020年3月

• 在 FasterTransformer 2.0 中新增功能
  • 添加 translate_sample.py，演示如何通过恢复 OpenNMT-tf 的预训练模型来翻译一句话。
• 修复 FasterTransformer 2.0 的 bug
  • 修复解码器最大序列长度不能超过 128 的问题。
  • 修复解码过程中每一步未检查是否已完成的 bug。
  • 修复解码器关于 max_seq_len 的 bug。
  • 修改解码模型结构以适配 OpenNMT-tf 的解码模型。
    • 在解码器后添加一层层归一化。
    • 为解码器的输入添加归一化。

2020年2月

• 发布 FasterTransformer 2.0
  • 提供基于 OpenNMT-tf 的高度优化解码器及解码功能，包含 C++ API 和 TensorFlow 操作。
  • 优化编码器示例代码。
  • 在编码器操作中加入动态批大小功能。

2019年7月

• 发布 FasterTransformer 1.0
  • 提供高度优化的 BERT 等效 Transformer 层，包含 C++ API、TensorFlow 操作和 TensorRT 插件。

已知问题

• 由于未定义符号问题，无法在 TensorFlow 2.10 上编译。
• 导入扩展时出现未定义符号错误。
  • 请先执行 import torch。如果已执行仍出现错误，则可能是 C++ ABI 不兼容所致。建议检查编译和运行时使用的 PyTorch 版本是否一致，或检查 PyTorch 的编译方式、GCC 版本等。
• TensorFlow 实现与 OP 实现的解码结果会有所不同。该问题由累积的对数概率引起，目前尚未解决。
• 如果在自定义环境中遇到问题，尝试使用 gcc/g++ 4.8 来构建 TensorFlow 操作项目，尤其针对 TensorFlow 1.14。

FasterTransformer 快速上手指南

重要提示：FasterTransformer 的开发已正式迁移至 TensorRT-LLM。NVIDIA 建议所有开发者使用 TensorRT-LLM 以获取最新的大语言模型（LLM）推理优化。本仓库将不再进行新功能开发，仅作为历史版本维护。

FasterTransformer 是 NVIDIA 提供的高性能 Transformer 推理库，基于 CUDA、cuBLAS 和 C++ 构建，专为 Volta、Turing、Ampere 及 Hopper 架构的 GPU 优化，支持 FP16、INT8 等精度加速。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04)
• GPU: NVIDIA GPU (Volta 架构及以上，如 V100, T4, A100, H100)
• CUDA: 需安装与显卡驱动匹配的 CUDA Toolkit (通常建议 11.x 或 12.x)
• 编译器: GCC 7.5+ 或更高版本
• CMake: 3.13 或更高版本

前置依赖

根据您使用的框架，需预先安装以下组件：

• 基础依赖: git, curl, build-essential
• Python 框架 (可选):
  • PyTorch (需匹配 CUDA 版本)
  • TensorFlow (需匹配 CUDA 版本)
• 性能测试工具: bc (用于运行基准测试脚本)

# Ubuntu 系统安装基础依赖
sudo apt-get update
sudo apt-get install -y git curl build-essential bc

安装步骤

FasterTransformer 主要通过源码编译安装。以下是基于 C++ 核心库的标准编译流程（以 PyTorch 扩展为例）：

1. 克隆仓库

   git clone https://github.com/NVIDIA/FasterTransformer.git
   cd FasterTransformer
   git submodule init
   git submodule update
   

2. 配置编译环境 创建构建目录并运行 CMake。请根据您的实际环境调整 -DSM (Compute Capability) 和框架路径。

   mkdir -p build && cd build
   
   # 示例：编译支持 PyTorch 的版本
   # 请替换 <YOUR_CUDA_PATH> 和 <YOUR_PYTORCH_PATH> 为实际路径
   cmake -DSM=80 \
         -DCMAKE_BUILD_TYPE=Release \
         -DBUILD_PYT=ON \
         -DCUDA_TOOLKIT_ROOT_DIR=<YOUR_CUDA_PATH> \
         -DPYTHON_EXECUTABLE=$(which python3) \
         ..
   

   注：-DSM=80 对应 Ampere 架构 (如 A100)，T4 请使用 -DSM=75，V100 请使用 -DSM=70。

3. 编译安装

   make -j$(nproc)
   

   编译完成后，生成的动态库位于 build/lib 目录下，Python 扩展模块位于 build/pytorch (如果启用了 PyTorch)。

基本使用

以下展示如何在 PyTorch 中调用 FasterTransformer 的 BERT 模型进行推理。

1. 设置环境变量 (可选)

用于控制日志级别或调试：

export FT_LOG_LEVEL=INFO
# export FT_DEBUG_LEVEL=DEBUG  # 仅在调试内核错误时开启，会显著降低性能

2. Python 代码示例

确保将编译生成的 .so 文件路径加入 LD_LIBRARY_PATH，或在 Python 脚本中加载。

import torch
from fastertransformer import BertLayer

# 配置模型参数
config = {
    'head_num': 12,
    'size_per_head': 64,
    'inter_size': 3072,
    'num_layer': 12,
    'vocab_size': 30524,
    'max_seq_len': 512,
    'data_type': 'fp16',  # 推荐使用 fp16 以启用 Tensor Core
    'int8_mode': 0        # 0: FP16/FP32, 1: INT8
}

# 初始化模型层
# device_id 指定使用的 GPU ID
bert_layer = BertLayer(config, device_id=0)

# 准备输入数据 (batch_size, seq_len)
input_ids = torch.randint(0, config['vocab_size'], (4, 128)).cuda().int()
attention_mask = torch.ones_like(input_ids).cuda().int()

# 执行推理 (半精度计算)
with torch.cuda.amp.autocast():
    output = bert_layer.forward(input_ids, attention_mask)

print(f"Output shape: {output.shape}")

3. C++ 示例 (简述)

若直接使用 C++ 接口，可参考 examples/cpp 目录下的示例。核心流程包括初始化 CublasMMWrapper，构建 BertEncoder 对象，并调用 forward 方法。

// 伪代码示例，详细实现请参考 examples/cpp/bert_example.cc
#include "fastertransformer/models/bert.h"

// 初始化参数
ft::BertParam<T> bert_param;
// ... 设置 head_num, size_per_head 等参数 ...

// 构建模型
ft::BertEncoder<T> bert_encoder(..., bert_param);

// 执行推理
bert_encoder.forward(...);

提示：更多特定模型（如 GPT, T5, Swin Transformer）的详细用法和参数配置，请参阅仓库中 docs/ 目录下对应的 xxx_guide.md 文档。