PyTorch Transformers 教程

简介

2018年，随着 BERT 及其 Transformer 系列模型（如 RoBerta、XLM 等）的引入，自然语言处理（NLP） 领域发生了革命性的变化。

这些基于 Transformer 的新型神经网络架构以及训练神经网络处理自然语言数据的新方法，将迁移学习引入了 NLP 问题。迁移学习在计算机视觉领域已经取得了最先进的结果数年，而 Transformer 模型在 NLP 中的应用也带来了同样的范式转变。

像 Google 和 Facebook 这样的公司在大规模自然语言数据上训练他们的神经网络，以掌握语言的复杂性，从而生成语言模型。最后，这些模型被微调到特定领域的数据集，以在特定问题上取得最先进的结果。他们还将这些训练好的模型开源给了社区。社区成员现在可以针对自己的具体用例微调这些模型。

Hugging Face 通过他们的 Python 包 Transformers，让社区更容易地访问和微调这些模型。

动机

尽管取得了这些惊人的技术进步，但由于需要特定的专业知识来理解这些方法并将其应用于具体问题，将这些解决方案应用于商业问题仍然是一个挑战。因此，在接下来的教程中，我将演示用户如何利用这些技术以及其他一些 Python 工具，将这些语言模型微调到特定类型的任务上。

在开始之前，我想提及以下团体，感谢他们所做的出色工作以及分享精神，这些使得这些笔记本和教程成为可能：

请查阅这些精彩的信息来源并订阅他们的频道/资源。

• Hugging Face 团队
• Abhishek Thakur 精彩的 YouTube 视频

我将要处理的问题如下：

笔记本	Github 链接	Colab 链接	Kaggle 内核
文本分类：多类别	Github		Kaggle
文本分类：多标签	Github		Kaggle
情感分类 附带 WandB 中的实验跟踪！	Github
命名实体识别：附带 TPU 处理！	Github		Kaggle
问答
摘要生成：附带 WandB 中的实验跟踪！	Github		Kaggle

目录结构

1. data: 此文件夹包含用于微调的所有示例数据。
2. utils: 此文件夹将包含用于准备微调的任何杂项脚本。
3. models: 用于保存微调后所有产物的文件夹。

延伸观看/阅读

我将尝试涵盖在各种 NLP 任务上微调这些语言模型的实践和实现方面。您可以通过阅读/观看以下资源来提高您在该主题上的知识。

• 观看

  • 简单术语介绍
  • NLP 中的迁移学习
  • ChrisMcCormickAI 的 BERT 研究系列

• 阅读

  • Transformers 文档
  • Pytorch 文档
  • Google AI 博客

transformers-tutorials 快速上手指南

工具简介

transformers-tutorials 是一个基于 PyTorch 和 Hugging Face Transformers 库的教程项目，旨在帮助开发者快速上手并微调前沿的 Transformer 模型（如 BERT、RoBERTa 等），以解决实际的自然语言处理任务，如文本分类、命名实体识别和文本摘要。

环境准备

系统要求

• 操作系统: Linux, macOS, 或 Windows (建议使用 Linux 或 WSL2)
• Python: 3.7 或更高版本
• 包管理器: pip 或 conda

前置依赖

确保已安装以下基础软件：

1. Python 3.7+
2. Git (用于克隆仓库)
3. Jupyter Notebook/Lab (用于运行教程 Notebook)

安装步骤

1. 克隆仓库

打开终端，运行以下命令获取项目代码：

git clone https://github.com/abhimishra91/transformers-tutorials.git
cd transformers-tutorials

2. 创建并激活虚拟环境（推荐）

使用 conda:

conda create -n transformers-tutorials python=3.8
conda activate transformers-tutorials

或使用 venv:

python -m venv venv
# Linux/macOS
source venv/bin/activate
# Windows
venv\Scripts\activate

3. 安装 PyTorch

根据你的 CUDA 版本，从 PyTorch 官网 获取安装命令。例如，对于无 GPU 或 CUDA 11.3 的环境：

# 仅 CPU
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

# CUDA 11.3
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu113

4. 安装项目依赖

安装教程所需的核心库：

pip install transformers datasets scikit-learn pandas tqdm

如果需要使用 WandB 进行实验跟踪，可额外安装：

pip install wandb

基本使用

运行教程 Notebook

项目提供了多个 Jupyter Notebook 教程。你可以直接启动 Jupyter 来运行它们：

jupyter notebook

然后在浏览器中打开对应的 .ipynb 文件即可。

快速示例：文本分类

以下是一个使用 BERT 进行文本分类的极简代码片段，展示了核心流程：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# 1. 加载预训练模型和分词器
model_name = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)

# 2. 准备示例数据
texts = ["I love this movie!", "This is terrible."]
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")

# 3. 前向传播
with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=-1)
    print(predictions)

使用 Google Colab 或 Kaggle Kernel

每个教程都提供了在 Google Colab 或 Kaggle 上一键运行的链接，无需配置本地环境。只需点击对应 Notebook 下方的 Open In Colab 徽章即可。

下一步

• 访问 data/ 文件夹查看示例数据集。
• 按照 utils/ 中的脚本准备你自己的数据。
• 运行具体的教程 Notebook，从 文本分类 或 命名实体识别 开始实践。