基于Transformers的自然语言处理（NLP）入门

使用Transformers进行自然语言处理。 本项目面向的对象是：

• NLP初学者、Transformer初学者
• 有一定的Python、PyTorch编程基础
• 对前沿的Transformer模型感兴趣
• 了解和掌握简单的深度学习模型

本项目的愿景是：

希望结合形象生动的原理讲解和多个动手实践项目，帮助初学者快速入门深度学习时代的NLP。

本项目的主要参考资料是：

• Hugging Face/Transformers代码库
• 多个优秀的Transformer讲解和分享

项目成员：

• erenup（多多笔记），北京大学，负责人
• 张帆，Datawhale，天津大学，篇章4
• 张贤，哈尔滨工业大学，篇章2
• 李泺秋，浙江大学，篇章3
• 蔡杰，北京大学，篇章4
• hlzhang，麦吉尔大学，篇章4
• 台运鹏 篇章2
• 张红旭 篇章2

本项目总结和学习了多篇优秀文档和分享，在各个章节均有标注来源，如有侵权，请及时联系项目成员，谢谢。去Github点完Star再学习事半功倍哦😄，谢谢。

项目内容

篇章1-前言

• 1.0-本地阅读和代码运行环境配置.md
• 1.1-Transformers在NLP中的兴起

篇章2-Transformer相关原理

• 2.1-图解attention
• 2.2-图解transformer
• 2.2.1-Pytorch编写Transformer.md
• 2.2.2-Pytorch编写Transformer-选读.md
• 2.3-图解BERT
• 2.4-图解GPT
• 2.5-篇章小测

篇章3-编写一个Transformer模型：BERT

• 3.1-如何实现一个BERT
• 3.2-如何应用一个BERT
• 3.3-篇章小测

篇章4-使用Transformers解决NLP任务

• 4.0-前言
• 4.1-文本分类
• 4.2-序列标注
• 4.3-问答任务-抽取式问答
• 4.4-问答任务-多选问答
• 4.5-生成任务-语言模型
• 4.6-生成任务-机器翻译
• 4.7-生成任务-摘要生成
• 4.8-篇章小测

learn-nlp-with-transformers 快速上手指南

本指南旨在帮助具备 Python 和 PyTorch 基础的开发者快速搭建环境，开始基于 Transformers 的自然语言处理（NLP）学习之旅。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.8 及以上版本
• 前置知识：
  • 熟悉 Python 编程
  • 了解 PyTorch 深度学习框架基础
  • 对深度学习模型有基本认知
• 硬件建议：虽然 CPU 可运行基础代码，但强烈建议配备 NVIDIA GPU 以加速模型训练和推理过程。

安装步骤

推荐使用 pip 进行安装。为了获得更快的下载速度，国内用户建议使用清华或阿里镜像源。

1. 创建虚拟环境（可选但推荐）

python -m venv nlp_env
# Linux/macOS
source nlp_env/bin/activate
# Windows
nlp_env\Scripts\activate

2. 安装核心依赖

使用国内镜像源安装 transformers, pytorch, 以及项目所需的其他常用库：

# 使用清华镜像源安装
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers datasets accelerate evaluate -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：上述 PyTorch 安装命令默认适配 CUDA 11.8。若无 GPU 或使用其他版本，请访问 PyTorch 官网 获取对应的安装命令。

3. 克隆项目代码

获取本项目的最新源代码：

git clone https://github.com/datawhalechina/learn-nlp-with-transformers.git
cd learn-nlp-with-transformers

基本使用

本项目采用“原理讲解 + 代码实践”的模式。最简单的入门方式是运行章节中的示例代码。以下是一个使用 transformers 库进行文本分类的最小化示例（对应项目篇章 4.1 内容）：

运行第一个 NLP 任务

创建一个名为 quick_start.py 的文件，填入以下代码：

from transformers import pipeline

# 加载预训练的文本分类模型
classifier = pipeline("sentiment-analysis")

# 进行预测
result = classifier("I love learning NLP with transformers!")

print(result)
# 输出示例: [{'label': 'POSITIVE', 'score': 0.9998}]

在终端运行该脚本：

python quick_start.py

深入学习路径

完成环境验证后，建议按照以下顺序阅读项目文档并运行对应章节的代码：

1. 环境配置：阅读 篇章 1-前言/1.0-本地阅读和代码运行环境配置.md 确认细节。
2. 原理理解：依次学习 篇章 2 中的 Attention 机制、Transformer 架构及 BERT/GPT 原理图解。
3. 动手实践：
   • 从 篇章 3 学习如何从零实现 BERT。
   • 进入 篇章 4 实战各类任务（文本分类、序列标注、问答、生成等）。

所有章节的详细代码均位于对应的文件夹中，可直接运行 .md 文件中提供的代码块或查看同目录下的 .py 文件（如有）。