Transformers 是由 Hugging Face 公司开发的一个 Python 库，支持加载目前绝大部分的预训练语言模型。随着 BERT、GPT 等模型的兴起，越来越多的用户采用 Transformers 库来构建自然语言处理应用。

该项目为《Transformers 库快速入门》教程的代码仓库，按照以下方式组织代码：

• data：存储使用到的数据集；
• src：存储示例代码，每个任务对应一个文件夹，可以下载下来单独使用。

该教程处于更新中，正在逐渐添加大语言模型的相关内容。

Transformers 库快速入门

• 第一部分：背景知识

  • 第一章：自然语言处理
  • 第二章：Transformer 模型
  • 第三章：注意力机制

• 第二部分：初识 Transformers

  • 第四章：开箱即用的 pipelines
  • 第五章：模型与分词器
  • 第六章：必要的 Pytorch 知识
  • 第七章：微调预训练模型

• 第三部分：Transformers 实战

  • 第八章：快速分词器
  • 第九章：序列标注任务
  • 第十章：翻译任务
  • 第十一章：文本摘要任务
  • 第十二章：抽取式问答
  • 第十三章：Prompting 情感分析

• 第四部分：大语言模型时代

  • 第十四章：大语言模型技术简介
  • 第十五章：预训练大语言模型
  • 第十六章：使用大语言模型
  • 第十七章：指令微调 FlanT5 模型
  • 第十八章：指令微调 Llama2 模型

示例代码

• pairwise_cls_similarity_afqmc：句子对分类任务，金融同义句判断。
• sequence_labeling_ner_cpd：序列标注任务，命名实体识别。
• seq2seq_translation：seq2seq任务，中英翻译。
• seq2seq_summarization：seq2seq任务，文本摘要。
• sequence_labeling_extractiveQA_cmrc：序列标注任务，抽取式问答。
• text_cls_prompt_senti_chnsenticorp：文本分类任务，Prompt 情感分析。

重要更新

日期	内容
2024-07-06	优化了第一章《自然语言处理》的文字表述，增加了一些图片，增加了大语言模型的简介。
2024-07-27	完成大语言模型技术简介（第14至16章）初稿

How-to-use-Transformers 快速上手指南

本指南基于《Transformers 库快速入门》教程代码仓库，帮助开发者快速掌握 Hugging Face Transformers 库的使用，涵盖从基础 NLP 任务到大语言模型（LLM）的微调实战。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux 环境以获得最佳兼容性)
• Python 版本：Python 3.8 或更高版本
• 硬件建议：若需进行模型微调或运行大语言模型，建议使用配备 NVIDIA GPU 的环境并安装 CUDA 驱动。

前置依赖： 本项目主要依赖 transformers, torch (PyTorch), datasets 等核心库。

安装步骤

推荐使用国内镜像源加速安装过程。

1. 克隆项目代码

   git clone https://github.com/jsksxs360/How-to-use-Transformers.git
   cd How-to-use-Transformers
   

2. 安装 Python 依赖 使用清华源安装所需库：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：若项目中未包含 requirements.txt，请直接安装核心库：

   pip install transformers datasets torch accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

Transformers 库的核心优势在于其简洁的 API。以下是两种最常用的使用方式：直接使用 Pipeline 进行推理，以及加载模型进行自定义处理。

1. 开箱即用：Pipeline 快速推理

无需编写复杂代码，一行命令即可实现情感分析、文本生成、翻译等任务。

from transformers import pipeline

# 初始化情感分析管道
classifier = pipeline("sentiment-analysis")

# 执行预测
result = classifier("I love using Transformers library!")
print(result)
# 输出示例：[{'label': 'POSITIVE', 'score': 0.9998}]

2. 核心组件：模型与分词器

对于更复杂的任务（如微调、序列标注），需要手动加载分词器（Tokenizer）和模型（Model）。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# 指定预训练模型名称
model_name = "bert-base-chinese"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

# 准备输入文本
text = "如何使用 Transformers 库？"

# 分词处理
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

# 模型推理
with torch.no_grad():
    outputs = model(**inputs)

# 获取结果
predictions = torch.softmax(outputs.logits, dim=-1)
print(predictions)

3. 运行本仓库示例代码

本项目 src 目录下包含了针对特定任务的完整示例（如命名实体识别、机器翻译、大模型指令微调等）。以运行“中英翻译”示例为例：

# 进入对应的任务目录
cd src/seq2seq_translation

# 运行脚本 (具体参数请参考各目录下的 README 或脚本注释)
python train.py --model_name_or_path google/mt5-small --output_dir ./output

您可以访问 教程网站 查看每个示例对应的详细原理解析。