使用Transformers进行自然语言处理

用Transformers处理自然语言：创建基于Hugging Face的文本内容处理程序

使用Transformers进行自然语言处理：借助Hugging Face构建语言应用

路易斯·坦斯托尔、莱昂德罗·冯·韦拉和托马斯·沃尔夫（Hugging Face Transformer库作者，详情：作者介绍）

《使用Scikit-Learn和TensorFlow动手学机器学习》作者奥雷利安·热隆撰写序。

人工智能博士倾情翻译

***承接人工智能书籍的商业化翻译服务 微信：znsoft

2022年新书《用Transformers处理自然语言 - 创建基于hugging face transformer程序库的自然语言处理程序》 中文翻译版

下载PDF PDF版本有滞后性，最新内容以github仓库中的markdown文件为准。

出版联系（需要能引进版权的出版社）： znsoft@163.com Daniel ，微信： znsoft

本译文在代码或文本中已经嵌入水印，非授权商业使用将追究法律责任！！！

术语表

本版本为初稿，欢迎大家Star, PR, Fork 一键三连！

原始github 仓库

访问 目录

其它资源

Transformer 上手教程

Natural Language Processing with Transformers 快速上手指南

本指南基于 Hugging Face Transformers 库，帮助开发者快速构建自然语言处理应用。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：3.7 或更高版本（推荐 3.8+）
• 前置依赖：
  • pip (Python 包管理工具)
  • git (用于克隆代码仓库)
• 硬件建议：虽然 CPU 可运行基础模型，但建议使用支持 CUDA 的 NVIDIA GPU 以获得最佳性能。

2. 安装步骤

推荐使用国内镜像源加速安装过程。

方式一：通过 PyPI 安装（推荐）

使用清华源或阿里源安装核心库 transformers 及其依赖 torch：

# 使用清华源安装 PyTorch (CPU 版本示例，GPU 版本请访问 pytorch.org 获取对应命令)
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 使用清华源安装 transformers 及相关 NLP 库
pip install transformers datasets accelerate sentencepiece protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（获取最新特性）

如果您需要使用 GitHub 仓库中的最新未发布功能：

# 克隆原始仓库
git clone https://github.com/hellotransformers/Natural_Language_Processing_with_Transformers.git
cd Natural_Language_Processing_with_Transformers

# 安装本地依赖
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

以下是最简单的文本分类示例，展示如何加载预训练模型并进行推理。

示例：情感分析

from transformers import pipeline

# 初始化一个情感分析管道
# 首次运行时会自动下载模型，国内网络较慢时可配置 HF_ENDPOINT 环境变量使用镜像
classifier = pipeline("sentiment-analysis")

# 执行预测
result = classifier("I love using Hugging Face transformers for NLP tasks!")

print(result)
# 输出示例: [{'label': 'POSITIVE', 'score': 0.9998}]

进阶：指定中文模型

针对中文任务，可以显式指定预训练的中文模型（如 bert-base-chinese）：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "hfl/chinese-roberta-wwm-ext" # 哈工大讯飞联合实验室的中文模型

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

# 准备输入
text = "自然语言处理非常有趣"
inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)

# 推理
with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.nn.functional.softmax(outputs.logits, dim=-1)

print(f"输入文本: {text}")
print(f"预测结果形状：{predictions.shape}")

提示：若下载模型速度过慢，可在运行代码前设置环境变量以使用 Hugging Face 中国镜像：

export HF_ENDPOINT=https://hf-mirror.com