目录

1. 简介
2. 使用 transformers 搭配 PhoBERT
   • 安装
   • 预训练模型
   • 示例用法
3. 使用 fairseq 搭配 PhoBERT
4. 注释

PhoBERT：面向越南语的预训练语言模型

PhoBERT 预训练模型是目前越南语最先进的语言模型（Pho，即“河粉”，是越南一种受欢迎的食物）：

• PhoBERT 有两个版本：“base”和“large”，它们是首个公开的大规模单语种预训练越南语语言模型。PhoBERT 的预训练方法基于 RoBERTa，该方法优化了 BERT 的预训练流程，以获得更稳健的性能。
• PhoBERT 在之前的单语和多语方法中表现优异，在词性标注、依存句法分析、命名实体识别和自然语言推理这四项越南语下游 NLP 任务上均取得了新的最先进成果。

PhoBERT 的总体架构和实验结果可在我们的论文中找到：

@inproceedings{phobert,
title     = {{PhoBERT: Pre-trained language models for Vietnamese}},
author    = {Dat Quoc Nguyen and Anh Tuan Nguyen},
booktitle = {Findings of the Association for Computational Linguistics: EMNLP 2020},
year      = {2020},
pages     = {1037--1042}
}

请在引用 PhoBERT 以生成已发表的结果或将它整合到其他软件中时，注明我们的论文。

使用 transformers 搭配 PhoBERT

安装

• 使用 pip 安装 transformers：pip install transformers，或从源码安装 transformers。
  请注意，我们已将 PhoBERT 的慢速分词器合并到 transformers 的主分支中。关于 PhoBERT 快速分词器的合并工作仍在讨论中，详情见 此 Pull Request。如果用户希望使用快速分词器，可以按如下方式安装 transformers：

git clone --single-branch --branch fast_tokenizers_BARTpho_PhoBERT_BERTweet https://github.com/datquocnguyen/transformers.git
cd transformers
pip3 install -e .

• 使用 pip 安装 tokenizers：pip3 install tokenizers

预训练模型

模型	参数量	架构	最大长度	预训练数据	许可证
vinai/phobert-base-v2	1.35亿	base	256	20GB 维基百科和新闻文本 + 120GB OSCAR-2301 数据集中的文本	GNU Affero GPL v3
vinai/phobert-base	1.35亿	base	256	20GB 维基百科和新闻文本	MIT 许可证
vinai/phobert-large	3.7亿	large	256	20GB 维基百科和新闻文本	MIT 许可证

示例用法

import torch
from transformers import AutoModel, AutoTokenizer

phobert = AutoModel.from_pretrained("vinai/phobert-base-v2")
tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base-v2")

# 输入文本必须已经进行分词！
sentence = 'Chúng_tôi là những nghiên_cứu_viên .'  

input_ids = torch.tensor([tokenizer.encode(sentence)])

with torch.no_grad():
    features = phobert(input_ids)  # 模型输出现在是元组

## 使用 TensorFlow 2.0+：
# from transformers import TFAutoModel
# phobert = TFAutoModel.from_pretrained("vinai/phobert-base")

使用 fairseq 搭配 PhoBERT

详情请参阅 此处！

注释

如果输入文本是“原始”的，即未经过分词处理，则在将其输入 PhoBERT 之前，必须先使用分词工具对文本进行分词处理。由于 PhoBERT 在预训练数据处理过程中采用了来自 VnCoreNLP 的 RDRSegmenter，并进行了包括 越南语声调归一化、词语和句子分词在内的预处理操作，因此建议在基于 PhoBERT 的下游应用中，也对原始输入文本使用相同的分词工具。

安装

pip install py_vncorenlp

示例用法

import py_vncorenlp

# 自动从原始仓库下载 VnCoreNLP 组件，并保存到本地某个文件夹
py_vncorenlp.download_model(save_dir='/absolute/path/to/vncorenlp')

# 加载词语和句子分词组件
rdrsegmenter = py_vncorenlp.VnCoreNLP(annotators=["wseg"], save_dir='/absolute/path/to/vncorenlp')

text = "Ông Nguyễn Khắc Chúc  đang làm việc tại Đại học Quốc gia Hà Nội. Bà Lan, vợ ông Chúc, cũng làm việc tại đây."

output = rdrsegmenter.word_segment(text)

print(output)
# ['Ông Nguyễn_Khắc_Chúc đang làm_việc tại Đại_học Quốc_gia Hà_Nội .', 'Bà Lan , vợ ông Chúc , cũng làm_việc tại đây .']

PhoBERT 快速上手指南

PhoBERT 是专为越南语设计的预训练语言模型，基于 RoBERTa 架构优化，在越南语 NLP 任务（如词性标注、依存句法分析、命名实体识别等）中表现卓越。本指南帮助中国开发者快速集成并使用 PhoBERT。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：3.6+
• 前置依赖：
  • torch (PyTorch)
  • transformers (Hugging Face)
  • tokenizers
  • （可选）py_vncorenlp：用于处理未分词的原始越南语文本

注意：PhoBERT 的输入文本必须已完成分词。若输入为原始文本，需先使用 VnCoreNLP 进行分词处理。

安装步骤

1. 安装基础依赖

推荐使用国内镜像源加速安装：

pip install torch transformers tokenizers -i https://pypi.tuna.tsinghua.edu.cn/simple

2. （可选）安装支持快速分词器的 transformers 版本

官方慢速分词器已合并至主分支，若需使用快速分词器，请从特定分支安装：

git clone --single-branch --branch fast_tokenizers_BARTpho_PhoBERT_BERTweet https://github.com/datquocnguyen/transformers.git
cd transformers
pip3 install -e .

3. 安装越南语分词工具（处理原始文本必备）

pip install py_vncorenlp -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

场景一：输入已是分词文本

若输入文本已用下划线 _ 完成分词（如 Chúng_tôi），可直接使用：

import torch
from transformers import AutoModel, AutoTokenizer

# 加载模型与分词器
phobert = AutoModel.from_pretrained("vinai/phobert-base-v2")
tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base-v2")

# 输入必须是已分词文本
sentence = 'Chúng_tôi là những nghiên_cứu_viên .'

# 编码并获取特征
input_ids = torch.tensor([tokenizer.encode(sentence)])

with torch.no_grad():
    features = phobert(input_ids)  # 输出为元组形式

场景二：输入为原始文本（需先分词）

若输入为未分词的越南语句子，需先调用 VnCoreNLP 进行分词：

import py_vncorenlp

# 下载并配置 VnCoreNLP（仅需运行一次）
py_vncorenlp.download_model(save_dir='/absolute/path/to/vncorenlp')

# 加载分词组件
rdrsegmenter = py_vncorenlp.VnCoreNLP(annotators=["wseg"], save_dir='/absolute/path/to/vncorenlp')

text = "Ông Nguyễn Khắc Chúc đang làm việc tại Đại học Quốc gia Hà Nội."

# 执行分词
output = rdrsegmenter.word_segment(text)
# 输出示例：['Ông Nguyễn_Khắc_Chúc đang làm_việc tại Đại_học Quốc_gia Hà_Nội .']

# 将分词结果传入 PhoBERT
from transformers import AutoModel, AutoTokenizer
import torch

phobert = AutoModel.from_pretrained("vinai/phobert-base-v2")
tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base-v2")

sentence = output[0]  # 取第一句分词结果
input_ids = torch.tensor([tokenizer.encode(sentence)])

with torch.no_grad():
    features = phobert(input_ids)

可用模型

模型名称	参数量	最大长度	许可证
vinai/phobert-base-v2	135M	256	GNU Affero GPL v3
vinai/phobert-base	135M	256	MIT
vinai/phobert-large	370M	256	MIT

提示：生产环境建议优先选用 phobert-base-v2，其训练数据更丰富（含 OSCAR 语料）。