目录

1. 简介
2. 主要结果
3. 使用 transformers 库中的 BERTweet
   • 预训练模型
   • 示例用法
   • 对原始推文进行标准化处理
4. 使用 fairseq 库中的 BERTweet

BERTweet：面向英文推文的预训练语言模型

BERTweet 是首个公开的大规模、专为英文推文预训练的语言模型。该模型基于 RoBERTa 的预训练流程进行训练。用于预训练 BERTweet 的语料库包含 8.5 亿条英文推文（约 160 亿个词元，总大小约 80GB），其中包括从 2012 年 1 月至 2019 年 8 月期间收集的 8.45 亿条推文，以及与 COVID-19 疫情相关的 500 万条推文。BERTweet 的总体架构和实验结果详见我们的论文：

@inproceedings{bertweet,
title     = {{BERTweet: 面向英文推文的预训练语言模型}},
author    = {Dat Quoc Nguyen, Thanh Vu, Anh Tuan Nguyen},
booktitle = {2020 年自然语言处理经验方法会议系统演示论文集},
pages     = {9--14},
year      = {2020}
}

请在使用 BERTweet 得出公开发表的研究成果或将其集成到其他软件中时，引用我们的论文。

主要结果

      

      

使用 transformers 库中的 BERTweet

安装

• 使用 pip 安装 transformers：pip install transformers，或者从源码安装 transformers：从源码安装。
  需要注意的是，我们已将 BERTweet 的慢速分词器合并到 transformers 的主分支中。关于将 BERTweet 的快速分词器合并进来的讨论仍在进行中，详情请参见 此 Pull Request。如果用户希望使用快速分词器，可以按以下方式安装 transformers：

git clone --single-branch --branch fast_tokenizers_BARTpho_PhoBERT_BERTweet https://github.com/datquocnguyen/transformers.git
cd transformers
pip3 install -e .

• 使用 pip 安装 tokenizers：pip3 install tokenizers

预训练模型

模型	参数量	架构	最大长度	预训练数据
vinai/bertweet-base	1.35亿	base	128	8.5亿条英文推文（区分大小写）
vinai/bertweet-covid19-base-cased	1.35亿	base	128	2300万条 COVID-19 相关英文推文（区分大小写）
vinai/bertweet-covid19-base-uncased	1.35亿	base	128	2300万条 COVID-19 相关英文推文（不区分大小写）
vinai/bertweet-large	3.55亿	large	512	8.73亿条英文推文（区分大小写）

• 2020 年 9 月：在 vinai/bertweet-base 的基础上，进一步利用 包含 2300 万条 COVID-19 英文推文的语料库，推出了两个新的预训练模型：vinai/bertweet-covid19-base-cased 和 vinai/bertweet-covid19-base-uncased。
• 2021 年 8 月：发布了 vinai/bertweet-large。

示例用法

import torch
from transformers import AutoModel, AutoTokenizer 

bertweet = AutoModel.from_pretrained("vinai/bertweet-large")

tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-large")

# 输入的推文已经过标准化处理！
line = "DHEC confirms HTTPURL via @USER :crying_face:"

input_ids = torch.tensor([tokenizer.encode(line)])

with torch.no_grad():
    features = bertweet(input_ids)  # 模型的输出现在是元组
    
## 使用 TensorFlow 2.0 及以上版本：
# from transformers import TFAutoModel
# bertweet = TFAutoModel.from_pretrained("vinai/bertweet-large")

对原始输入推文进行标准化处理

在对英文推文预训练语料库应用 BPE 分词之前，我们首先使用 NLTK 工具包中的 TweetTokenizer 对这些推文进行了分词，并借助 emoji 包将表情符号转换为文本字符串（此处每个表情符号被视为一个词元）。此外，我们还将用户提及和网址链接分别替换为特殊标记 @USER 和 HTTPURL，从而完成了推文的标准化处理。因此，建议在基于 BERTweet 的下游应用中，也对原始输入推文执行相同的预处理步骤。

对于原始输入的推文，若想获得相同的预处理结果，用户可以使用我们的 TweetNormalizer 模块。

• 安装命令：pip3 install nltk emoji==0.6.0
• emoji 版本必须为 0.5.4 或 0.6.0。较新版本的 emoji 已更新至最新的 Emoji 表格标准，与我们预处理预训练推文语料库时所使用的版本不一致。

import torch
from transformers import AutoTokenizer
from TweetNormalizer import normalizeTweet

tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-large")

line = normalizeTweet("DHEC 确认 https://postandcourier.com/health/covid19/sc-has-first-two-presumptive-cases-of-coronavirus-dhec-confirms/article_bddfe4ae-5fd3-11ea-9ce4-5f495366cee6.html?utm_medium=social&utm_source=twitter&utm_campaign=user-share… 通过 @postandcourier 😢")

input_ids = torch.tensor([tokenizer.encode(line)])

使用 fairseq 库中的 BERTweet

详细信息请参见 此处!

许可证

MIT 许可证

版权所有 © 2020–2021 VinAI

本软件及所附文档文件（“软件”）的任何副本的所有权人，经在此授予免费许可，有权在不受限制的情况下处理该软件，包括但不限于使用、复制、修改、合并、发布、分发、再许可和出售该软件副本的权利，并允许向其提供本软件的人进行上述操作，但须遵守以下条件：

上述版权声明和本许可声明应包含在该软件的所有副本或实质部分中。

本软件按“原样”提供，不提供任何形式的明示或暗示担保，包括但不限于适销性、特定用途适用性和非侵权性担保。在任何情况下，作者或版权所有者均不对任何索赔、损害或其他责任负责，无论该等责任是基于合同、侵权行为或其他原因产生的，亦无论该等责任是否与本软件或其使用有关。

BERTweet 快速上手指南

BERTweet 是首个专为英文推文（English Tweets）预训练的大规模语言模型，基于 RoBERTa 架构构建。它适用于推文的情感分析、命名实体识别、词性标注等下游任务。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.7+
• 前置依赖：
  • transformers (Hugging Face)
  • torch (PyTorch)
  • nltk 和 emoji==0.6.0（用于推文预处理）

💡 国内用户可使用清华或阿里镜像加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers torch nltk emoji==0.6.0

安装步骤

1. 安装基础依赖：

pip install transformers torch nltk emoji==0.6.0

2. （可选）若需使用快速分词器（fast tokenizer），请从特定分支安装：

git clone --single-branch --branch fast_tokenizers_BARTpho_PhoBERT_BERTweet https://github.com/datquocnguyen/transformers.git
cd transformers
pip3 install -e .

基本使用

示例：加载模型并编码一条已标准化的推文

import torch
from transformers import AutoModel, AutoTokenizer 

# 加载预训练模型和分词器
bertweet = AutoModel.from_pretrained("vinai/bertweet-large")
tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-large")

# 输入推文需预先标准化（见下文）
line = "DHEC confirms HTTPURL via @USER :crying_face:"

# 编码并获取特征表示
input_ids = torch.tensor([tokenizer.encode(line)])

with torch.no_grad():
    features = bertweet(input_ids)

推文预处理（标准化）

原始推文需经过标准化处理（替换 URL、用户提及、表情符号等），才能与预训练数据保持一致。

1. 下载官方预处理模块 TweetNormalizer.py

2. 使用示例：

from TweetNormalizer import normalizeTweet
from transformers import AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-large")

raw_tweet = "DHEC confirms https://postandcourier.com/... via @postandcourier 😢"
normalized_tweet = normalizeTweet(raw_tweet)

input_ids = torch.tensor([tokenizer.encode(normalized_tweet)])

⚠️ 注意：必须使用 emoji==0.6.0 或 0.5.4 版本，否则表情符号映射将不一致。

---

现在你可以基于 BERTweet 构建自己的推文理解应用了！