BETO：西班牙语BERT

BETO 是一种基于 BERT 模型 训练的模型，其训练数据集为 大型西班牙语语料库。BETO 的规模与 BERT-Base 类似，并采用全词掩码技术进行训练。以下提供了不区分大小写的和区分大小写的 TensorFlow 和 PyTorch 检查点，以及一些针对西班牙语基准测试的结果，这些结果将 BETO 与 多语言 BERT 及其他（非 BERT 基础）模型进行了对比。

下载

	HuggingFace 模型仓库
BETO 不区分大小写	dccuchile/bert-base-spanish-wwm-uncased
BETO 区分大小写	dccuchile/bert-base-spanish-wwm-cased

所有模型均使用由 SentencePiece 构建的约 3.1 万个 BPE 子词的词汇表，并在 200 万步内完成训练。

基准测试

下表展示了 BETO 在每个任务的西班牙语版本中的部分结果。我们把 BETO（区分大小写和不区分大小写）与我们在文献中找到的最佳多语言 BERT 结果进行了比较（截至 2019 年 10 月）。此外，表中还列出了相同任务的一些替代方法（不一定基于 BERT 的方法）。所有方法的参考文献可在此处找到 这里。

任务	BETO-区分大小写	BETO-不区分大小写	最佳多语言 BERT	其他结果
POS	98.97	98.44	97.10 [2]	98.91 [6], 96.71 [3]
NER-C	88.43	82.67	87.38 [2]	87.18 [3]
MLDoc	95.60	96.12	95.70 [2]	88.75 [4]
PAWS-X	89.05	89.55	90.70 [8]
XNLI	82.01	80.15	78.50 [2]	80.80 [5], 77.80 [1], 73.15 [4]

使用示例

如需了解如何使用 BETO 的更多详细信息，可访问 🤗Huggingface Transformers 库，从 快速入门部分 开始。通过 Transformers 库，可以直接访问 BETO 模型，例如 'dccuchile/bert-base-spanish-wwm-cased' 和 'dccuchile/bert-base-spanish-wwm-uncased'。本页面中模型的使用示例可在 此 Colab 笔记本 中找到。

致谢

我们感谢 Adereso 对训练 BETO-不区分大小写提供的支持，以及 千年数据基础研究学院 对训练 BETO-区分大小写的支持。同时感谢 Google 为我们提供的 TensorFlow Research Cloud 计划支持。

引用

西班牙预训练 BERT 模型及评估数据

如需在出版物中引用本资源，请使用以下格式：

@inproceedings{CaneteCFP2020,
  title={西班牙预训练 BERT 模型及评估数据},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

许可声明

我们的工作意图最适合采用 CC BY 4.0 许可协议。不过，我们无法确定用于训练 BETO 的所有数据集都具有与 CC BY 4.0 兼容的许可（尤其是商业用途）。请自行谨慎使用，并确认原始文本资源的许可符合您的需求。

参考文献

• [1] 原始多语言 BERT
• [2] “Beto、Bentz、Becas：BERT 的惊人跨语言有效性”中的多语言 BERT
• [3] “多语言 BERT 的多语言性有多强？”中的多语言 BERT
• [4] LASER
• [5] XLM (MLM+TLM)
• [6] UDPipe 在“75 种语言，1 个模型：通用依存关系解析的普遍性”中的应用
• [7] “使用上下文和非上下文子词表示进行序列标注：多语言评估”中的多语言 BERT
• [8] “PAWS-X：用于释义识别的跨语言对抗数据集”中的多语言 BERT

BETO 中文快速上手指南

环境准备

• 系统要求：Linux / macOS / Windows（推荐 Python 3.7+）
• 前置依赖：
  • Python 3.7+
  • pip（推荐使用国内镜像加速）

安装步骤

pip install transformers torch

推荐使用国内镜像加速安装（如清华源）：

pip install transformers torch -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

使用 Hugging Face Transformers 库加载 BETO 模型，支持大小写两种版本：

1. 加载未区分大小写模型（uncased）

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained('dccuchile/bert-base-spanish-wwm-uncased')
model = AutoModel.from_pretrained('dccuchile/bert-base-spanish-wwm-uncased')

2. 加载区分大小写模型（cased）

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained('dccuchile/bert-base-spanish-wwm-cased')
model = AutoModel.from_pretrained('dccuchile/bert-base-spanish-wwm-cased')

3. 简单文本编码示例

text = "Hola, ¿cómo estás?"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
print(outputs.last_hidden_state.shape)

更多任务示例（如分类、NER）请参考：Hugging Face Quickstart
完整 Colab 示例：点击访问