开源预训练语言模型合集

这是由追一科技有限公司推出的一个预训练模型合集，主要发布自研的预训练语言模型，推动自然语言处理技术的进步。预训练语言模型通过在大规模文本上进行预训练，可以作为下游自然语言处理任务的模型参数或者模型输入以提高模型的整体性能。

模型概览

以下是我们目前公开发布的模型概览：

名称	数据来源	训练数据大小	词表大小	模型大小	下载地址
RoBERTa Tiny	百科,新闻 等	35G	21128	27MB	下载链接
RoBERTa Small	百科,新闻 等	35G	21128	48MB	下载链接
SimBERT Tiny	百度知道	2200万相似句组	13685	26MB	下载链接
SimBERT Small	百度知道	2200万相似句组	13685	49MB	下载链接
SimBERT Base	百度知道	2200万相似句组	13685	344MB	下载链接
RoBERTa+ Tiny	百科,新闻 等	35G	21128	35MB	下载链接
RoBERTa+ Small	百科,新闻 等	35G	21128	67MB	下载链接
WoBERT	百科,新闻 等	35G	33586/50000	400M	WoBERT项目
T5 PEGASUS	百科,新闻 等	35G	50000	971M	T5 PEGASUS项目

评估结果

这里给出部分数据集上模型的评测结果。

(注：以下实验结果均为重复跑三次后的平均值。预测阶段，两个small模型速度完全一致，两个tiny模型速度也完全一致。)

文本情感分类

任务来源：https://github.com/bojone/bert4keras/blob/master/examples/datasets/sentiment.zip

评测脚本：task_sentiment.py

评测指标：accuracy

模型	验证集（valid）	训练速度	第一个epoch结束时的指标值	测试集（test）
RoBERTa Small	94.89%	38s/epoch	90.48%	94.81%
ALBERT Small	94.57%	33s/epoch	91.02%	94.52%
RoBERTa Tiny	94.46%	23s/epoch	90.83%	94.00%
ALBERT Tiny	94.14%	20s/epoch	90.18%	93.78%

IFLYTEK' 长文本分类

任务来源：https://github.com/CLUEbenchmark/CLUE

评测脚本：task_iflytek.py

评测指标：accuracy

模型	验证集（dev）	训练速度	第一个epoch结束时的指标值
RoBERTa+ Small	57.93%	32s/epoch	54.44%
RoBERTa Small	57.66%	27s/epoch	52.60%
ALBERT Small	57.14%	24s/epoch	48.21%
RoBERTa+ Tiny	57.51%	19s/epoch	51.00%
RoBERTa Tiny	57.43%	16s/epoch	49.76%
ALBERT Tiny	56.42%	14s/epoch	43.84%

LIC2019-IE 信息抽取任务

任务来源：http://lic2019.ccf.org.cn/kg

评测脚本：task_lic2019_ie.py

评测指标：F1

模型	验证集（dev）	训练速度	第一个epoch结束时的指标值
RoBERTa+ Small	78.35%	446s/epoch	61.92%
RoBERTa Small	78.09%	375s/epoch	63.85%
ALBERT Small	77.69%	335s/epoch	46.58%
RoBERTa+ Tiny	76.93%	264s/epoch	45.80%
RoBERTa Tiny	76.65%	235s/epoch	46.12%
ALBERT Tiny	75.94%	215s/epoch	31.66%

CIPS-SogouQA 阅读理解式问答

任务来源：http://task.www.sogou.com/cips-sogou_qa/

评测脚本：task_cips_sogou_qa.py

评测指标：(EM + F1) / 2

模型	验证集（dev）	训练速度	第一个epoch结束时的指标值
RoBERTa+ Small	71.27%	673s/epoch	56.09%
RoBERTa Small	70.35%	607s/epoch	61.07%
ALBERT Small	66.66%	582s/epoch	50.93%
RoBERTa+ Tiny	68.37%	481s/epoch	52.59%
RoBERTa Tiny	67.85%	455s/epoch	49.78%
ALBERT Tiny	63.41%	443s/epoch	37.47%

（注：此处是直接使用UniLM的Seq2Seq方案来做阅读理解，主要测试模型用做文本生成时的能力。但要说明的是，Seq2Seq并非做阅读理解的标准方案。）

模型详情

此处对每个模型进行较为详细的介绍

RoBERTa Tiny

• 【配置】 4层模型，hidden size为312，对Embedding层做了低秩分解(312->128->312)，可以用bert4keras加载使用。

• 【训练】 使用bert4keras在TPU v3-8上训练，使用带梯度累积的LAMB优化器，批大小为800，累积4步更新，相当于以批大小3200训练了125k步（前3125步为warmup）。

• 【备注】 速度跟albert tiny一致，普通分类性能也基本一致，但由于roberta模型并没有参数共享这个约束，所以在生成式任务等复杂任务上效果优于albert tiny。

RoBERTa Small

• 【配置】 6层模型，hidden size为384，对Embedding层做了低秩分解(384->128->384)，可以用bert4keras加载使用。

• 【训练】 使用bert4keras在TPU v3-8上训练，使用带梯度累积的LAMB优化器，批大小为800，累积4步更新，相当于以批大小3200训练了125k步（前3125步为warmup）。

• 【备注】 速度跟albert small一致，普通分类性能也基本一致，但由于roberta模型并没有参数共享这个约束，所以在生成式任务等复杂任务上效果优于albert small。

SimBERT Base

• 【配置】 跟bert base一致，12层模型，hidden size为768。

• 【训练】 使用bert4keras基于chinese_L-12_H-768_A-12进行继续训练，训练任务为“度量学习+UniLM”，以Adam优化器（学习率2e-6，批大小128）的Adam优化器在单个TITAN RTX上训练了117万步。

• 【备注】 简单来说，这就是一个finetune过的bert base模型，但是[CLS]对应的输出具有句向量的意义，可以用于检索任务，理论上短文本效果会更好，在跟这里一样的验证集上得到了0.96的top1准确率；此外还具有一对多生成能力。详见例子simbert_base.py。

RoBERTa⁺ Tiny

• 【配置】 4层模型，hidden size为312，key_size增大为104（原来的4倍），对Embedding层做了低秩分解(312->128->312)，可以用bert4keras加载使用。

• 【训练】 使用bert4keras在TPU v3-8上训练，使用带梯度累积的LAMB优化器，批大小为800，累积4步更新，相当于以批大小3200训练了125k步（前3125步为warmup）。

• 【备注】 速度比RoBERTa Tiny略慢，但整体效果更优。

RoBERTa⁺ Small

• 【配置】 6层模型，hidden size为384，key_size增大为128（原来的4倍），对Embedding层做了低秩分解(384->128->384)，可以用bert4keras加载使用。

• 【训练】 使用bert4keras在TPU v3-8上训练，使用带梯度累积的LAMB优化器，批大小为800，累积4步更新，相当于以批大小3200训练了125k步（前3125步为warmup）。

• 【备注】 速度比RoBERTa Small略慢，但整体效果更优。

如何引用

Bibtex：

@techreport{zhuiyipretrainedmodels,
  title={开放语言预训练模型库 - ZhuiyiAI},
  author={Jianlin Su},
  year={2020},
  url="https://github.com/ZhuiyiTechnology/pretrained-models",
}

致谢信息

本项目部分受到谷歌TensorFlow研究云计划资助，在此特别致谢。

联系我们

邮箱：ai@wezhuiyi.com

相关链接

追一科技：https://zhuiyi.ai

pretrained-models 快速上手指南

本指南帮助开发者快速使用追一科技（ZhuiyiAI）开源的中文预训练语言模型合集，包括 RoBERTa、SimBERT 等系列模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • tensorflow (推荐 2.x 版本) 或 pytorch (视具体加载方式而定，本项目主要示例基于 bert4keras)
  • bert4keras：本项目模型主要使用该库进行加载和微调。
• 硬件建议：虽然小模型可在 CPU 运行，但建议使用 GPU 进行微调和推理以获得更佳性能。

安装前置依赖

推荐使用国内镜像源加速安装：

pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install bert4keras -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目为模型权重合集，无需通过 pip 安装工具包本身。请按以下步骤获取模型：

1. 选择模型：根据任务需求（如分类、检索、生成）和显存限制，从下表中选择合适的模型。
2. 下载权重：点击对应模型的下载链接获取 .zip 文件。
3. 解压文件：将压缩包解压至本地目录（例如 ./models/）。

模型名称	适用场景	大小	下载地址
RoBERTa Tiny/Small	通用文本分类、序列标注	27MB / 48MB	Tiny / Small
SimBERT Base	句向量检索、相似度计算、生成	344MB	Base
RoBERTa+	对精度要求更高的复杂任务	35MB / 67MB	Tiny / Small

注意：WoBERT 和 T5 PEGASUS 模型请参考其独立项目仓库获取。

基本使用

以下示例展示如何使用 bert4keras 加载 RoBERTa Small 模型并进行简单的文本编码。

1. 加载模型与分词器

假设已将模型解压至 chinese_roberta_L-6_H-384_A-12 文件夹。

from bert4keras.tokenizers import Tokenizer
from bert4keras.models import build_transformer_model

# 配置路径
config_path = 'chinese_roberta_L-6_H-384_A-12/bert_config.json'
checkpoint_path = 'chinese_roberta_L-6_H-384_A-12/bert_model.ckpt'
dict_path = 'chinese_roberta_L-6_H-384_A-12/vocab.txt'

# 建立分词器
tokenizer = Tokenizer(dict_path, do_lower_case=True)

# 建立模型模型
model = build_transformer_model(
    config_path=config_path,
    checkpoint_path=checkpoint_path,
    model='roberta',
    return_keras_model=False,  # 返回原生 TF/Keras 模型
)

2. 文本编码与预测

text = '预训练模型极大地推动了自然语言处理的发展。'
tokens = tokenizer.encode(text)[0]

# 获取模型输出 (例如获取最后一层隐藏状态)
import numpy as np
inputs = np.array([tokens])
outputs = model.predict([inputs])

print(f"输入长度: {len(tokens)}")
print(f"输出向量形状: {outputs[0].shape}")

3. SimBERT 特殊用法（句向量与检索）

若使用 SimBERT 模型，可直接获取 [CLS] 向量作为句向量用于相似度计算：

# 加载 SimBERT (需指定 model='simbert')
sim_model = build_transformer_model(
    config_path='chinese_simbert_L-12_H-768_A-12/bert_config.json',
    checkpoint_path='chinese_simbert_L-12_H-768_A-12/bert_model.ckpt',
    model='simbert',
    return_keras_model=False,
)

# 编码两个句子
sent1 = '今天天气很好'
sent2 = '今日气候适宜'
tokens1 = tokenizer.encode(sent1)[0]
tokens2 = tokenizer.encode(sent2)[0]

# 获取向量表示
vec1 = sim_model.predict([np.array([tokens1])])[0][0] # 取 CLS 位
vec2 = sim_model.predict([np.array([tokens2])])[0][0]

# 计算余弦相似度 (需自行实现或调用 sklearn)
from sklearn.metrics.pairwise import cosine_similarity
similarity = cosine_similarity([vec1], [vec2])[0][0]
print(f"句子相似度: {similarity:.4f}")

更多高级用法（如微调、生成任务）请参考项目 examples 目录下的脚本。