OpenCLaP：多领域开源中文预训练语言模型仓库

目录

• 项目简介
• 模型概览
• 使用方式
• 项目网站
• 作者与致谢

项目简介

OpenCLaP（Open Chinese Language Pre-trained Model Zoo）是由清华大学人工智能研究院自然语言处理与社会人文计算研究中心推出的一个多领域中文预训练模型仓库。预训练语言模型通过在大规模文本上进行预训练，可以作为下游自然语言处理任务的模型参数或者模型输入以提高模型的整体性能。该模型仓库具有如下几个特点：

• 多领域。我们目前训练出了基于法律文本和百度百科的预训练模型，以提供多样化的可选择模型。
• 能力强。我们使用了当前主流的 BERT 模型作为预训练的神经网络结构，并支持最大 512 长度的文本输入来适配更加多样的任务需求。
• 持续更新。我们将在近期加入更多的预训练模型，如增加更多样的训练语料，使用最新的全词覆盖（Whole Word Masking）训练策略等。

模型概览

以下是我们目前公开发布的模型概览：

名称	基础模型	数据来源	训练数据大小	词表大小	模型大小	下载地址
民事文书 BERT	bert-base	全部民事文书	2654 万篇文书	22554	370MB	点我下载
刑事文书 BERT	bert-base	全部刑事文书	663 万篇文书	22554	370MB	点我下载
百度百科 BERT	bert-base	百度百科	903 万篇词条	22166	367MB	点我下载

使用方式

我们提供的模型可以被开源项目 pytorch-pretrained-BERT 直接使用。以民事文书 BERT 为例，具体使用方法分为两步：

• 首先使用脚本下载我们的模型

wget https://thunlp.oss-cn-qingdao.aliyuncs.com/bert/ms.zip
unzip ms.zip

• 在运行时指定使用我们的模型 --bert_model $model_folder 来进行使用

项目网站

请访问 http://zoo.thunlp.org 以获得更多有关信息。

引用

Bibtex：

@techreport{zhong2019openclap,
  title={Open Chinese Language Pre-trained Model Zoo},
  author={Zhong, Haoxi and Zhang, Zhengyan and Liu, Zhiyuan and Sun, Maosong},
  year={2019},
  url = "https://github.com/thunlp/openclap",
}

作者与致谢

Haoxi Zhong（钟皓曦，硕士生）, Zhengyan Zhang（张正彦，本科生）, Zhiyuan Liu（刘知远，副教授）, Maosong Sun（孙茂松，教授）.

感谢 幂律智能 对本项目的大力支持与帮助。

OpenCLaP 快速上手指南

OpenCLaP（Open Chinese Language Pre-trained Model Zoo）是由清华大学推出的多领域中文预训练模型仓库。本指南将帮助您快速下载并部署其中的模型。

环境准备

• 操作系统：Linux / macOS / Windows
• 编程语言：Python 3.6+
• 深度学习框架：PyTorch
• 依赖库：pytorch-pretrained-bert
• 存储空间：每个模型约 370MB，请预留足够磁盘空间
• 网络建议：推荐使用国内网络环境以加速下载（模型托管于阿里云 OSS）

安装步骤

1. 安装依赖库

首先确保已安装 pytorch-pretrained-bert 库：

pip install pytorch-pretrained-bert

2. 下载模型文件

根据您的需求选择对应的模型进行下载。以下以民事文书 BERT为例：

wget https://thunlp.oss-cn-qingdao.aliyuncs.com/bert/ms.zip
unzip ms.zip

其他模型下载地址：

• 刑事文书 BERT：点我下载
• 百度百科 BERT：点我下载

基本使用

下载并解压后，您可以直接在 Python 脚本中加载本地模型。以下示例展示如何加载词表与模型：

from pytorch_pretrained_bert import BertTokenizer, BertModel

# 指定模型文件夹路径
model_path = './bert-ms/' 

# 初始化分词器
tokenizer = BertTokenizer.from_pretrained(model_path)

# 初始化预训练模型
model = BertModel.from_pretrained(model_path)

# 设置模型为评估模式
model.eval()

加载完成后，即可将模型用于下游自然语言处理任务。更多详细信息请访问项目网站：http://zoo.thunlp.org。