中文 | English

Mengzi

尽管预训练语言模型在自然语言处理（NLP）的各个领域里得到了广泛的应用，但是其高昂的时间和算力成本依然是一个亟需解决的问题。这要求我们在一定的算力约束下，研发出各项指标更优的模型。

我们的目标不是追求更大的模型规模，而是轻量级但更强大，同时对部署和工业落地更友好的模型。

基于语言学信息融入和训练加速等方法，我们研发了 Mengzi 系列模型。由于与 BERT（Bidirectional Encoder Representations from Transformers）保持一致的模型结构，Mengzi 模型可以快速替换现有的预训练模型。

详细的技术报告请参考:

Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese

更新 2022-11-10

• 增加 Guohua-Diffusion

更新 2022-10-13

• 增加 ReGPT-125M-200G，基于 Mengzi-Retrieval-LM 在 GPT-Neo-125M 上训练的模型

更新 2022-09-01

• 添加 4 个基于中文语料裁剪的 BLOOM 模型

更新 2022-08-29

添加两个已开源的 GPT（Generative Pre-trained Transformer）架构模型：

• 基于中文语料从头训练的 GPT-neo 模型 Mengzi-GPT-neo-base
• 基于中文语料对多语言版本进行裁剪的 BLOOM 模型 BLOOM-389m-zh

更新 2022-08-18

@huajingyun

• 添加已开源的孟子蒸馏模型 Mengzi-BERT-L6-H768。该模型由 mengzi-bert-large 蒸馏获得。
• 添加已开源的孟子多任务模型 Mengzi-T5-base-MT。该模型是一个多任务模型，是在 Mengzi-T5-base 的基础上，使用了额外的 27 个数据集及 301 个提示词（prompt）进行了多任务训练得到的。Mengzi Zero-Shot 开源项目已提供实体抽取、语义相似度、金融关系抽取、广告文案生成、医学领域意图分类、情感分类、评论对象抽取、新闻分类等能力，开箱即用。

更新 2022-02-26

@hululuzhu 基于 mengzi-t5-base 训练了中文 AI 写作模型，可以生成诗歌和对子。模型和具体用法请参考：chinese-ai-writing-share

一些生成例子：

上：不待鸣钟已汗颜，重来试手竟何艰
下：何堪击鼓频催泪？一别伤心更枉然
上：北国风光，千里冰封，万里雪飘
下：南疆气象，五湖浪涌，三江潮来

標題：作诗：中秋
詩歌：秋氣侵肌骨，寒光入鬢毛。雲收千里月，風送一帆高。
標題：作诗：中秋 模仿：苏轼
詩歌：月從海上生，照我庭下影。不知此何夕，但見天宇靜。

更新 2022-02-10

感谢由飞桨团队 @yingyibiao 提供的 PaddleNLP（飞桨自然语言处理库）版本模型和文档。

注意：PaddleNLP 版本的模型并非澜舟科技的产品，我们也不为其结果和效果承担相应责任。

导航

• 模型介绍
• 快速上手
• 依赖安装
• 联系方式
• 免责声明
• 文献引用

模型介绍

模型	参数量	适用场景	特点	下载链接
Mengzi-BERT-base	110M	文本分类、实体识别、关系抽取、阅读理解等自然语言理解类任务	与 BERT 结构相同，可以直接替换现有 BERT 权重	HuggingFace, 国内 ZIP 下载, PaddleNLP
Mengzi-BERT-L6-H768	60M	文本分类、实体识别、关系抽取、阅读理解等自然语言理解类任务	由 Mengzi-BERT-large 蒸馏获得	HuggingFace
Mengzi-BERT-base-fin	110M	金融领域的自然语言理解类任务	基于 Mengzi-BERT-base 在金融语料上训练	HuggingFace, 国内 ZIP 下载, PaddleNLP
Mengzi-T5-base	220M	适用于文案生成、新闻生成等可控文本生成任务	与 T5（Text-to-Text Transfer Transformer）结构相同，不包含下游任务，需要在特定任务上进行微调（Finetune）后使用。与 GPT 定位不同，不适合文本续写	HuggingFace, 国内 ZIP 下载, PaddleNLP
Mengzi-T5-base-MT	220M	提供零样本（Zero-Shot）、少样本（Few-Shot）能力	多任务模型，可通过 prompt 完成各种任务	HuggingFace
Mengzi-Oscar-base	110M	适用于图片描述、图文互检等任务	基于 Mengzi-BERT-base 的多模态模型。在百万级图文对上进行训练	HuggingFace
Mengzi-GPT-neo-base	125M	文本续写类任务	基于中文语料从头训练，适合作为相关工作的基线（baseline）模型	HuggingFace
BLOOM-389m-zh	389M	文本续写类任务	基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求	HuggingFace
BLOOM-800m-zh	800M	文本续写类任务	基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求	HuggingFace
BLOOM-1b4-zh	1400M	文本续写类任务	基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求	HuggingFace
BLOOM-2b5-zh	2500M	文本续写类任务	基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求	HuggingFace
BLOOM-6b4-zh	6400M	文本续写类任务	基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求	HuggingFace
ReGPT-125M-200G	125M	文本续写类任务	通过 https://github.com/Langboat/mengzi-retrieval-lm 在 GPT-Neo-125M 上训练的模型	HuggingFace
Guohua-Diffusion	-	国画风文图生成	基于 Stable Diffusion（图像生成模型）v1.5 进行 DreamBooth（微调方法）训练	HuggingFace

快速上手

Mengzi-BERT

# 使用 Huggingface transformers 加载
from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

或者

# 使用 PaddleNLP 加载
from paddlenlp.transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

已集成至 Huggingface Spaces，使用 Gradio。查看演示：

Mengzi-T5

# 使用 Huggingface transformers 加载
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("Langboat/mengzi-t5-base")
model = T5ForConditionalGeneration.from_pretrained("Langboat/mengzi-t5-base")

或者

# 使用 PaddleNLP 加载
from paddlenlp.transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("Langboat/mengzi-t5-base")
model = T5ForConditionalGeneration.from_pretrained("Langboat/mengzi-t5-base")

Mengzi-Oscar

参考文档

依赖安装

# 使用 Huggingface transformers 加载
pip install transformers

或者

# 使用 PaddleNLP 加载
pip install paddlenlp

下游任务

中文语言理解评测基准（CLUE）分数

Model	AFQMC	TNEWS	IFLYTEK	CMNLI	WSC	CSL	CMRC2018	C3	CHID
RoBERTa-wwm-ext	74.30	57.51	60.80	80.70	67.20	80.67	77.59	67.06	83.78
Mengzi-BERT-base	74.58	57.97	60.68	82.12	87.50	85.40	78.54	71.70	84.16
Mengzi-BERT-L6-H768	74.75	56.68	60.22	81.10	84.87	85.77	78.06	65.49	80.59

RoBERTa-wwm-ext 的分数来自 CLUE baseline

对应超参

任务	学习率	全局批次大小	训练轮数
AFQMC	3e-5	32	10
TNEWS	3e-5	128	10
IFLYTEK	3e-5	64	10
CMNLI	3e-5	512	10
WSC	8e-6	64	50
CSL	5e-5	128	5
CMRC2018	5e-5	8	5
C3	1e-4	240	3
CHID	5e-5	256	5

联系方式

微信讨论群

邮箱

wangyulong[at]langboat[dot]com

FAQ

Q. mengzi-bert-base 保存的模型大小是 196M。但 bert-base 的模型大小是在 389M 左右，是定义的 base 有区别，还是保存的时候，少了一些不必要的内容？
A: 这是因为 Mengzi-bert-base 用 FP16（半精度浮点数）训练的。

Q. 金融预训练模型的数据来源是什么呢？
A: 网页爬取的金融新闻、公告、研报。

Q. 是否有 Tensorflow（深度学习框架）版模型？
A: 可以自行转换。

Q. 能否开源 Training（训练）代码？
A: 由于和内部基础设施耦合的比较紧，目前没有计划。

Q. 如何能做到 Langboat 官方网站上文本生成 Demo 一样的效果呢？
A: 我们的文本生成核心模型基于 T5（文本到文本转换模型）架构，基础的文本生成算法可以参考 Google（谷歌）的 T5 论文：https://arxiv.org/pdf/1910.10683.pdf。 我们开源的 Mengzi-T5 模型与 Google 的 T5 预训练模型架构相同是通用的预训练模型，没有专门的文本生成任务。我们的营销文案生成功能是在其之上使用大量数据进行了具体的下游任务 Finetune（微调）。而在此基础上为了达到可控生成的效果，我们又构建了一整套文本生成 Pipeline（流水线）：从数据清洗、知识抽取、训练数据构建到生成质量评价。其中大部分是按照商业落地场景进行订制的：根据不同的业务需求、不同的数据形式构建不同的预训练和 Finetune（微调）任务。这部分牵涉到比较复杂的软件架构以及具体的业务场景，我们暂时还没有进行开源。

Q. Mengzi-T5-base 能直接 Inference（推理）么？
A: 我们参考了 T5 v1.1，不包含下游任务。

Q: 用 Huggingface Transformer（自然语言处理库）加载出错了怎么办？
A: 加上 force_download=True 试试。

Q: Mengzi-T5-base 在做 constrain generation（约束生成）的时候，似乎总是倾向于生成词粒度的候选，而 mT5（多语言 T5）则相反，是字粒度优先，这个是训练过程就是词粒度处理了吗？
A: 我们没有用 mT5 的词表，而是基于语料重新训练了 Tokenizer（分词器），包含了更多词汇。这样同样长度的文本 encode（编码）之后 token（词元）数会更少些，显存占用更小，训练速度更快。

免责声明

该项目中的内容仅供技术研究参考，不作为任何结论性依据。使用者可以在许可证范围内任意使用该模型，但我们不对因使用该项目内容造成的直接或间接损失负责。技术报告中所呈现的实验结果仅表明在特定数据集和超参组合下的表现，并不能代表各个模型的本质。实验结果可能因随机数种子，计算设备而发生改变。

使用者以各种方式使用本模型（包括但不限于修改使用、直接使用、通过第三方使用）的过程中，不得以任何方式利用本模型直接或间接从事违反所属法域的法律法规、以及社会公德的行为。使用者需对自身行为负责，因使用本模型引发的一切纠纷，由使用者自行承担全部法律及连带责任。我们不承担任何法律及连带责任。

我们拥有对本免责声明的解释、修改及更新权。

文献引用

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Mengzi 快速上手指南

简介

Mengzi 是面向中文的轻量级预训练模型系列，兼容 BERT、T5 等主流架构，旨在降低算力成本并提升工业落地友好度。

环境准备

• Python: 建议版本 3.7+
• 深度学习框架: 根据选择的库选择其一
  • PyTorch (配合 Hugging Face Transformers)
  • PaddlePaddle (配合 PaddleNLP)
• 硬件: 推荐使用 GPU 进行推理与训练，具体显存需求视模型规模而定。

安装步骤

根据开发习惯选择以下任一方案：

方案一：Hugging Face Transformers（推荐）

pip install transformers

方案二：PaddleNLP

pip install paddlenlp

注意：若遇到模型下载缓慢问题，可参考项目提供的国内 ZIP 下载链接手动下载后加载本地路径。 国内镜像示例：Mengzi-BERT-base

基本使用

加载 Mengzi-BERT 模型

支持直接替换现有 BERT 权重，适用于文本分类、实体识别等任务。

使用 HuggingFace Transformers

# 使用 Huggingface transformers 加载
from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

使用 PaddleNLP

# 使用 PaddleNLP 加载
from paddlenlp.transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

加载 Mengzi-T5 模型

适用于文案生成、新闻生成等可控文本生成任务。

使用 HuggingFace Transformers

# 使用 Huggingface transformers 加载
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("Langboat/mengzi-t5-base")
model = T5ForConditionalGeneration.from_pretrained("Langboat/mengzi-t5-base")

使用 PaddleNLP

# 使用 PaddleNLP 加载
from paddlenlp.transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("Langboat/mengzi-t5-base")
model = T5ForConditionalGeneration.from_pretrained("Langboat/mengzi-t5-base")

更多资源

• 技术报告：Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese
• 完整模型列表：请参考原项目 README 中的“模型介绍”表格。