预训练语言模型（PLMs）必读论文

由 Xiaozhi Wang 和 Zhengyan Zhang 贡献。

简介

自2018年以来，预训练语言模型（PLM）在自然语言处理领域取得了巨大成功。在这个仓库中，我们列出了一些具有代表性的PLM相关工作，并通过一张图展示了它们之间的关系。欢迎大家分享或使用！这里可以获取该图的PPT源文件，以便在您的演示文稿中使用。

欢迎大家提出修正和建议。

开源PLMs

近年来，我们持续训练并发布了多个大规模PLM，具体如下。欢迎尝试使用！

1. CPM-2。经济高效的预训练语言模型，2021年。[模型&代码]
2. CPM-1。中文预训练语言模型，2020年。[模型&代码] [论文]
3. OpenCLap。开源中文语言预训练模型库，2019年。[链接]

综述

预训练模型：过去、现在与未来。Xu Han, Zhengyan Zhang, Ning Ding, Yuxian Gu, Xiao Liu, Yuqi Huo, Jiezhong Qiu, Liang Zhang, Wentao Han, Minlie Huang, Qin Jin, Yanyan Lan, Yang Liu, Zhiyuan Liu, Zhiwu Lu, Xipeng Qiu, Ruihua Song, Jie Tang, Ji-Rong Wen, Jinhui Yuan, Wayne Xin Zhao, Jun Zhu。arXiv:2106.07139 2021年。[pdf]

PLMs相关论文

1. 半监督序列学习。安德鲁·M·戴、阮文魁。NIPS 2015。[pdf]
2. context2vec：使用双向LSTM学习通用上下文嵌入。奥伦·梅拉穆德、雅各布·戈德伯格、伊多·达甘。CoNLL 2016。[pdf] [项目] (context2vec)
3. 面向序列到序列学习的无监督预训练。普拉吉特·拉马昌德兰、彼得·J·刘、阮文魁。EMNLP 2017。[pdf] (预训练seq2seq)
4. 深度上下文化词表示。马修·E·彼得斯、马克·诺伊曼、莫希特·伊耶尔、马特·加德纳、克里斯托弗·克拉克、肯顿·李和卢克·泽特勒莫耶。NAACL 2018。[pdf] [项目] (ELMo)
5. 用于文本分类的通用语言模型微调。杰里米·霍华德和塞巴斯蒂安·鲁德尔。ACL 2018。[pdf] [项目] (ULMFiT)
6. 通过生成式预训练提升语言理解能力。亚历克·拉德福德、卡尔提克·纳拉西曼、蒂姆·萨利曼斯和伊利亚·苏茨克维尔。预印本。[pdf] [项目] (GPT)
7. BERT：面向语言理解的深度双向Transformer预训练。雅各布·德夫林、明伟·张、肯顿·李和克里斯蒂娜·陶塔诺娃。NAACL 2019。[pdf] [代码与模型]
8. 语言模型是无监督的多任务学习者。亚历克·拉德福德、杰弗里·吴、雷文·柴尔德、大卫·卢安、达里奥·阿莫迪和伊利亚·苏茨克维尔。预印本。[pdf] [代码] (GPT-2)
9. ERNIE：融入信息实体的增强语言表示。郑燕章、许汉、智远刘、辛江、孙茂松和刘群。ACL 2019。[pdf] [代码与模型] (清华ERNIE)
10. ERNIE：通过知识融合增强表示。孙宇、王书焕、李玉坤、冯世坤、陈旭义、张汉、田鑫、朱丹曦、田浩和吴华。预印本。[pdf] [代码] (百度ERNIE)
11. 防御神经网络生成的假新闻。罗温·泽勒斯、阿里·霍尔茨曼、汉娜·拉什金、约纳坦·比斯克、阿里·法哈迪、弗兰齐斯卡·罗斯纳、叶津·崔。NeurIPS 2019。[pdf] [项目] (Grover)
12. 跨语言语言模型预训练。纪尧姆·朗普尔、阿莱克西斯·孔纽。NeurIPS 2019。[pdf] [代码与模型] (XLM)
13. 面向自然语言理解的多任务深度神经网络。刘晓东、何鹏程、陈维珠、高建峰。ACL 2019。[pdf] [代码与模型] (MT-DNN)
14. MASS：面向语言生成的掩码序列到序列预训练。宋凯涛、谭旭、秦涛、陆建峰、刘铁岩。ICML 2019。[pdf] [代码与模型]
15. 面向自然语言理解和生成的统一语言模型预训练。李东、南洋、王文辉、魏福如、刘晓东、王宇、高建峰、周明、韩锡文。预印本。[pdf] (UniLM)
16. XLNet：面向语言理解的广义自回归预训练。杨志林、戴子航、杨一鸣、海梅·卡博内尔、鲁斯兰·萨拉胡丁诺夫、阮文魁。NeurIPS 2019。[pdf] [代码与模型]
17. RoBERTa：稳健优化的BERT预训练方法。尹涵刘、迈尔·奥特、纳曼·戈亚尔、杜静菲、曼达尔·乔希、陈丹琪、奥默·列维、迈克·刘易斯、卢克·泽特勒莫耶、维塞林·斯托亚诺夫。预印本。[pdf] [代码与模型]
18. SpanBERT：通过表示和预测跨度改进预训练。曼达尔·乔希、陈丹琪、尹涵刘、丹尼尔·S·韦尔德、卢克·泽特勒莫耶、奥默·列维。预印本。[pdf] [代码与模型]
19. 知识增强的上下文词表示。马修·E·彼得斯、马克·诺伊曼、罗伯特·L·洛根四世、罗伊·施瓦茨、维杜尔·乔希、萨米尔·辛格、诺亚·A·史密斯。EMNLP 2019。[pdf] (KnowBert)
20. VisualBERT：视觉与语言任务的简单高效基线。李云年·哈罗德·李、马克·亚茨卡尔、达·殷、谢志睿、常凯威。预印本。[pdf] [代码与模型]
21. ViLBERT：面向视觉-语言任务的预训练无关任务视觉语言表示。陆嘉森、德拉夫·巴特拉、黛薇·帕里克、斯蒂芬·李。NeurIPS 2019。[pdf] [代码与模型]
22. VideoBERT：视频与语言表示学习的联合模型。孙晨、奥斯汀·迈尔斯、卡尔·冯德里克、凯文·墨菲、科黛莉亚·施密德。ICCV 2019。[pdf]
23. LXMERT：从Transformer中学习跨模态编码器表示。谭浩、莫希特·班萨尔。EMNLP 2019。[pdf] [代码与模型]
24. VL-BERT：通用视觉-语言表示的预训练。苏伟杰、朱锡洲、曹岳、李彬、陆磊威、魏福如、戴继丰。预印本。[pdf]
25. Unicoder-VL：通过跨模态预训练实现视觉与语言的通用编码器。李根、段楠、方跃坚、龚明、蒋大新、周明。预印本。[pdf]
26. K-BERT：利用知识图谱实现语言表示。刘伟杰、周鹏、赵哲、王志若、鞠奇、邓浩唐、王平。预印本。[pdf]
27. 用于视觉问答的文本中检测到的对象融合。克里斯·阿尔伯蒂、杰弗里·凌、迈克尔·柯林斯、大卫·赖特。EMNLP 2019。[pdf] (B2T2)
28. 用于时间表示学习的对比双向Transformer。孙晨、法比安·巴拉德尔、凯文·墨菲、科黛莉亚·施密德。预印本。[pdf] (CBT)
29. ERNIE 2.0：面向语言理解的持续预训练框架。孙宇、王书焕、李玉坤、冯世坤、田浩、吴华、王海峰。预印本。[pdf] [代码]
30. 75种语言，1个模型：通用解析通用依存关系。丹·孔德拉秋克、米兰·斯特拉卡。EMNLP 2019。[pdf] [代码与模型] (UDify)
31. 面向中文BERT的全词掩码预训练。崔一鸣、车万祥、刘婷、秦兵、杨子青、王士瑾、胡国平。预印本。[pdf] [代码与模型] (中文BERT-wwm)
32. UNITER：学习通用图像-文本表示。陈彦纯、李林洁、于立成、艾哈迈德·埃尔·霍利、费萨尔·艾哈迈德、甘哲、程宇、刘晶晶。预印本。[pdf]
33. MultiFiT：高效的多语言语言模型微调。朱利安·艾森施洛斯、塞巴斯蒂安·鲁德尔、皮奥特·查普拉、马尔钦·卡尔达斯、西尔万·古格尔、杰里米·霍华德。EMNLP 2019。[pdf] [代码与模型]
34. 探索统一文本到文本Transformer的迁移学习极限。科林·拉菲尔、诺姆·沙泽尔、亚当·罗伯茨、凯瑟琳·李、沙兰·纳兰格、迈克尔·马特纳、颜琦周、李伟、彼得·J·刘。预印本。[pdf] [代码与模型] (T5)
35. BART：面向自然语言生成、翻译和理解的去噪序列到序列预训练。迈克·刘易斯、尹涵刘、纳曼·戈亚尔、马尔詹·加兹维涅贾德、阿卜杜勒拉赫曼·穆罕默德、奥默·列维、维斯·斯托亚诺夫、卢克·泽特勒莫耶。ACL 2020。[pdf]
36. ELECTRA：将文本编码器作为判别器而非生成器进行预训练。凯文·克拉克、明堂隆、阮文魁、克里斯托弗·D·曼宁。ICLR 2020。[pdf]
37. 语言表示学习的互信息最大化视角。孔令鹏、西普里安·德·马松·达图姆、于雷、王玲、戴子航、尤加塔玛。ICLR 2020。[pdf]
38. StructBERT：将语言结构融入预训练以实现深度语言理解。王伟、毕斌、严明、吴辰、夏江南、鲍祖义、彭立伟、罗思。ICLR 2020。[pdf]
39. Poly-encoders：用于快速准确多句评分的架构和预训练策略。塞缪尔·于莫、库尔特·舒斯特、玛丽-安妮·拉绍、杰森·韦斯顿。ICLR 2020。[pdf]
40. FreeLB：增强的语言理解对抗训练。朱晨、程宇、甘哲、孙思琪、托马斯·戈德斯坦、刘晶晶。ICLR 2020。[pdf]
41. 上下文词表示的多语言对齐。史蒂文·曹、尼基塔·基塔耶夫、丹·克莱因。ICLR 2020。[pdf]
42. TaBERT：面向文本和表格数据联合理解的预训练。尹鹏程、格雷厄姆·诺伊比格、易文涛、塞巴斯蒂安·里德尔。ACL 2020。[pdf] [代码]
43. BERTRAM：改进的词嵌入对上下文化模型性能有重大影响。蒂莫·希克、欣里希·舒策。ACL 2020。[pdf]
44. TAPAS：通过预训练实现弱监督的表格解析。乔纳森·赫尔齐格、帕韦乌·克日什托夫·诺瓦克、托马斯·穆勒、弗朗切斯科·皮奇诺、朱利安·马丁·艾森施洛斯。ACL 2020。[pdf]
45. 关于预训练语言模型的句子嵌入。李波翰、周浩、何俊贤、王明轩、杨一鸣、李雷。EMNLP 2020。[pdf]
46. 面向高效多领域语言模型预训练的实证研究。克里斯蒂安·阿鲁梅、孙清、帕尔敏德·巴蒂亚。EMNLP 2020。[pdf]
47. 利用对齐信息进行多语言神经机器翻译的预训练。林泽辉、潘晓、王明轩、邱锡鹏、冯江涛、周浩、李雷。EMNLP 2020。[pdf]
48. 将Transformer作为基于能量的完形填空模型进行预训练。凯文·克拉克、明堂隆、阮文魁、克里斯托弗·D·曼宁。EMNLP 2020。[pdf]
49. PatchBERT：即时、词汇外补丁。文尚焕、冈崎直晃。EMNLP 2020。[pdf]
50. 通过释义进行预训练。迈克·刘易斯、马尔詹·加兹维涅贾德、加尔吉·戈什、阿尔门·阿加贾尼扬、王思达、卢克·泽特勒莫耶。NeurIPS 2020。[pdf]
51. ConvBERT：基于跨度的动态卷积改进BERT。蒋子航、于伟豪、周大泉、陈云鹏、冯家仕、严水成。NeurIPS 2020。[pdf]

模型压缩与加速相关论文

1. TinyBERT：为自然语言理解蒸馏BERT。Xiaoqi Jiao、Yichun Yin、Lifeng Shang、Xin Jiang、Xiao Chen、Linlin Li、Fang Wang、Qun Liu。预印本。[pdf] [代码与模型]
2. 将特定任务知识从BERT蒸馏到简单神经网络。Raphael Tang、Yao Lu、Linqing Liu、Lili Mou、Olga Vechtomova、Jimmy Lin。预印本。[pdf]
3. 用于BERT模型压缩的耐心知识蒸馏。Siqi Sun、Yu Cheng、Zhe Gan、Jingjing Liu。EMNLP 2019。[pdf] [代码]
4. 面向大规模问答系统的多任务知识蒸馏模型压缩。Ze Yang、Linjun Shou、Ming Gong、Wutao Lin、Daxin Jiang。预印本。[pdf]
5. PANLP在MEDIQA 2019上的应用：预训练语言模型、迁移学习与知识蒸馏。Wei Zhu、Xiaofeng Zhou、Keqiang Wang、Xun Luo、Xiepeng Li、Yuan Ni、Guotong Xie。第18届BioNLP研讨会。[pdf]
6. 通过知识蒸馏改进用于自然语言理解的多任务深度神经网络。Xiaodong Liu、Pengcheng He、Weizhu Chen、Jianfeng Gao。预印本。[pdf] [代码与模型]
7. 学识渊博的学生学得更好：学生初始化对知识蒸馏的影响。Iulia Turc、Ming-Wei Chang、Kenton Lee、Kristina Toutanova。预印本。[pdf]
8. 用于序列标注的小型实用BERT模型。Henry Tsai、Jason Riesa、Melvin Johnson、Naveen Arivazhagan、Xin Li、Amelia Archer。EMNLP 2019。[pdf]
9. Q-BERT：基于Hessian矩阵的超低精度量化BERT。Sheng Shen、Zhen Dong、Jiayu Ye、Linjian Ma、Zhewei Yao、Amir Gholami、Michael W. Mahoney、Kurt Keutzer。预印本。[pdf]
10. ALBERT：用于自监督语言表示学习的轻量级BERT。Zhenzhong Lan、Mingda Chen、Sebastian Goodman、Kevin Gimpel、Piyush Sharma、Radu Soricut。ICLR 2020。[pdf]
11. 利用最优子词和共享投影实现极端的语言模型压缩。Sanqiang Zhao、Raghav Gupta、Yang Song、Denny Zhou。预印本。[pdf]
12. DistilBERT：BERT的蒸馏版本——更小、更快、更便宜、更轻。Victor Sanh、Lysandre Debut、Julien Chaumond、Thomas Wolf。预印本。[pdf]
13. 通过结构化Dropout按需减少Transformer深度。Angela Fan、Edouard Grave、Armand Joulin。ICLR 2020。[pdf]
14. 芝麻街上的窃贼！基于BERT的API模型提取。Kalpesh Krishna、Gaurav Singh Tomar、Ankur P. Parikh、Nicolas Papernot、Mohit Iyyer。ICLR 2020。[pdf]
15. DeeBERT：动态提前退出以加速BERT推理。Ji Xin、Raphael Tang、Jaejun Lee、Yaoliang Yu、Jimmy Lin。ACL 2020。[pdf]
16. 针对语言模型压缩的中间表示对比蒸馏。Siqi Sun、Zhe Gan、Yuwei Fang、Yu Cheng、Shuohang Wang、Jingjing Liu。EMNLP 2020。[pdf]
17. 忒修斯之船式的BERT：通过渐进式模块替换压缩BERT。Canwen Xu、Wangchunshu Zhou、Tao Ge、Furu Wei、Ming Zhou。EMNLP 2020。[pdf]
18. TernaryBERT：感知蒸馏的超低比特BERT。Wei Zhang、Lu Hou、Yichun Yin、Lifeng Shang、Xiao Chen、Xin Jiang、Qun Liu。EMNLP 2020。[pdf]
19. 当BERT参与彩票时，所有彩票都是中奖的。Sai Prasanna、Anna Rogers、Anna Rumshisky。EMNLP 2020。[pdf]
20. Funnel-Transformer：过滤序列冗余以实现高效语言处理。Zihang Dai、Guokun Lai、Yiming Yang、Quoc Le。NeurIPS 2020。[pdf]
21. DynaBERT：具有自适应宽度和深度的动态BERT。Lu Hou、Zhiqi Huang、Lifeng Shang、Xin Jiang、Xiao Chen、Qun Liu。NeurIPS 2020。[pdf]
22. BERT失去耐心：通过提前退出实现快速且鲁棒的推理。Wangchunshu Zhou、Canwen Xu、Tao Ge、Julian McAuley、Ke Xu、Furu Wei。NeurIPS 2020。[pdf]

模型分析相关论文

1. 揭示BERT的黑暗秘密。奥尔加·科瓦列娃、阿列克谢·罗曼诺夫、安娜·罗杰斯、安娜·鲁姆希斯基。EMNLP 2019。[pdf]
2. BERT是如何回答问题的？对Transformer表示的逐层分析。贝蒂·范·阿肯、本杰明·温特、亚历山大·勒瑟、菲利克斯·A·格斯。CIKM 2019。[pdf]
3. 十六个注意力头真的比一个更好吗？。保罗·米歇尔、奥默·列维、格雷厄姆·纽比。预印本。[pdf] [代码]
4. BERT真的稳健吗？针对文本分类和蕴含任务的自然语言攻击强基准。季进、金志静、周天一、彼得·索洛维茨。预印本。[pdf] [代码]
5. BERT有嘴巴，它必须说话：将BERT视为马尔可夫随机场语言模型。亚历克斯·王、权赫贤。NeuralGen 2019。[pdf] [代码]
6. 上下文表示的语言学知识与迁移性。尼尔森·F·刘、马特·加德纳、约纳坦·贝林科夫、马修·E·彼得斯、诺亚·A·史密斯。NAACL 2019。[pdf]
7. BERT在关注什么？对BERT注意力机制的分析。凯文·克拉克、乌尔瓦希·坎德尔瓦尔、奥默·列维、克里斯托弗·D·曼宁。BlackBoxNLP 2019。[pdf] [代码]
8. 芝麻开门：深入BERT的语言学知识。林永杰、陈义琛、罗伯特·弗兰克。BlackBoxNLP 2019。[pdf] [代码]
9. 分析Transformer语言模型中注意力结构。杰西·维格、约纳坦·贝林科夫。BlackBoxNLP 2019。[pdf]
10. 黑盒遇见黑盒：神经语言模型与大脑的表征相似性和稳定性分析。萨米拉·阿布纳尔、丽莎·贝因博恩、罗谢尔·乔埃尼、威廉·祖伊德玛。BlackBoxNLP 2019。[pdf]
11. BERT重新发现经典的NLP流水线。伊恩·滕尼、迪潘詹·达斯、艾莉·帕夫利克。ACL 2019。[pdf]
12. 多语言BERT到底有多“多语言”？。泰尔莫·皮雷斯、伊娃·施林格、丹·加雷特。ACL 2019。[pdf]
13. BERT学到了关于语言结构的哪些知识？。加内什·贾瓦哈尔、贝努瓦·萨戈、贾梅·塞达。ACL 2019。[pdf]
14. Beto、Bentz、Becas：BERT令人惊讶的跨语言有效性。吴世杰、马克·德雷兹。EMNLP 2019。[pdf]
15. 上下文化词表示究竟有多“上下文”？比较BERT、ELMo和GPT-2嵌入的几何特性。卡温·埃塔亚拉吉。EMNLP 2019。[pdf]
16. 探测神经网络对自然语言论证的理解。蒂莫西·尼文、洪宇·考。ACL 2019。[pdf] [代码]
17. 用于攻击和分析NLP的通用对抗触发器。埃里克·华莱士、石峰、尼基尔·坎德帕尔、马特·加德纳、萨米尔·辛格。EMNLP 2019。[pdf] [代码]
18. Transformer中表示的自底向上演化：基于机器翻译和语言建模目标的研究。埃琳娜·沃伊塔、里科·森尼希、伊万·季托夫。EMNLP 2019。[pdf]
19. NLP模型知道数字吗？嵌入中的数感能力探测。埃里克·华莱士、王一中、李素坚、萨米尔·辛格、马特·加德纳。EMNLP 2019。[pdf]
20. 探究BERT的语言知识：使用NPIs的五种分析方法。亚历克斯·沃斯塔特、曹宇、伊欧娜·格罗苏、魏鹏、哈根·布利克斯、倪颖宁、安娜·阿尔索普、希卡·博尔迪亚、刘浩坤、艾丽西亚·帕里什、王圣富、杰森·庞、安哈德·莫哈内、蒲蒙·胡特、帕洛玛·耶雷蒂奇、塞缪尔·R·鲍曼。EMNLP 2019。[pdf] [代码]
21. 可视化并理解BERT的有效性。郝雅茹、董丽、魏福儒、许科。EMNLP 2019。[pdf]
22. BERT几何特性的可视化与度量。安迪·科嫩、艾米丽·赖夫、安妮·袁、彬·金、亚当·皮尔斯、费尔南达·维埃加斯、马丁·瓦滕伯格。NeurIPS 2019。[pdf]
23. 作为Transformer模型解释的自注意力机制的有效性探讨。吉诺·布鲁纳、刘洋、达米安·帕斯夸尔、奥利弗·里希特、罗杰·瓦滕霍费尔。预印本。[pdf]
24. Transformer剖析：通过核函数视角统一理解Transformer的注意力机制。姚宏·蔡、白绍杰、山田诚、路易斯-菲利普·莫伦西、鲁斯兰·萨拉胡丁诺夫。EMNLP 2019。[pdf]
25. 语言模型能作为知识库吗？ 法比奥·佩特罗尼、蒂姆·罗克塔谢尔、帕特里克·刘易斯、安东·巴赫京、吴宇翔、亚历山大·H·米勒、塞巴斯蒂安·里德尔。EMNLP 2019，[pdf] [代码]
26. 微调还是不微调？将预训练表示适配到多样化任务。马修·E·彼得斯、塞巴斯蒂安·鲁德尔、诺亚·A·史密斯。RepL4NLP 2019，[pdf]
27. 单语表示的跨语言迁移性研究。米克尔·阿特切、塞巴斯蒂安·鲁德尔、丹尼·约加塔马。预印本，[pdf] [数据集]
28. 一种用于在词表示中寻找句法的结构性探针。约翰·休伊特、克里斯托弗·D·曼宁。NAACL 2019。[pdf]
29. 评估BERT的句法能力。约阿夫·戈德堡。技术报告。[pdf]
30. 从上下文中你能学到什么？对上下文化词表示中句子结构的探测。伊恩·滕尼、帕特里克·夏、柏林·陈、亚历克斯·王、亚当·波利亚克、R·托马斯·麦科伊、金娜琼、本杰明·范·杜尔梅、塞缪尔·R·鲍曼、迪潘詹·达斯和艾莉·帕夫利克。ICLR 2019。[pdf]
31. 你能告诉我如何穿过芝麻街吗？超越语言建模的句子级预训练。亚历克斯·王、扬·胡拉、帕特里克·夏、拉格文德拉·帕帕加里、R·托马斯·麦科伊、罗马·帕特尔、金娜琼、伊恩·滕尼、黄英辉、于嘉婷、金淑宁、柏林·陈、本杰明·范·杜尔梅、爱德华·格雷夫、艾莉·帕夫利克、塞缪尔·R·鲍曼。ACL 2019。[pdf]
32. BERT不是中间语，以及分词的偏差。贾斯迪普·辛格、布莱恩·麦肯、理查德·索彻和熊才明。DeepLo 2019。[pdf] [数据集]
33. BERT并非如此：来自一套新的心理语言学诊断工具对语言模型的启示。艾莉森·埃廷格。预印本。[pdf] [代码]
34. 多语言BERT到底有多“语言中性”？。金德里希·利博维茨基、鲁道夫·罗萨和亚历山大·弗雷泽。预印本。[pdf]
35. 多语言BERT的跨语言能力：一项实证研究。卡尔提凯扬·K、王子涵、斯蒂芬·梅休、丹·罗斯。ICLR 2020。[pdf]
36. 在多语言BERT中寻找通用语法关系。伊桑·A·奇、约翰·休伊特、克里斯托弗·D·曼宁。ACL 2020。[pdf]
37. 针对预训练语言模型的否定式和误引导探针：鸟会说话，但不会飞。诺拉·卡斯纳、欣里希·舒策。ACL 2020。[pdf]
38. 扰动掩码：无需参数的探针，用于分析和解释BERT。吴志勇、陈云、郭斌、刘群。ACL 2020。[pdf]
39. 鸟有四条腿？！NumSense：探测预训练语言模型的数值常识知识。比尔·余晨林、李世妍、拉胡尔·坎纳和任翔。EMNLP 2020。[pdf]
40. 识别BERT多语言能力的关键要素。菲利普·杜夫特、欣里希·舒策。EMNLP 2020。[pdf]
41. AUTOPROMPT：利用自动生成的提示从语言模型中提取知识。泰勒·申、亚萨曼·拉泽吉、罗伯特·L·洛根四世、埃里克·华莱士、萨米尔·辛格。EMNLP 2020。[pdf]
42. 预训练BERT网络的彩票假说。陈天龙、乔纳森·弗兰克尔、常诗宇、刘思佳、张阳、王章阳、迈克尔·卡宾。NeurIPS 2020。[pdf]

关于微调或适配的论文

1. SMART：通过原则性正则化优化实现预训练自然语言模型的鲁棒高效微调。姜浩明、何鹏程、陈伟柱、刘晓东、高剑锋、赵拓。ACL 2020。[pdf]
2. 你有合适的剪刀吗？基于蒙特卡洛方法裁剪预训练语言模型。苗宁、宋宇轩、周浩、李磊。ACL 2020。[pdf]
3. ExpBERT：利用自然语言解释进行表征工程。希卡尔·穆尔蒂、庞伟科、珀西·梁。ACL 2020。[pdf]
4. 不要停止预训练：将语言模型适配到特定领域和任务。苏钦·古鲁兰根、安娜·马拉索维奇、斯瓦巴·斯瓦扬迪普塔、凯尔·洛、伊兹·贝尔塔吉、道格·唐尼、诺亚·A·史密斯。ACL 2020。[pdf]
5. 回忆与学习：减少遗忘的深度预训练语言模型微调方法。陈三元、侯宇泰、崔一鸣、车万祥、刘挺、于向展。EMNLP 2020。[pdf]
6. 掩码机制：作为预训练语言模型微调的高效替代方案。赵孟杰、林涛、米飞、马丁·雅吉、欣里希·舒策。EMNLP 2020。[pdf]
7. CogLTX：将BERT应用于长文本。丁明、周畅、杨红霞、唐杰。NeurIPS 2020。[pdf]

基于提示的微调相关论文

这是我们关于预训练语言模型基于提示微调的新论文列表。[repo]

教程与资源

1. 自然语言处理中的迁移学习。塞巴斯蒂安·鲁德尔、马修·E·彼得斯、斯瓦巴·斯瓦扬迪普塔、托马斯·沃尔夫。NAACL 2019。[slides]
2. Transformers：最先进的自然语言处理工具。托马斯·沃尔夫、利桑德雷·德布特、维克多·桑、朱利安·肖蒙、克莱芒·德拉昂、安东尼·莫伊、皮埃里克·西斯塔克、蒂姆·罗尔特、雷米·卢夫、摩根·芬托维茨、杰米·布鲁。EMNLP 2020。[pdf] [code]

PLMpapers 快速上手指南

PLMpapers 并非一个可直接安装运行的软件库，而是一个预训练语言模型（PLM）必读论文清单与资源索引。它整理了从 2015 年至今具有代表性的 PLM 工作（如 BERT, GPT, ERNIE, T5 等），并提供了论文链接、代码仓库及模型地址。

本指南将指导你如何利用该资源快速定位所需模型并进行环境搭建。

环境准备

由于本仓库主要提供论文索引和外部模型链接，你需要根据具体想复现的模型（如 BERT, RoBERTa, CPM 等）准备相应的深度学习环境。以下是通用的基础环境要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+), macOS, 或 Windows (WSL2)
• Python: 3.7 或更高版本
• 深度学习框架: PyTorch (1.6+) 或 TensorFlow (2.0+)，具体取决于目标模型
• 依赖管理: pip 或 conda
• 网络环境: 访问 GitHub 和 arXiv 可能需要加速工具；部分国内模型（如 CPM, ERNIE）支持国内源下载。

安装步骤

PLMpapers 本身无需安装，只需克隆仓库获取论文列表和架构图源码。若需运行具体模型，请跳转至对应模型的官方仓库进行安装。

1. 获取论文清单与资源索引

git clone https://github.com/thunlp/PLMpapers.git
cd PLMpapers

2. 安装通用 NLP 开发环境（以 Hugging Face Transformers 为例）

大多数现代 PLM（如 BERT, RoBERTa, T5, BART）可通过 transformers 库直接加载。推荐使用国内镜像源加速安装：

# 使用清华源安装 transformers 及相关依赖
pip install transformers torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 获取特定国产模型（可选）

如果你关注列表中提到的国产开源模型（如 CPM 系列或清华/百度 ERNIE），需单独克隆其仓库：

示例：安装清华 CPM-2

git clone https://github.com/TsinghuaAI/CPM-2.git
cd CPM-2
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

示例：安装百度 ERNIE

git clone https://github.com/PaddlePaddle/ERNIE.git
cd ERNIE
# 需先安装 PaddlePaddle (推荐使用国内源)
pip install paddlepaddle -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 查阅论文与架构图

进入克隆后的目录，查看 README.md 获取完整论文列表。如需在汇报中使用经典的 PLM 家族演进图，可直接使用根目录下的图片文件或 PPT 源码：

• 图片路径：PLMfamily.jpg
• PPT 源码：下载链接

2. 快速加载一个经典模型 (以 BERT 为例)

根据列表中第 7 项 BERT 的指引，使用 transformers 库即可快速加载预训练模型进行推理：

from transformers import BertTokenizer, BertModel

# 加载分词器和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 输入文本
text = "Pre-trained language models are powerful."
inputs = tokenizer(text, return_tensors="pt")

# 前向传播
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

print(last_hidden_states.shape)

3. 加载国产模型 (以 CPM-1 为例)

根据列表中第 2 项 CPM-1 的指引，使用其官方接口：

# 假设已按照 CPM-1 仓库要求安装好环境
import cpm_generate

# 初始化模型 (具体参数需参考 CPM-1 官方文档)
# 此处仅为伪代码示例，展示如何结合列表中的资源进行使用
model = cpm_generate.load_model("path/to/cpm-1-checkpoint")
output = model.generate("人工智能是")
print(output)

提示：对于列表中列出的其他模型（如 XLNet, RoBERTa, UniLM 等），请直接点击 README 中对应的 [code & model] 链接，前往官方仓库获取最准确的运行脚本和权重文件。