PTMs：自然语言处理中的预训练模型

NLP预训练模型的全面总结(持续更新中)

置顶

知乎文章1: 全面总结！PTMs：NLP预训练模型 ➡️➡️ 图片下载

知乎文章2：nlp中的预训练语言模型总结

知乎文章3：nlp中的词向量对比

1、论文汇总：

PTMs-Papers:

1. https://github.com/thunlp/PLMpapers
2. https://github.com/tomohideshibata/BERT-related-papers
3. https://github.com/cedrickchee/awesome-bert-nlp
4. https://bertlang.unibocconi.it/
5. https://github.com/jessevig/bertviz

2. PTMs单模型解读

1. 自监督学习：Self-Supervised Learning 入门介绍
2. 自监督学习：Self-supervised Learning 再次入门
3. 词向量总结：nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert
4. 词向量总结：从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
5. ELMo解读：关于ELMo的若干问题整理记录
6. BERT解读： Bert时代的创新：Bert应用模式比较及其它
7. XLNET解读：XLNet:运行机制及和Bert的异同比较
8. XLNET解读：XLnet：比Bert更强大的预训练模型
9. RoBERTa解读：RoBERT: 没错，我就是能更强——更大数据规模和仔细调参下的最优BERT
10. 预训练语言模型总结：nlp中的预训练语言模型总结(单向模型、BERT系列模型、XLNet)
11. 预训练语言模型总结：8篇论文梳理BERT相关模型进展与反思
12. ELECTRA解读: ELECTRA: 超越BERT, 19年最佳NLP预训练模型
13. 模型压缩 LayerDrop:结构剪枝：要个4层的BERT有多难？
14. 模型压缩 BERT-of-Theseus:bert-of-theseus，一个非常亲民的bert压缩方法
15. 模型压缩 TinyBERT:比 Bert 体积更小速度更快的 TinyBERT
16. 模型压缩总结：BERT 瘦身之路：Distillation，Quantization，Pruning

（持续更新中...）

Pre-trained-Models 快速上手指南

本项目并非一个可直接安装的 Python 库，而是一个NLP 预训练模型（PTMs）的资源汇总仓库。它提供了论文列表、技术解读文章以及模型架构图谱。本指南将帮助你利用该仓库提供的资源，快速定位并上手使用主流的 NLP 预训练模型。

1. 环境准备

由于本项目主要提供文献和思路指引，实际运行模型需要配置标准的深度学习环境。

• 系统要求：Linux / macOS / Windows
• 前置依赖：
  • Python 3.6+
  • PyTorch 或 TensorFlow (根据你选择的具体模型框架)
  • Transformers 库 (推荐安装 Hugging Face transformers，这是目前调用 BERT、RoBERTa、ELECTRA 等模型最通用的方式)
  • Git (用于克隆本资源仓库)

建议安装命令：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers datasets accelerate

(注：以上使用了 PyTorch 官方源，国内用户若需加速可替换为清华镜像源)

2. 获取资源与学习路径

克隆本仓库以获取详细的模型解读文章链接和架构图。

git clone https://github.com/loujie0822/Pre-trained-Models.git
cd Pre-trained-Models

核心资源索引：

• 全景图谱：查看 resources/PTMs.jpg，了解从 Word2Vec 到 BERT、XLNet、ELECTRA 的演进路线。
• 论文汇总：参考 README 中的 PTMs-Papers 章节，访问 thunlp/PLMpapers 等仓库获取最新论文。
• 深度解读：README 中列出了 16 篇知乎技术文章，涵盖了自监督学习原理、各模型（ELMo, BERT, XLNet, RoBERTa）的机制对比以及模型压缩（Distillation, Pruning）方案。强烈建议先阅读对应模型的解读文章再动手编码。

3. 基本使用示例

基于本仓库推荐的模型体系（如 BERT/RoBERTa），以下是使用 Hugging Face transformers 加载预训练模型进行推理的最简示例。

示例：加载中文 BERT 模型进行掩码预测

from transformers import BertTokenizer, BertForMaskedLM
import torch

# 1. 加载分词器和预训练模型 (自动下载或使用本地路径)
# 这里以 bert-base-chinese 为例，也可替换为 RoBERTa 或 ELECTRA 等
model_name = "bert-base-chinese"
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForMaskedLM.from_pretrained(model_name)

# 2. 准备输入文本 (使用 [MASK] 作为待预测位置)
text = "中国的首都是 [MASK] 京。"
inputs = tokenizer(text, return_tensors="pt")

# 3. 模型推理
with torch.no_grad():
    outputs = model(**inputs)
    prediction_scores = outputs.logits

# 4. 解析结果
predicted_index = torch.argmax(prediction_scores[0, inputs["input_ids"][0] == tokenizer.mask_token_id]).item()
predicted_token = tokenizer.convert_ids_to_tokens([predicted_index])[0]

print(f"原文：{text}")
print(f"预测结果：{text.replace('[MASK]', predicted_token)}")

后续步骤：

1. 根据仓库中的“模型压缩”章节（如 TinyBERT, BERT-of-Theseus），在资源受限场景下选择轻量化模型。
2. 参考"PTMs 单模型解读”中的链接，深入理解特定模型的损失函数和架构差异，以便进行微调（Fine-tuning）。