大型语言模型实用指南

这是一份精心整理（仍在持续更新）的大型语言模型实用指南资源列表。该列表基于我们的综述论文：《在实践中释放大型语言模型的力量：ChatGPT及之后的综述》（arXiv:2304.13712），以及@xinyadu 的贡献。这篇综述部分参考了这篇博客的后半部分内容：Blog。我们还构建了一棵现代大型语言模型的演化树，以追溯近年来语言模型的发展历程，并重点介绍了几款最为知名的模型。

这些资源旨在帮助从业者更好地理解大型语言模型及其在自然语言处理（NLP）领域的广泛应用。此外，我们还根据模型和数据的许可信息，列出了它们的使用限制。

如果您觉得本仓库中的任何资源对您有所帮助，请随时使用它们（别忘了引用我们的论文哦！😃）。我们也欢迎通过 Pull Request 来不断完善这张图！

    @article{yang2023harnessing,
        title={Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond}, 
        author={Jingfeng Yang and Hongye Jin and Ruixiang Tang and Xiaotian Han and Qizhang Feng and Haoming Jiang and Bing Yin and Xia Hu},
        year={2023},
        eprint={2304.13712},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
    }

最新消息💥

• 我们新增了使用与限制部分。
• 我们使用 PowerPoint 绘制了图表，并发布了源文件 pptx，用于生成 GIF 动画图。[2023年4月27日]
• 我们发布了静态版本的源文件 pptx，并用静态版本替换了仓库中的图片。[2023年4月29日]
• 在图表中添加了 AlexaTM、UniLM 和 UniLMv2，并修正了 Tk 的标志。[2023年4月29日]
• 新增了使用与限制（针对商业和研究用途）部分。特别感谢 Dr. Du 的贡献。[2023年5月8日]

其他大型语言模型实用指南

• 为什么所有公开的 GPT-3 复现都失败了？我们在哪些任务中应该使用 GPT-3.5/ChatGPT？ 2023年，博客
• 构建用于生产的大型语言模型应用，2023年，博客
• 以数据为中心的人工智能，2023年，仓库/博客/论文

目录

• 大型语言模型实用指南
  • 模型实用指南
    • BERT 类语言模型：编码器-解码器或仅编码器
    • GPT 类语言模型：仅解码器
  • 数据实用指南
    • 预训练数据
    • 微调数据
    • 测试数据/用户数据
  • NLP 任务实用指南
    • 传统 NLU 任务
    • 生成任务
    • 知识密集型任务
    • 规模扩展带来的能力
    • 特定任务
    • 现实世界“任务”
    • 效率
    • 可信性
    • 基准指令微调
    • 对齐
      • 安全对齐（无害）
      • 真实性对齐（诚实）
      • 提示工程实用指南（有益）
      • 开源社区的对齐努力
  • 使用与限制（模型和数据）

模型实用指南

BERT 类语言模型：编码器-解码器或仅编码器

• BERT BERT：面向语言理解的深度双向 Transformer 预训练，2018年，论文
• RoBERTa RoBERTa：一种鲁棒优化的 BERT 预训练方法，2019年，论文
• DistilBERT DistilBERT，BERT 的蒸馏版：更小、更快、更便宜、更轻量，2019年，论文
• ALBERT ALBERT：用于自监督语言表示学习的精简版 BERT，2019年，论文
• UniLM 统一语言模型预训练：用于自然语言理解和生成，2019年，论文
• ELECTRA ELECTRA：将文本编码器作为判别器而非生成器进行预训练，2020年，论文
• T5 “探索迁移学习的极限：一种统一的文本到文本 Transformer”。Colin Raffel 等人 JMLR 2019。论文
• GLM “GLM-130B：一个开放的双语预训练模型”。2022年，论文
• AlexaTM “AlexaTM 20B：利用大规模多语言 Seq2Seq 模型进行少样本学习”。Saleh Soltan 等人 arXiv 2022。论文
• ST-MoE ST-MoE：设计稳定且可迁移的稀疏专家模型。2022年，论文

GPT 类语言模型：仅解码器架构

• GPT 通过生成式预训练提升语言理解能力。2018 年。论文
• GPT-2 语言模型是无监督的多任务学习者。2018 年。论文
• GPT-3 “语言模型是少样本学习者”。NeurIPS 2020。论文
• OPT “OPT：开放的预训练 Transformer 语言模型”。2022 年。论文
• PaLM “PaLM：通过 Pathways 扩展语言建模”。Aakanksha Chowdhery 等人 arXiv 2022。论文
• BLOOM “BLOOM：一个拥有 1760 亿参数的开源多语言语言模型”。2022 年。论文
• MT-NLG “使用 DeepSpeed 和 Megatron 训练 Megatron-Turing NLG 530B，一个大规模生成式语言模型”。2021 年。论文
• GLaM “GLaM：基于专家混合的高效语言模型扩展方法”。ICML 2022。论文
• Gopher “语言模型的扩展：方法、分析及从 Gopher 训练中获得的洞见”。2021 年。论文
• chinchilla “训练计算最优的大规模语言模型”。2022 年。论文
• LaMDA “LaMDA：面向对话应用的语言模型”。2021 年。论文
• LLaMA “LLaMA：开放且高效的基座语言模型”。2023 年。论文
• GPT-4 “GPT-4 技术报告”。2023 年。论文
• BloombergGPT BloombergGPT：用于金融的大规模语言模型，2023 年，论文
• GPT-NeoX-20B：“GPT-NeoX-20B：一个开源的自回归语言模型”。2022 年。论文
• PaLM 2：“PaLM 2 技术报告”。2023 年。技术报告
• LLaMA 2：“Llama 2：开放的基础模型和微调后的聊天模型”。2023 年。论文
• Claude 2：“Claude 模型的模型卡片与评估”。2023 年。模型卡片

数据实用指南

预训练数据

• RedPajama，2023 年。仓库
• The Pile：用于语言建模的 800GB 多样化文本数据集，Arxiv 2020。论文
• 预训练目标如何影响大型语言模型对语言特性的学习？ ACL 2022。论文
• 神经网络语言模型的缩放法则，2020 年。论文
• 以数据为中心的人工智能：综述，2023 年。论文
• GPT 是如何获得其能力的？追溯语言模型涌现能力的来源，2022 年。博客

微调数据

• 零样本文本分类基准测试：数据集、评估与蕴含方法，EMNLP 2019。论文
• 语言模型是少样本学习者，NIPS 2020。论文
• LLM 的合成数据生成是否有助于临床文本挖掘？ Arxiv 2023 论文

测试数据/用户数据

• 自然语言理解中大型语言模型的捷径学习：综述，Arxiv 2023。论文
• 关于 ChatGPT 的鲁棒性：对抗性和分布外视角，Arxiv 2023。论文
• SuperGLUE：一个更具挑战性的通用语言理解系统基准测试，Arxiv 2019。论文

NLP 任务实用指南

我们为用户的 NLP 应用构建了一个选择 LLM 或微调模型的决策流程~\protect\footnotemark。该决策流程帮助用户评估其下游 NLP 任务是否满足特定条件，并根据评估结果确定 LLM 还是微调模型更适合其应用。

传统 NLU 任务

• 针对 civil comments 数据集的毒性评论分类基准测试 Arxiv 2023 论文
• ChatGPT 是不是通用的自然语言处理任务求解器？ Arxiv 2023 论文
• 大型语言模型在新闻摘要方面的基准测试 Arxiv 2022 论文

生成任务

• GPT-3 时代的新闻摘要与评估 Arxiv 2022 论文
• ChatGPT 是不是优秀的翻译工具？是的，以 GPT-4 为引擎 Arxiv 2023 论文
• 微软为 WMT21 共享任务提供的多语言机器翻译系统，WMT2021 论文
• ChatGPT 能否也理解？ChatGPT 与微调后 BERT 的比较研究，Arxiv 2023，论文

知识密集型任务

• 衡量大规模多任务语言理解能力，ICLR 2021 论文
• 超越模仿游戏：量化并推断语言模型的能力，Arxiv 2022 论文
• 逆向缩放奖，2022 链接
• Atlas：基于检索增强的语言模型的少样本学习，Arxiv 2022 论文
• 大型语言模型编码了临床知识，Arxiv 2022 论文

具有规模效应的能力

• 训练计算最优的大语言模型，NeurIPS 2022 论文
• 神经语言模型的规模定律，Arxiv 2020 论文
• 通过过程与结果反馈解决数学应用题，Arxiv 2022 论文
• 思维链提示在大语言模型中激发推理能力，NeurIPS 2022 论文
• 大语言模型的涌现能力，TMLR 2022 论文
• 反向缩放可能呈现U型曲线，Arxiv 2022 论文
• 迈向大语言模型中的推理：综述，Arxiv 2022 论文

具体任务

• 图像作为外语：BEiT预训练用于所有视觉及视觉-语言任务，Arixv 2022 论文
• PaLI：联合规模化的多语言语言-图像模型，Arxiv 2022 论文
• AugGPT：利用ChatGPT进行文本数据增强，Arxiv 2023 论文
• GPT-3是优秀的数据标注者吗？，Arxiv 2022 论文
• 想降低标注成本吗？GPT-3可以帮忙，EMNLP findings 2021 论文
• GPT3Mix：利用大规模语言模型进行文本增强，EMNLP findings 2021 论文
• 用于患者试验匹配的LLM：面向隐私保护的数据增强以提升性能和泛化能力，Arxiv 2023 论文
• ChatGPT在文本标注任务中优于众包工作者，Arxiv 2023 论文
• G-Eval：使用GPT-4进行更符合人类期望的NLG评估，Arxiv 2023 论文
• GPTScore：按您需求进行评估，Arxiv 2023 论文
• 大语言模型是当前最先进的翻译质量评估工具，Arxiv 2023 论文
• ChatGPT是优秀的NLG评估者吗？一项初步研究，Arxiv 2023 论文

真实世界的“任务”

• 通用人工智能的火花：GPT-4的早期实验，Arxiv 2023 论文

效率

1. 成本

• OpenAI的GPT-3语言模型：技术概述，2020年。博客文章
• 衡量云实例中人工智能的碳强度，FaccT 2022。论文
• 在人工智能领域，越大是否总是越好？，Nature文章 2023年。文章
• 语言模型是少样本学习者，NeurIPS 2020。论文
• 定价，OpenAI。博客文章

2. 延迟

• HELM：语言模型的整体评估，Arxiv 2022。论文

3. 参数高效的微调

• LoRA：大语言模型的低秩适应，Arxiv 2021。论文
• Prefix-Tuning：优化连续提示以进行生成，ACL 2021。论文
• P-Tuning：提示调优在不同规模和任务上可与微调相媲美，ACL 2022。论文
• P-Tuning v2：提示调优在不同规模和任务上均可与微调相媲美，Arxiv 2022。论文

4. 预训练系统

• ZeRO：面向万亿参数模型训练的内存优化，Arxiv 2019。论文
• Megatron-LM：利用模型并行性训练数十亿参数的语言模型，Arxiv 2019。论文
• 使用Megatron-LM在GPU集群上高效训练大规模语言模型，Arxiv 2021。论文
• 减少大型Transformer模型中的激活重计算，Arxiv 2021。论文

可信度

1. 鲁棒性和校准

• 使用前先校准：提升语言模型的少样本性能，ICML 2021。论文
• SPeC：基于软提示的校准，用于缓解临床笔记摘要中的性能波动，Arxiv 2023。论文

2. 虚假偏见

• 大语言模型可能是懒惰的学习者：分析上下文学习中的捷径，ACL 2023发现 论文
• 自然语言理解中大语言模型的捷径学习：综述，2023年 论文
• 缓解字幕系统中的性别偏见，WWW 2020 论文
• 使用前先校准：提升语言模型的少样本性能，ICML 2021 论文
• 深度神经网络中的捷径学习，Nature Machine Intelligence 2020 论文
• 基于提示的模型真的理解其提示的含义吗？，NAACL 2022 论文

3. 安全问题

• GPT-4系统卡片，2023年 论文
• 检测LLM生成文本的科学，Arxiv 2023 论文
• 刻板印象如何通过语言传播：社会类别与刻板印象沟通（SCSC）框架的回顾与介绍，传播学研究评论，2019年 论文
• 性别阴影：商业性别分类中的交叉准确性差异，FaccT 2018 论文

基准指令微调

• FLAN：微调后的语言模型是零样本学习者，Arxiv 2021 论文
• T0：多任务提示训练实现零样本任务泛化，Arxiv 2021 论文
• 通过自然语言众包指令实现跨任务泛化，ACL 2022 论文
• Tk-INSTRUCT：Super-NaturalInstructions：基于1600多种NLP任务的声明式指令实现泛化，EMNLP 2022 论文
• FLAN-T5/PaLM：扩展指令微调语言模型，Arxiv 2022 论文
• FLAN数据集：为有效指令微调设计数据与方法，Arxiv 2023 论文
• OPT-IML：从泛化的视角扩展语言模型指令元学习，Arxiv 2023 论文

对齐

• 基于人类偏好深度强化学习，NIPS 2017 论文
• 从人类反馈中学习总结，Arxiv 2020 论文
• 通用语言助手作为对齐的实验室，Arxiv 2021 论文
• 利用人类反馈强化学习训练有益且无害的助手，Arxiv 2022 论文
• 教导语言模型用经过验证的引文支持答案，Arxiv 2022 论文
• InstructGPT：通过人类反馈训练语言模型遵循指令，Arxiv 2022 论文
• 通过有针对性的人类判断改进对话代理的对齐性，Arxiv 2022 论文
• 奖励模型过度优化的规模定律，Arxiv 2022 论文
• 可扩展监督：衡量大型语言模型可扩展监督的进展，Arxiv 2022 论文

安全性对齐（无害）

• 用语言模型对抗语言模型，Arxiv 2022 论文
• Constitutional AI：来自AI反馈的无害性，Arxiv 2022 论文
• 大型语言模型的道德自我修正能力，Arxiv 2023 论文
• OpenAI：我们的人工智能安全方法，2023 博客

真实性对齐（诚实）

• 语言模型的强化学习，2023 博客

提示工程实用指南（有益）

• OpenAI烹饪书。博客
• 提示工程。博客
• 面向开发者的ChatGPT提示工程！ 课程

开源社区的对齐努力

• Self-Instruct：使用自生成指令对齐语言模型，Arxiv 2022 论文
• Alpaca。仓库
• Vicuna。仓库
• Dolly。博客
• DeepSpeed-Chat。博客
• GPT4All。仓库
• OpenAssitant。仓库
• ChatGLM。仓库
• MOSS。仓库
• Lamini。仓库 / 博客

使用与限制

我们制作了一张表格，总结了LLM的使用限制（例如商业用途和研究用途）。特别是，我们从模型及其预训练数据的角度提供了相关信息。 我们敦促社区用户参考公开模型和数据的许可信息，并以负责任的方式使用它们。 我们还敦促开发者特别关注许可问题，确保其透明且全面，以防止任何不希望发生或未预料到的使用情况。

大语言模型	模型			数据
	许可证	商业用途	其他值得注意的限制	许可证	语料库
仅编码器
BERT系列模型（通用领域）	Apache 2.0	✅		公开	BooksCorpus、英文维基百科
RoBERTa	MIT许可证	✅		公开	BookCorpus、CC-News、OpenWebText、STORIES
ERNIE	Apache 2.0	✅		公开	英文维基百科
SciBERT	Apache 2.0	✅		公开	BERT语料库、来自Semantic Scholar的114万篇论文
LegalBERT	CC BY-SA 4.0	❌		公开（除来自Case Law Access Project的数据外）	欧盟立法、美国法院案例等
BioBERT	Apache 2.0	✅		PubMed	PubMed、PMC
编码器-解码器
T5	Apache 2.0	✅		公开	C4
Flan-T5	Apache 2.0	✅		公开	C4、任务混合体（论文图2）
BART	Apache 2.0	✅		公开	RoBERTa语料库
GLM	Apache 2.0	✅		公开	BooksCorpus和英文维基百科
ChatGLM	ChatGLM许可证	❌	不得用于非法目的或军事研究，不得损害社会公共利益	N/A	中英文语料共1T tokens
仅解码器
GPT2	修改后的MIT许可证	✅	应负责任地使用GPT-2，并明确注明内容由GPT-2生成。	公开	WebText
GPT-Neo	MIT许可证	✅		公开	Pile
GPT-J	Apache 2.0	✅		公开	Pile
---> Dolly	CC BY NC 4.0	❌		CC BY NC 4.0，受OpenAI生成数据使用条款约束	Pile、Self-Instruct
---> GPT4ALL-J	Apache 2.0	✅		公开	GPT4All-J数据集
Pythia	Apache 2.0	✅		公开	Pile
---> Dolly v2	MIT许可证	✅		公开	Pile、databricks-dolly-15k
OPT	OPT-175B许可协议	❌	不得从事监控研究和军事相关开发，不得损害社会公共利益	公开	RoBERTa语料库、Pile、PushShift.io Reddit
---> OPT-IML	OPT-175B许可协议	❌	与OPT相同	公开	OPT语料库、Super-NaturalInstructions扩展版
YaLM	Apache 2.0	✅		未指定	Pile、俄语团队收集的文本
BLOOM	BigScience RAIL许可证	✅	不得利用该模型生成可验证的虚假信息以伤害他人； 内容需明确声明并非机器生成	公开	ROOTS语料库（Lauren¸con等人，2022年）
---> BLOOMZ	BigScience RAIL许可证	✅	与BLOOM相同	公开	ROOTS语料库、xP3
Galactica	CC BY-NC 4.0	❌		N/A	Galactica语料库
LLaMA	非商业定制许可证	❌	不得从事监控研究和军事相关开发，不得损害社会公共利益	公开	CommonCrawl、C4、Github、维基百科等
---> Alpaca	CC BY NC 4.0	❌		CC BY NC 4.0，受OpenAI生成数据使用条款约束	LLaMA语料库、Self-Instruct
---> Vicuna	CC BY NC 4.0	❌		受OpenAI生成数据使用条款及ShareGPT隐私政策约束	LLaMA语料库、来自ShareGPT.com的7万条对话
---> GPT4ALL	GPL授权的LLaMa	❌		公开	GPT4All数据集
OpenLLaMA	Apache 2.0	✅		公开	RedPajama
CodeGeeX	CodeGeeX许可证	❌	不得用于非法目的或军事研究	公开	Pile、CodeParrot等
StarCoder	BigCode OpenRAIL-M v1许可证	✅	不得利用该模型生成可验证的虚假信息以伤害他人； 内容需明确声明并非机器生成	公开	The Stack
MPT-7B	Apache 2.0	✅		公开	mC4（英语）、The Stack、RedPajama、S2ORC
falcon	TII Falcon LLM许可证	✅/❌	可在允许商业使用的许可下使用	公开	RefinedWeb

星标历史

LLMsPracticalGuide 快速上手指南

LLMsPracticalGuide 并非一个可安装的软件库或 Python 包，而是一个精选的大语言模型（LLM）实践指南资源列表。它基于综述论文《Harnessing the Power of LLMs in Practice》，整理了模型架构、数据准备、任务应用、对齐策略及使用限制等核心资料。

本指南将帮助开发者快速访问和利用该仓库中的核心资源。

环境准备

由于本项目主要是文档、论文链接和资源索引，无需安装特定的运行时环境或依赖库。

• 系统要求：任意操作系统（Windows, macOS, Linux）。
• 前置依赖：
  • 现代 Web 浏览器（用于查看在线论文和博客）。
  • Git（可选，用于克隆仓库获取本地资源，如进化树图谱源文件）。
  • Microsoft PowerPoint（可选，用于编辑仓库中提供的 .pptx 图谱源文件）。

安装步骤（获取资源）

你可以通过以下两种方式获取资源：

方式一：在线浏览（推荐）

直接访问 GitHub 仓库页面查看所有分类指南和论文链接：

• 仓库地址：https://github.com/jingfengyang/LLMsPracticalGuide

方式二：克隆到本地

如果你需要下载图谱图片（.jpg）或 PPT 源文件（.pptx），请使用以下命令：

git clone https://github.com/jingfengyang/LLMsPracticalGuide.git
cd LLMsPracticalGuide

提示：如果在国内访问 GitHub 速度较慢，可使用国内镜像加速（如 ghproxy.com）：

git clone https://ghproxy.com/https://github.com/jingfengyang/LLMsPracticalGuide.git

基本使用

本项目的核心用法是根据需求查阅对应的资源章节。以下是针对中国开发者的常用场景指引：

1. 选择适合的模型架构

根据你的应用场景，参考 Practical Guide for Models 章节：

• 理解类任务 (NLU)：查看 BERT-style 部分（如 BERT, RoBERTa, GLM）。
  • 推荐关注：GLM-130B (清华团队开源的双语预训练模型)。
• 生成类任务 (NLG)：查看 GPT-style 部分（如 LLaMA, ChatGLM, Baichuan 等衍生资源）。
  • 推荐关注：LLaMA 2, ChatGLM 系列相关论文链接。

2. 准备训练与微调数据

在 Practical Guide for Data 章节查找数据集：

• 预训练数据：参考 RedPajama 或 The Pile 的仓库链接。
• 微调数据：查看关于 Zero-shot 分类或合成数据生成的论文链接。

3. 解决具体 NLP 任务

利用 Practical Guide for NLP Tasks 中的决策流程图 (imgs/decision.png)：

• 判断你的任务是需要通用大模型 (LLM) 还是微调后的小模型。
• 查阅 Traditional NLU tasks (如文本分类)、Generation tasks (如摘要、翻译) 或 Knowledge-intensive tasks (如问答) 下的基准测试论文。

4. 查看模型使用限制

务必阅读 Usage and Restractions 部分（如有更新），了解各模型在商业用途和研究用途上的许可证限制，避免合规风险。

5. 引用项目

如果在研究中使用了该资源列表，请在论文中引用：

@article{yang2023harnessing,
    title={Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond}, 
    author={Jingfeng Yang and Hongye Jin and Ruixiang Tang and Xiaotian Han and Qizhang Feng and Haoming Jiang and Bing Yin and Xia Hu},
    year={2023},
    eprint={2304.13712},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}