令人惊叹的LLM与人类对齐

关于大型语言模型（LLMs）与人类对齐的论文和资源合集。

在海量文本语料上训练的大型语言模型（LLMs）已成为解决广泛自然语言处理（NLP）任务的领先方案。尽管这些模型表现出色，但它们仍存在一些局限性，例如误解人类指令、生成可能带有偏见的内容或事实错误（幻觉）信息。因此，如何使LLMs更好地符合人类期望，已成为研究界的一个热门方向。本综述全面概述了这些对齐技术，涵盖以下几个方面：(1) 数据收集；(2) 训练方法；(3) 模型评估。最后，我们总结并提炼了研究发现，指出了该领域未来几个有前景的研究方向。因此，本综述对于任何致力于理解并推进LLMs对齐以更好地适应人类任务和期望的人来说，都是一份宝贵的资源。

我们希望这个仓库能够帮助研究人员和从业者更好地理解这一新兴领域。如果您觉得本仓库对您有所帮助，请通过引用以下论文来支持我们的工作：

@article{aligning_llm_human,
    title={Aligning Large Language Models with Human: A Survey},
    author={Yufei Wang and Wanjun Zhong and Liangyou Li and Fei Mi and Xingshan Zeng and Wenyong Huang and Lifeng Shang and Xin Jiang and Qun Liu},
    journal={arXiv preprint arXiv:2307.12966},
    year={2023}
}

最新消息

🔭 本项目仍在开发中。您可以点击 STAR 和 WATCH 来关注最新动态。

• 2023年7月31日：我们的综述论文被收录于 [Podcast @ papersread.ai]
• 2023年7月25日：我们的初始综述论文 Aligning Large Language Models with Human: A Survey 已发布。

目录

• 最新消息
• 令人惊叹的LLM与人类对齐
  • 相关综述
  • 对齐数据
    • 来自人类的数据
    • 来自强大LLMs的数据
    • 指令管理
  • 对齐训练
    • 在线人类对齐
    • 离线人类对齐
    • 参数高效训练
  • 对齐评估
    • 评估设计原则
    • 评估基准
    • 评估范式
  • 对齐工具包

相关综述

• 大型语言模型综述 [论文]
• 多模态大型语言模型综述 [论文]
• 大型语言模型评估综述 [论文]
• 大型语言模型的挑战与应用 [论文]
• 实践中利用LLMs的力量：ChatGPT及更广泛的综述 [论文]
• 领域专业化是使大型语言模型具有颠覆性的关键：综合综述 [论文]
• 从验证与确认的角度看大型语言模型的安全性和可信度综述 [论文]
• 统一大型语言模型与知识图谱：路线图 [论文]
• 基础模型的工具学习 [论文]
• 关于大型语言模型需要了解的八件事 [论文]
• 人类反馈强化学习中的开放问题和根本局限性 [论文]
• 指令微调阶段回顾 [博客]

对齐数据

人类生成的数据

自然语言处理基准

• PromptSource：用于自然语言提示的集成开发环境与存储库 [论文]
• Super-NaturalInstructions：通过1600多个NLP任务上的声明式指令实现泛化 [论文]
• FLAN数据集：为高效指令微调设计的数据与方法 [论文]
• OIG数据集 [博客]
• ChatPLUG：基于互联网增强型指令微调的开放域生成式对话系统，用于数字人应用 [论文]
• 文本对齐是一种高效的统一模型，可应对海量NLP任务 [论文]
• OPT-IML：从泛化的视角扩展语言模型指令元学习 [论文]
• Instruct-FinGPT：通过通用大型语言模型的指令微调进行金融情感分析 [论文]

领域知识

• 面向地球科学知识理解与利用的基础语言模型训练 [论文]
• Lawyer LLaMA技术报告 [论文]
• HuaTuo：基于中医药知识微调LLaMA模型 [论文]
• PMC-LLaMA：在医学论文上进一步微调LLaMA [论文]
• 面向临床领域的参数高效微调LLaMA [论文]

手工编写的指令

• Free Dolly：推出全球首个真正开源的指令微调大型语言模型 [博客]
• OpenAssistant对话——推动大型语言模型对齐的民主化 [论文]
• 中文开源指令通才模型：初步发布 [论文]
• ShareGPT [博客]
• 让我们逐步验证 [论文]
• BeaverTails：通过人类偏好数据集实现LLM安全对齐的改进 [论文]
• LLM时代下人工标注数据的重要性 [论文]

人类偏好数据

• 基于人类反馈训练语言模型遵循指令 [论文]
• 通过有针对性的人类判断改进对话代理的对齐性 [论文]
• 基于人类偏好对语言模型进行微调 [论文]
• 教导语言模型用经过验证的引用来支持答案 [论文]
• WebGPT：结合浏览器辅助与人类反馈的问答系统 [论文]

强大大语言模型的数据

通用指南

提升输入质量

• Self-Instruct：通过自生成指令对齐语言模型 [论文]
• LaMini-LM：基于大规模指令蒸馏出的多样化模型集合 [论文]
• Baize：一个开源聊天模型，采用参数高效的微调技术，基于自我对话数据训练 [论文]
• 大型语言模型作为标注训练数据生成器：多样性与偏见的故事 [论文]
• WizardLM：使大型语言模型能够遵循复杂指令 [论文]
• 不自然的指令：几乎无需人工劳动即可微调语言模型 [论文]
• Dynosaur：面向指令微调数据编纂的动态增长范式 [论文]
• 探索指令微调中的格式一致性 [论文]

提升输出质量

• 思维链提示在大型语言模型中激发推理能力 [论文]
• Orca：从GPT-4的复杂解释轨迹中逐步学习 [论文]
• Lion：闭源大型语言模型的对抗性蒸馏 [论文]
• 基于原则的语言模型自对齐：从零开始，在极少人工监督下实现 [论文]
• ExpertPrompting：指导大型语言模型成为杰出专家 [论文]
• Phoenix：让ChatGPT在多语言环境中普及 [论文]
• 通过分步指令提升跨任务泛化能力 [论文]
• CoT合集：通过思维链微调提升语言模型的零样本和少样本学习能力 [论文]

推理类指令

通用推理

• 将小型语言模型专门化为多步推理 [论文]
• 蒸馏出分步推理！用更少的训练数据和更小的模型规模超越大型语言模型 [论文]
• 面向知识密集型任务的小型语言模型的知识增强型推理蒸馏 [论文]
• PaD：程序辅助蒸馏使大型模型擅长推理 [论文]

代码

• 教材就够了 [论文]
• WizardCoder：借助Evol-Instruct赋能代码大型语言模型 [论文]
• Code Alpaca：一个用于代码生成的指令跟随LLaMA模型 [Github]
• CodeT5+：开放的代码大型语言模型，用于代码理解和生成 [论文]
• PanGu-Coder2：通过排名反馈提升大型语言模型的代码能力 [论文]

数学

• MinT：通过多视角微调提升数学推理的泛化能力 [论文]
• Goat：经过微调的LLaMA在算术任务上表现优于GPT-4 [论文]
• 大型语言模型学习数学推理的规模效应 [论文]

对话类指令

• Vicuna：一个开源聊天机器人，以90%*的ChatGPT质量令人印象深刻 [博客]
• Baize：一个开源聊天模型，采用参数高效的微调技术，基于自我对话数据训练 [论文]
• 通过扩展高质量指令对话来增强聊天语言模型 [论文]
• CAMEL：用于探索大规模语言模型社会“心智”的沟通代理 [论文]
• Selfee：由自我反馈生成驱动的迭代式自我修正语言模型 [博客]
• 一种高效的数据生成流水线，用于为大型语言模型生成高质量的金融指令数据 [论文]

多语言指令

• Phoenix：让ChatGPT在多语言环境中普及 [论文]
• BayLing：通过交互式翻译弥合跨语言对齐与指令跟随之间的差距，适用于大型语言模型 [论文]
• Bactrian-X：一种可复现的多语言指令跟随模型，采用低秩适应技术 [论文]
• Instruct-Align：通过基于对齐的跨语言指令教导大型语言模型新语言 [论文]

指令管理

指令的影响

• 骆驼能走多远？探索开源资源上的指令微调现状 [论文]
• Flacuna：利用flan微调释放vicuna的问题解决能力 [论文]
• 数据受限的语言模型的规模化 [论文]
• 为中国语境下的更好指令跟随语言模型而努力：探究训练数据与评估的影响 [论文]
• 模仿专有大型语言模型的虚假承诺 [论文]
• 大型语言模型对齐的根本局限性 [论文]

指令数量

• 成为自我指令者：引入最小指令微调的早停标准 [论文]
• LIMA：少即是多的对齐之道 [论文]
• 指令挖掘：为大型语言模型筛选高质量指令数据 [论文]
• AlpaGasus：用更少的数据训练更好的Alpaca [论文]
• 或许只需0.5%的数据：低训练数据指令微调的初步探索 [论文]

对齐训练

在线人类对齐

• 通过人类反馈训练语言模型遵循指令 [论文]
• RAFT：基于奖励排序的微调，用于生成式基础模型的对齐 [论文]
• 宪法AI：来自AI反馈的无害性 [论文]
• RLCD：基于对比蒸馏的强化学习，用于语言模型对齐 [论文]

离线人类对齐

基于排序的训练

• 直接偏好优化：你的语言模型其实是一个奖励模型 [论文]
• 面向人类对齐的偏好排序优化 [论文]
• RRHF：通过排序响应实现无需人工标注的语言模型对齐 [论文]
• PanGu-Coder2：利用排序反馈提升大型语言模型的代码能力 [论文]
• 校准序列似然性可改善条件语言生成 [论文]
• 通过对齐使大型语言模型成为更优秀的推理者 [论文]

基于语言的训练

• OpenChat：开源模型“少即是多” [GitHub]
• 语言即奖励：利用人类反馈进行事后微调 [论文]
• 三思而后行：从文本编辑中学习如何与人类价值观重新对齐 [论文]
• 在模拟人类社会中训练具有社会对齐特性的语言模型 [论文]
• Selfee：由自我反馈生成驱动的迭代式自我修正大模型 [博客]
• 细粒度的人类反馈为语言模型训练提供更好的奖励 [论文]

参数高效训练

• LoRA：大型语言模型的低秩适应 [论文]
• QLoRA：量化大模型的高效微调 [论文]
• 前缀调优：优化连续提示以用于生成任务 [论文]
• 规模效应在参数高效提示调优中的作用 [论文]
• 参数高效微调的自适应预算分配 [论文]
• 参数高效微调的设计空间 [论文]
• HINT：用于高效零样本和少样本泛化的超网络指令调优 [论文]

模型架构设计

• 混合专家模型与指令微调：大型语言模型的制胜组合 [论文]
• LaMini-LM：基于大规模指令蒸馏而成的多样化模型集合 [论文]

对齐评估

评估设计原则

• 人工通用智能的火花：GPT-4 的早期实验 [论文]
• 高效测量大语言模型的认知能力：一种自适应测试视角 [论文]
• 语言模型的整体性评估 [论文]

评估基准

封闭集基准

通用知识

• 测量大规模多任务语言理解 [论文]
• CMMLU：测量中文中的大规模多任务语言理解 [论文]
• C-Eval：面向基础模型的多层次多学科中文评估套件 [论文]
• KoLA：精心评测大型语言模型的世界知识 [论文]
• M3KE：面向中文大型语言模型的大规模多层次多学科知识评估基准 [论文]
• AGIEval：以人类为中心的基础模型评估基准 [论文]
• 测量大规模多任务中文理解 [论文]
• Xiezhi：一个持续更新的全方位领域知识评估基准 [论文]
• TABLET：从指令中学习表格数据 [论文]
• 语言模型能理解物理概念吗？[论文]

推理

• 训练验证者解决数学应用题 [论文]
• 测量大规模多任务语言理解 [论文]
• CommonsenseQA：针对常识知识的问答挑战 [论文]
• 亚里士多德用过笔记本电脑吗？一个包含隐式推理策略的问答基准 [论文]
• 思维链提示可激发大型语言模型的推理能力 [论文]
• 挑战BIG-Bench任务及思维链是否能解决它们 [论文]
• 使用大型语言模型进行程序合成 [论文]
• DS-1000：一个自然且可靠的用于数据科学代码生成的基准 [论文]
• 评估经过代码训练的大型语言模型 [论文]
• ChatGPT生成的代码真的正确吗？对大型语言模型代码生成能力的严格评估 [论文]
• RepoBench：仓库级代码自动补全系统的基准测试 [论文]
• ClassEval：一个手工构建的用于评估大型语言模型类级别代码生成能力的基准 [论文]
• StudentEval：学生编写的用于大型语言模型代码生成的提示语基准 [论文]

开放集基准

通用聊天

• Vicuna：一款开源聊天机器人，以90%*的ChatGPT质量令人印象深刻 [博客]
• Self-Instruct：通过自动生成的指令对齐语言模型 [论文]
• OpenAssistant对话——推动大型语言模型对齐民主化 [论文]
• FLASK：基于对齐技能集的细粒度语言模型评估 [论文]
• 使用MT-Bench和Chatbot Arena评判LLM作为裁判 [论文]
• AlpacaFarm：一种从人类反馈中学习的方法的仿真框架 [论文]

安全性

• 中文大型语言模型的安全性评估 [论文]
• CValues：从安全到责任的角度衡量中文大型语言模型的价值观 [论文]
• 潜在越狱：评估大型语言模型文本安全性和输出鲁棒性的基准 [论文]
• TrustGPT：值得信赖且负责任的大型语言模型基准 [论文]

长上下文

• L-Eval：为长上下文语言模型建立标准化评估体系 [论文]

评估范式

基于人类的评估

• Self-Instruct：通过自动生成指令对齐语言模型 [论文]
• LaMini-LM：基于大规模指令蒸馏出的多样化模型集合 [论文]
• 利用人类反馈训练语言模型遵循指令 [论文]
• 使用MT-Bench和Chatbot Arena评判LLM作为评判者 [论文]

基于LLM的评估

LLM用于评估

• G-Eval：使用GPT-4进行更贴近人类审美的NLG评估 [论文]
• GPTScore：按需定制评估方式 [论文]
• 探索大型语言模型在无参考文本质量评估中的应用：一项初步实证研究 [论文]
• 大型语言模型能否替代人工评估？[论文]
• FActScore：针对长文本生成中事实准确性的细粒度原子级评估 [论文]
• AlignScore：通过统一对齐函数评估事实一致性 [论文]
• 错误分析提示使大型语言模型能够实现类人翻译评估：以ChatGPT为例 [论文]
• 使用ChatGPT进行类人摘要评估 [论文]
• 大型语言模型是代码生成评估的最先进工具 [论文]
• 以语言模型为考官对基础模型进行基准测试 [论文]
• LLM-Eval：面向开放域对话的统一多维度自动评估框架 [论文]
• LLM作为事实推理者：来自现有基准及其他方面的见解 [论文]

LLM在评估中的偏见

• 大型语言模型并非公平的评估者 [论文]
• 形式重于内容：大型语言模型的评估偏见 [论文]
• 使用MT-Bench和Chatbot Arena评判LLM作为评判者 [论文]

专门用于评估的LLM

• PandaLM：用于LLM指令调优优化的自动评估基准 [论文]
• 更宽更深的LLM网络是更公平的LLM评估者 [论文]
• Shepherd：语言模型生成的批评者 [论文]

对齐工具包

• Llama V1 & V2 [Github] [论文V1] [论文V2]
• Llama-X：关于将LLaMA提升至SOTA水平的开源学术研究 [Github]
• Llama2-Chinese [Github]
• Colossal-AI：让大型AI模型更便宜、更快、更易用。[Github]
• 通过自动并行化训练和部署大规模神经网络。[Github]
• FastChat [Github]
• LMFlow [Github]
• LLaMA2-Accessory：一个用于LLM开发的开源工具包 [Github]

AlignLLMHumanSurvey 快速上手指南

项目说明：AlignLLMHumanSurvey (Awesome-Align-LLM-Human) 并非一个可直接安装运行的软件工具或代码库，而是一个学术综述资源集合。它整理了关于“大语言模型（LLM）与人类对齐”领域的论文、数据集、训练方法及评估基准。

本指南旨在帮助开发者快速浏览和利用该仓库中的核心资源，构建自己的对齐研究或应用方案。

1. 环境准备

由于本项目主要是文献和资源列表，无需特定的运行时环境。但为了阅读论文和复现列表中提到的算法，建议准备以下基础环境：

• 操作系统：Linux / macOS / Windows
• 前置依赖：
  • Git（用于克隆仓库）
  • Python 3.8+（用于运行列表中引用的具体开源代码）
  • PyTorch / TensorFlow（根据具体复现的模型需求安装）
• 网络环境：部分论文链接托管于 arXiv 或 GitHub，国内访问可能较慢，建议配置科学上网环境或使用学术镜像。

2. 安装步骤（获取资源）

通过 Git 克隆仓库到本地，即可获取完整的资源列表和分类索引。

git clone https://github.com/WangRongsheng/AlignLLMHumanSurvey.git
cd AlignLLMHumanSurvey

注：该项目持续更新中，建议定期执行 git pull 获取最新论文列表。

3. 基本使用

本项目的“使用”方式是作为导航地图，根据你的需求查找对应的论文、数据集或代码实现。以下是三种典型的使用场景：

场景一：查找对齐数据集 (Alignment Data)

如果你需要数据来微调模型，请查看 README.md 中的 [Alignment Data] 章节。

• 人类反馈数据：搜索关键词 Human Preference Data，可找到如 OpenAssistant Conversations 或 BeaverTails 等经典数据集论文。
• 指令微调数据：搜索 Data From Strong LLMs，可找到 Self-Instruct, WizardLM 等利用强模型生成数据的方法。
• 领域数据：在 Domain Knowledge 下可找到医疗 (HuaTuo)、法律 (Lawyer LLaMA) 等垂直领域的数据资源。

操作示例： 在本地打开 README.md，定位到 ### Data From Human，点击对应论文的 [Paper] 或 [Blog] 链接获取数据下载方式。

场景二：学习对齐训练方法 (Alignment Training)

如果你需要了解如何训练模型以符合人类价值观，请参考 [Alignment Training] 章节。

• 在线/离线对齐：查阅 Online Human Alignment (如 RLHF) 和 Offline Human Alignment 相关论文。
• 高效微调：查阅 Parameter-Efficient Training 获取 LoRA 等低资源消耗的对齐方案。

操作示例： 针对代码生成任务的对齐，可在 Reasoning Instructions -> Code 子栏目下找到 WizardCoder 或 Code Alpaca 的实现思路。

场景三：评估模型对齐效果 (Alignment Evaluation)

如果你需要测试模型的对齐程度，请参考 [Alignment Evaluation] 章节。

• 评估原则：阅读 Evaluation Design Principles 了解设计评测集的核心逻辑。
• 评测基准：在 Evaluation Benchmarks 中寻找适合的测试集（如安全性、事实性、指令遵循度）。

引用本项目

如果在你的研究或项目中使用了该资源列表，请在论文中引用：

@article{aligning_llm_human,
    title={Aligning Large Language Models with Human: A Survey},
    author={Yufei Wang and Wanjun Zhong and Liangyou Li and Fei Mi and Xingshan Zeng and Wenyong Huang and Lifeng Shang and Xin Jiang and Qun Liu},
    journal={arXiv preprint arXiv:2307.12966},
    year={2023}
}