LLM蒸馏操作手册

Justin Zhao^†, Wael Abid^†

† Predibase, MLX团队

幻灯片（2024年2月1日）

目录

• LLM蒸馏操作手册
  • 目录
  • 本文档面向哪些读者？
  • 为何需要蒸馏操作手册？
  • 对开源的承诺
  • 关键概念
  • 最佳实践
    • 1. 了解小型模型的局限性。
    • 2. 构建良好的日志记录基础设施。
      • 使用真实日志数据构建初始数据集。
      • 使用合成数据构建初始数据集。
    • 3. 明确评估标准。
    • 4. 尽可能提升教师模型的质量。
    • 5. 尽可能提升训练数据的质量。
    • 6. 最佳的数据集应兼具多样性和平衡性。
    • 7. 从简单、小规模开始。
    • 8. 评估增加更多数据的边际效用。
    • 9. 考虑如何部署学生模型。
    • 10. 广泛实验，一次调整一个超参数。
    • 11. 分析模型的具体错误。
    • 12. 真正将模型部署到生产环境中并进行监控。
      • 模型部署选项
      • 基础设施保障措施
  • 贡献

本文档面向哪些读者？

本文档面向对LLM蒸馏及其在生产应用中感兴趣的技术工程师和机器学习从业者。我们假定读者已掌握深度学习基础以及大型语言模型（LLMs）的相关知识。尽管本指南中的建议也可适用于学术研究等其他场景，但我们的重点在于如何更高效地将LLMs蒸馏为适合生产环境的轻量级模型。

为何需要蒸馏操作手册？

我们合作过的几乎所有组织都至少开发过一款基于LLMs的内部应用；其中一家大型企业甚至在一周内就完成了70个原型开发。

如今，几乎每个人都在利用大型语言模型构建自己的原型系统。然而，随着LLMs的能力不断增强，并逐渐成为各类应用的核心组件，对更高效、更小型替代方案的需求也愈发迫切。

这种需求的产生源于LLMs卓越的性能表现，同时也与其高昂的成本、巨大的资源消耗以及较慢的运行速度形成了鲜明对比。因此，通过蒸馏技术将这些大型模型压缩为更高效、更轻量的版本，能够在保证性能的同时显著降低计算成本并提升运行效率。

尽管模型蒸馏备受关注，但我们发现，在实际操作中，要让蒸馏后的模型真正发挥良好效果，仍然需要大量的试错与经验积累。关于蒸馏的零散经验和建议散布于arXiv、Hugging Face、Discord、Substack以及社交媒体等多个平台，但目前尚未形成系统化、集中化的指导文档。

本文档中的建议源自我们在Google和Predibase公司进行语言模型蒸馏的经验，同时结合了我们所能找到的所有关于SLM/LLM蒸馏的研究成果。我们希望这些高效优化LLMs的方法能够为从业者和爱好者提供切实可行、基于学术研究且具有实用价值的思路，从而助力开源语言模型的持续发展与广泛应用。

本文档是一个持续更新的活文档。我们计划定期对其进行小幅或大幅改进。如果您希望及时获取更新通知，请关注我们的仓库（详见说明）。

对开源的承诺

在Predibase，我们坚信未来的方向是经过微调、高度专业化且开源的LLMs。开源理念深深植根于公司的基因之中。作为一家公司，我们维护着以下项目：

• Ludwig：用于构建自定义LLMs、神经网络及其他AI模型的低代码框架。
• LoRAX：可扩展至数千个微调后LLMs的多LoRA推理服务器。

关键概念

在深入探讨大型语言模型（LLMs）蒸馏的最佳实践之前，让我们先明确一些用于模型蒸馏及其相关应用的常用术语。

模型蒸馏示意图。图片来源。

模型蒸馏是指在不显著降低性能的前提下，将大型语言模型精简并压缩为更易于管理、更具成本效益的版本的技术。

大型语言模型（LLMs）：经过海量文本数据训练的先进AI模型（参见完整列表）。它们对语言具有深刻的理解能力，并可通过训练完成指令遵循或其他文本相关任务。

教师模型：功能强大、规模较大的原始模型，我们将从中提取知识并迁移到较小的学生模型中。

学生模型：被蒸馏后的较小模型，其性能接近但低于教师模型。

最佳实践

1. 理解小型模型的局限性。

摘要：模型蒸馏是一门经验科学，并非在所有情况下都能取得良好效果。模型蒸馏的有效性取决于具体任务和数据。

有大量且不断增加的证据表明，经过金标准标签微调后，小型模型的表现优于零样本和少样本的GPT-4（1、2）。然而，由于其规模有限，小型模型可能无法像大型模型那样有效地捕捉语言的全部深度和细微差别。

在经典的模型蒸馏设置中，学生模型基于教师模型的原始输出进行训练（也称为模仿学习），通常情况下，学生模型最多只能达到与教师模型相当的水平。

在论文《模仿专有大模型的虚假承诺》（The False Promise of Imitating Proprietary LLMs）中，研究人员发现，对于某些任务，小型学生模型会欺骗性地学会模仿教师模型的风格，但在事实准确性上却表现不佳。

NLP任务的谱系。领域越广泛、精度要求越高，问题就越复杂，蒸馏方法“直接奏效”的可能性也就越小。

事实上，模型蒸馏的效果在很大程度上取决于具体的任务和数据。当任务涉及更广泛的领域或需要较强的推理能力时，学生模型往往不如其大型预训练教师模型。相反，对于那些简单且定义明确的任务，开箱即用的模仿学习就足以训练出具有竞争力的学生模型。

2. 构建良好的日志记录基础设施。

摘要：在生产环境中为您的大模型配备基本的日志记录基础设施。如果由于流量低、PII 或其他限制导致日志数据不足，合成数据生成可能是用于微调的数据集构建的一种可行方案。

如果您尚未在应用中实现日志记录，那么现在确实应该开始实施了。Token 成本高昂，而“数据就是石油”（data is oil）。

基于模型即服务（MaaS）无服务器教师模型的基本日志记录基础设施示例。将来自 MaaS 端点的请求和响应流式传输到 Amazon S3 或 Snowflake 等存储解决方案中。

使用真实日志构建数据集。

从发送至教师模型的生产流量中收集日志，是为微调构建数据集的一个极佳且轻量级的选择。[^2]

[^2]: 在记录大模型的输出时，请务必仔细阅读大模型提供商的服务条款和使用政策。虽然 OpenAI 允许将其模型用于学术或探索性工作，但对于特定的使用场景和生产环境，建议进一步确认。

您可以在 这里 查看一个在 Streamlit 应用中异步将请求和响应记录到 S3 的轻量级示例。

使用合成数据构建数据集。

对于因流量低、PII 或其他限制而导致数据不足的应用程序，合成数据生成可能是用于微调数据集的一种可行方案。

使用合成数据构建您的数据集。合成数据的最大挑战在于确保生成的示例多样化且不重复。

诸如 Self-Instruct、Alpacare 以及微软的 phi-1/phi-1.5/phi-2 等论文都展示了如何通过向 GPT 模型输入种子查询并进行创造性变体，生成合成数据集，进而用于微调出令人信服的小型模型。

“我们推测，在不久的将来，合成数据的生成将成为一项重要的技术技能，也是人工智能研究的核心议题。” ~ phi 1.5 技术报告

3. 定义清晰的评估标准。

摘要： 对蒸馏模型的有效评估，需要制定与具体应用场景需求相一致的明确标准。评估指标的选择应反映问题的本质以及对模型期望达到的效果。

这是一项广为人知的机器学习最佳实践，但由于其重要性，仍需再次强调。

根据应用量身定制评估：有效的评估必须有清晰定义的标准，且这些标准要与特定的应用需求相契合。例如，用于生成 JSON 数据的大型语言模型可能会侧重于检查是否符合数据模式；信息抽取任务则可能关注准确率或召回率；而其他语言生成任务则可采用 BLEURT、ROUGE 或困惑度等指标。关键在于选择最能体现模型在其预期使用环境中表现成功的指标。

LLM 作为评估者的新趋势：目前有一种日益增长的趋势，即利用大型语言模型本身来评估模型输出，尤其是在传统指标难以全面衡量，或由人工标注员进行手动评估成本过高的场景下。这种方法颇具吸引力，但同时也需要审慎考虑，以避免 LLM 可能存在的偏见影响评估结果。

测试集的一致性与多样性：建立清晰的测试集至关重要。这些测试集应当足够多样化，能够覆盖模型性能的各个方面；同时也要保持一致性，以便长期可靠地跟踪模型表现。切勿频繁更换测试集，因为在比较不同模型及不同迭代版本的表现时，一致性是核心要素。

4. 尽可能提升教师模型的质量。

总结： 教师模型输出的质量是你蒸馏得到的学生模型性能的上限。请尽最大努力提升教师模型的性能。

在将教师模型的输出用于学生模型模仿之前，务必使教师模型达到尽可能好的水平。

选择优秀的教师模型： 教师模型的选择是至关重要的第一步。应选择在你的任务上表现出最高准确率和理解能力的模型。GPT-4通常表现优异，但你也应该评估是否存在更适合你特定应用场景的基础模型，这些模型可能在你的任务上更具针对性。

资料来源： 开放LLM排行榜, HELM排行榜 根据新的基准测试套件，GPT-4“碾压”其他大语言模型, Gemini：一系列功能强大的多模态模型

选择优质的提示词： 不断优化提示词及其参数，可以显著提升教师模型输出的质量。精心设计的提示词通常能生成更准确、更符合上下文的响应，从而为学生模型提供更好的训练素材。

给定以下输入文本，请判断其是否具有毒性。请以JSON格式给出分类结果，键名为'is_bad'。如果评论确实具有毒性，则设置is_bad=1；否则，设置is_bad=0。

输入文本：%s

输出：

对于一款旨在维护良好网络环境的内容审核应用，我们需要标记可能包含有毒、侮辱性、淫秽或威胁性语言的评论。请根据给定的输入文本，对其中的毒性进行分类。请以Python字典的形式作答，包含以下两个键：

1. 'is_bad'：如果评论确实具有毒性，则设置is_bad=1；否则，设置is_bad=0。
2. 'reason'：请针对您的判断提供适量的详细说明。

输入文本：%s
输出：

5. 最大化训练数据的质量。

总结： 如果你能够持续提升训练数据的质量，无论是否需要教师参与，都应当这样做。请思考如何从根本上提高数据质量。

大多数收敛后的学生模型所犯的错误，都可以追溯到源数据的问题上。对于学生模型而言，在源头解决数据质量问题，通常比试图通过辅助系统来纠正这些问题更为高效。

以下是一些最常用的技术。

技术	难度	普适性	手工劳动	描述
手动修复或精选你的数据。	★	★★★★★	★★★★★	手动修正并修改不良输出。标注新数据。这种方法简单但耗时费力，能够确保训练材料高质量且无错误。
基于规则过滤数据。	★★	★★★★	★★★	使用基本规则（如长度限制、正则表达式模式）来剔除低质量数据。虽然设置规则相对容易，但确定合适的筛选标准可能较为耗时。
利用辅助系统（或大语言模型）对数据进行排序。	★★★	★★★	★	使用辅助系统，例如另一个模型，来评估和排序数据质量。例如，微软的phi-1模型利用GPT-4为训练样本打分，再通过分类器优先选择高价值数据，并丢弃得分最低的X%样本。更多信息参见这篇论文的第2.1节。
通过解释轨迹丰富数据。	★★★	★★	★	收集推理数据。如果你的任务需要复杂的推理能力，那么在训练数据中加入教师提供的解释轨迹或思维链（CoT）输出，可能会带来类似的性能提升。
聚合多个教师的输出。	★★★★	★	★	对于可递归定义的任务，例如摘要生成，可以使用链式方法。而对于有明确答案的任务，则可以采用多数投票机制（参见MedPrompt论文和自洽性论文）。 通过让学生模型基于多位教师的综合输出进行训练，它就能超越任何单一教师的表现。

6. 最佳数据集应具备多样性和平衡性。

总结： 尽量使你的数据集多样化、非重复且平衡。数据集涵盖的场景和复杂度越高，蒸馏得到的学生模型就越有可能以无偏的方式进行泛化。

创建高质量数据集的主要挑战之一，是确保示例的多样性和非重复性。学生模型的训练数据应当覆盖广泛的场景，并在难度、复杂性和风格上有所差异。

多样性之所以重要，有以下几个原因：它能让语言模型接触到各种需要处理的情况，降低过拟合或记忆特定模式与解决方案的风险，同时提高模型对未见或新情况的泛化能力和鲁棒性。

平衡性同样关键。如果某些情况在整个数据集中所占比例过少，学生模型可能难以有效学习这些内容。

从真实日志中构建的数据集也可能存在多样性或平衡性不足的问题。对于基于日志的数据集而言，过多来自高级用户的示例可能会损害整体数据分布的代表性。可以通过随机变异来去偏，用释义或反向翻译扩充稀有样本，或者手动添加缺失的案例。

并非必须事先了解并解决所有数据分布问题，但提前预见到这些问题是有益的。只要选择了合适的测试集，在评估过程中，学生模型中的显著偏差通常会显现出来，而这些偏差往往可以通过调整训练数据来解决。

7. 从简单小规模开始。

总结： 从较小、较简单的模型配置入手，这类模型训练速度快，便于调试设置中的问题、快速迭代，并为后续比较更复杂的模型配置建立良好的基准。

拥抱最小、最简单模型的力量。 这不仅是效率问题，更是一种战略性建模方法。小型、简单的模型训练和理解起来都快得多，能够实现最快的迭代和反馈。

避免陷入酷炫但复杂的大型模型陷阱。 模型训练中最常见的误区之一，就是一开始就选择过大、过复杂的模型配置。这样的模型不仅难以理解，还会拖慢迭代速度，延长实验周期。

朴素基线的价值。 始终从朴素、简单的基线模型开始。这些基线模型可以作为清晰的基准，用来衡量后续更复杂模型配置的表现。

8. 评估增加更多数据的边际效用。

总结： 一般来说，有意义的微调效果往往可以在几百到几万条示例的数据集上实现。要针对你的具体任务更明确地回答这个问题，可以进行一项消融实验，改变数据集大小并加以推断。

“我需要多少数据才能微调我的模型？”——这是我们经常被问到的问题之一。

实际上，这确实因任务而异，受任务难度、输出多样性、推理复杂性、示例长度、任务与预训练数据的契合度以及超参数等因素影响。有些问题只需少量数据就能收敛，而另一些问题则需要大量训练却始终无法收敛。

为了确定适合你具体情况的数据集规模，可以在保持其他训练参数不变的情况下，通过改变数据集大小（如5%、10%、25%、50%、75%、100%）来进行消融实验。这类实验可以帮助你了解增加额外数据进行微调的边际效用。如果增加数据量带来的提升有限，建议重新评估训练流程的其他方面，寻找潜在的改进空间。

如果你发现增加更多数据的边际效用较高，则可以考虑采用数据增强技术，比如反向翻译，或者手动标注更多数据。

9. 思考你希望如何部署和提供学生模型的服务。

总结： 虽然不必一开始就做出决定，但最好心中有一个明确的模型部署方案，以便优先尝试那些最终可以高效部署的模型。

如果你计划在生产环境中部署多个大语言模型，探索参数高效的微调（PEFT）技术将大有裨益。与需要为每个模型单独配备GPU资源的全量微调不同，PEFT技术（如LoRA，即低秩适应）只需训练模型中的一小部分权重。研究表明，LoRA能够达到与全量微调相当的性能，因此是一种极具吸引力的高效部署方案。

例如，LoRA Exchange（LoRAX）就是一个专为共享GPU资源而优化的多模型部署解决方案。与传统的大型语言模型部署方式相比，LoRAX的最大优势在于它能够在单个GPU上同时支持上百个针对特定任务微调过的模型。这一特性显著降低了微调模型部署的成本和复杂性。LoRAX尤其适合参数高效的微调模型，为模型部署提供了一套简化的解决方案。

尽管使用更大规模的模型进行全量微调可能会带来最高的绝对质量，但从成本或推理延迟的角度来看，这种提升可能并不足以弥补额外的开销和代价。

使用LoRAX部署基于适配器的大语言模型。

在模型开发的早期阶段就应考虑目标部署架构。你选择的模型类型将极大影响其部署方式，并应指导你如何确定实验的优先级。

10. 广泛实验，一次只改变一个参数。

总结： 探索胜于利用：将大部分时间和精力投入到对问题的理解中。每次只调整一个变量，尽量避免陷入细节泥潭。

同时进行大量实验的技巧：

• 使用模型仓库或电子表格保持井然有序。
• 尽量并行化实验，但每次只改变一个参数。
• 预期会有一些繁琐的工作和试错过程。
• 优先优化迭代速度（从简单到复杂、从小到大）。

以下建议是我们尝试总结自身大语言模型微调方法时得出的。这绝非一份全面的清单，但其中包含了一些我们最喜欢的探索思路。

类别	思路	对质量的影响	对速度的影响	复杂度	描述
架构参数	基础模型	★★★★★	★★	★	尝试几种不同的基础模型，观察对学生模型性能的影响。就像教师一样，不同的基础模型可能天生就比其他模型更贴近你的任务。
架构参数	精度与量化	★★★★	★★★★	★★	降低精度会显著减小模型大小，使其能够使用更大的批量进行训练，从而提高吞吐量。虽然量化有时会因精度降低而导致模型准确率略有下降，但并非总是如此。在我们的实验中，这种权衡通常远小于速度提升和模型尺寸缩减带来的收益。
架构参数	Adapter 参数（秩与 alpha）	★★★★	★★★	★★	LoRA 中的秩决定了用于近似模型中全秩权重矩阵的低秩矩阵的大小。较高的秩可以增强模型学习复杂模式的能力，但需要训练的参数更多；而较低的秩则更节省参数，但会限制模型的表达能力。
架构参数	基础模型规模	★★★	★★★★★	★	通过尝试不同规模，感受模型性能与模型大小之间的权衡。某些任务由于其复杂性，可能会从更大规模的模型中获益显著。然而，较大的模型更容易对训练数据过拟合，尤其是在数据集不够大或不够多样化的情况下；或者性能提升可能并不明显。越来越多的……
架构参数	提示词	★★	★★	★	在教师模型中，提示词的影响非常大；但在监督微调（SFT）中，模型的权重会被直接更新，因此精心设计提示词对质量的直接影响较小。
训练参数	Epochs	★★★★★	★★★★★	★	只要让模型多训练几个 epoch，通常就能得到更好的模型。
训练参数	学习率（LR）及学习率调度	★★★★★	★	★	适当的学习率能确保模型高效学习，既不会错过最优权重，也不会过度调整。合理的预热策略可以提升训练稳定性和性能，而学习率衰减则有助于在学习复杂模式与避免过拟合之间保持平衡。
训练参数	最大序列长度	★★★	★★★	★	对于长尾数据，可以考虑截断数据以最大化 GPU 利用率。
训练参数	批量大小	★★★	★★★★★	★	充分利用 GPU 资源。选择一个不会导致显存溢出的最大批量。
训练策略	课程式学习	★★★★	★★★	★★★★★	渐进式学习，也称为课程式学习，是一种训练策略，即模型在多个阶段逐步微调，每个阶段使用不同类型的训练数据，通常是从更通用或噪声较多的数据开始，逐渐过渡到更具体、高质量或领域内数据。渐进式学习模拟了人类自然的学习方式：先从宽泛的概念入手，再逐步聚焦到更具体和复杂的主题。以下为 orca-2 中的渐进式学习示例：
训练策略	RLHF/RLAIF/DPO	★★★★	★★★★★	★★★★★	RLHF/RLHAIF/DPO，也被称为“偏好调优”，是指通过强化学习使模型更好地符合人类偏好。这一方法最初由 OpenAI 推广开来，但成本极高，更像是最后一步优化。我们尚未遇到有迫切需求达到这种优化程度的企业。RLHF 与 RLAIF 的高层级示意图如下：

11. 查看模型的个别错误。

总结： 尽管聚合指标和先进的自动化评估方法能够提供对模型性能的宏观概览，但手动审查模型输出的具体示例，对于深入理解模型性能的定性特征具有无可比拟的价值。

尤其是在生成式场景中，模型性能往往难以用单一明确的指标来概括，因此花时间仔细分析模型在哪些地方、以何种方式出现错误，不仅是评估流程中的一个步骤，更是模型开发过程中至关重要的环节。

识别具体错误： 只有通过检查模型出错的个别案例，才能开始对这些错误进行分类，并理解其本质。模型是否始终在处理某些特定类型的输入时遇到困难？是否存在某些特定的模式或情境，使得错误更容易发生？

发现数据问题： 很多时候，错误的模式可以追溯到数据准备阶段的问题，或是训练集中数据代表性不足。及早发现这些问题，可以节省大量资源和时间，避免将精力浪费在无效的参数调优上。没有什么比耗费数百小时的GPU算力去优化模型参数，却最终发现是数据质量问题更令人沮丧和浪费的了。

微调后的LLM损失曲线看起来都差不多，但这些检查点之间的定性差异可能非常巨大。

12. 真正将模型部署并监控于生产环境。

总结： 虽然测试集提供了一个受控的评估环境，但检验模型真正有效性的标准，是它在面对真实用户和实时输入时的表现。将你的模型部署到生产环境中，观察其在实际场景中的表现吧！

把你的模型真正部署并监控于生产环境……真的。无论你是研究人员、工程师，还是介于两者之间的人，亲身体验将模型投入生产的过程，都能让你学到很多宝贵的经验。

模型部署选项

• 在线实验与逐步上线： 首先将一小部分流量（例如1%，然后10%）引导至学生模型。在扩大规模之前，密切监控关键应用指标的变化，如延迟和用户交互等。其他名称：渐进式/金丝雀发布。
• 暗启动： 继续在生产环境中使用教师模型，但在后台将一部分流量路由到学生模型。比较学生模型与教师模型预测结果不同的情况，以评估学生模型的质量是否已达到上线标准。其他名称：影子部署。
• 混合部署： 如果教师模型的表现优于学生模型，可以考虑采用混合部署的方式。学生模型负责处理较为简单、资源消耗较低的查询，而教师模型则处理更复杂的请求。这种方式能够在效率和质量之间取得平衡。其他名称：蓝绿部署。

基础设施保障措施

• 监控输入： 经过微调的模型由于更加专业化，可能会对特征漂移较为敏感。
• 监控输出： 建立故障保护机制，对生成的输出进行严格审查。生产环境中的LLM通常会配备基于规则或基于模型的系统，用于识别问题并触发回退机制。需要注意的是，使用另一款LLM来进行输出监控可能会增加延迟。
• 维护日志： 对所有投入生产的LLM持续记录输入和输出。这些日志对于未来的模型优化或蒸馏工作将极为重要。

贡献

我们非常期待您的反馈！

• 如果您喜欢这份指南，请给它点个赞！您也可以通过Ludwig Slack频道（链接）、LoRAX Discord服务器（链接），或者LinkedIn联系我们。您的评价将帮助我们证明继续创建类似资源的必要性。

• 如果您发现任何不准确之处，请提交一个问题以展开讨论。对于不适合通过问题形式提出的内容或疑问，请在GitHub上开启一个新的讨论主题。

• 本指南是一个持续更新的文档。我们预计会定期进行大小不一的改进。如果您希望及时收到更新通知，请关注我们的仓库（参见说明)。

• 这份清单中是否还遗漏了其他最佳实践？欢迎随时创建PR！我们承诺会尽快审阅您的建议。

LLM Distillation Playbook 快速上手指南

llm_distillation_playbook 并非一个直接可执行的软件包，而是一份由 Predibase MLX 团队编写的最佳实践指南与代码示例集合。它旨在帮助工程师将大型语言模型（LLM）的知识蒸馏到更小、更高效的学生模型中，适用于生产环境。

本指南基于其提供的核心概念和案例研究（如 Jigsaw 有毒评论分类），整理出适合中国开发者的快速启动流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。
• Python 版本: Python 3.9 或更高版本。
• 硬件要求:
  • 训练/微调: 建议配备 NVIDIA GPU (显存 >= 16GB 用于较小模型，>= 24GB 更佳) 或使用 Apple Silicon (M1/M2/M3 Max/Ultra) 配合 MLX 框架。
  • 推理: 单张消费级显卡即可运行蒸馏后的学生模型。
• 前置依赖:
  • git: 用于克隆仓库。
  • pip 或 conda: 包管理工具。
  • (可选) Hugging Face Account: 用于访问部分受限模型或数据集。

国内加速建议:

• 建议使用国内镜像源安装 Python 依赖（如清华源、阿里源）。
• 访问 Hugging Face 模型或数据集时，建议配置镜像站（如 hf-mirror.com）或使用代理。

安装步骤

该项目主要包含文档、幻灯片以及用于演示最佳实践的参考代码（如 Streamlit 日志记录示例）。

1. 克隆仓库

   git clone https://github.com/predibase/llm_distillation_playbook.git
   cd llm_distillation_playbook
   

2. 创建虚拟环境

   python -m venv venv
   source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate
   

3. 安装基础依赖 虽然根目录可能没有统一的 requirements.txt（因为不同章节涉及不同技术栈），但您可以安装通用的数据处理和深度学习库以运行示例代码（参考 app 目录示例）：

   # 使用国内镜像源加速安装
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple \
       torch torchvision torchaudio \
       transformers datasets accelerate peft \
       streamlit pandas scikit-learn \
       boto3 snowflake-connector-python
   

   注：如果您计划使用 Apple MLX 框架进行实验，请参照 MLX 官方文档 单独安装 mlx 和 mlx-lm。

基本使用

本项目的核心价值在于遵循其 Best Practices（最佳实践） 流程。以下以最简单的“构建日志基础设施并准备数据”为例，展示如何开始蒸馏流程。

1. 理解核心流程

蒸馏不仅仅是训练，更是一个系统工程。请遵循以下简化路径：

1. 日志记录: 收集生产环境中教师模型（Teacher Model）的输入输出。
2. 数据清洗: 将日志转化为训练数据集。
3. 小规模实验: 使用少量数据验证蒸馏可行性。
4. 全量训练与评估: 扩大数据量并部署学生模型。

2. 运行日志记录示例 (Bootstrap with Real Logs)

项目提供了一个基于 Streamlit 的轻量级示例，展示如何异步记录请求和响应到存储系统（如 S3），这是构建蒸馏数据集的第一步。

启动示例应用：

cd app
streamlit run app.py

在应用中，您可以模拟发送请求给教师模型（如通过 API 调用 GPT-4 或本地 LLM），并将交互数据保存为 JSONL 格式，作为后续微调的“黄金数据集”。

3. 数据准备与简单蒸馏策略

根据指南中的 Jigsaw 案例研究，您可以按照以下逻辑编写训练脚本（伪代码逻辑）：

步骤 A: 准备数据 将收集的日志或合成数据转换为 datasets 库兼容的格式。

from datasets import load_dataset

# 示例：加载处理后的二分类数据集 (参考 Jigsaw 案例)
# 实际使用中请替换为您从日志中清洗出的数据路径
dataset = load_dataset("csv", data_files={"train": "teacher_logs_cleaned.csv"})

# 确保数据多样且平衡 (Best Practice #6)
# dataset = balance_dataset(dataset) 

步骤 B: 选择教师与学生模型

• Teacher: 高性能大模型 (如 Llama-3-70B, GPT-4)。
• Student: 待蒸馏的小模型 (如 Llama-3-8B, Phi-3, Mistral-7B)。

步骤 C: 执行蒸馏 (模仿学习) 使用 transformers 或 Ludwig (Predibase 开源框架) 进行训练。核心思想让学生模型学习教师模型的输出分布（Logits）或生成结果。

# 这是一个概念性示例，具体训练循环需参考 HuggingFace TRLO 或 SFTTrainer
from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="./student_model",
    per_device_train_batch_size=8,
    num_train_epochs=3,
    learning_rate=2e-5,
    # 关键：使用教师模型生成的标签进行监督微调 (Imitation Learning)
)

# trainer = Trainer(
#     model=student_model,
#     args=training_args,
#     train_dataset=dataset["train"],
#     # 如果做逻辑蒸馏，需自定义 loss 函数以匹配 teacher logits
# )

# trainer.train()

4. 下一步行动

• 阅读完整指南: 务必查看仓库中的 README.md 全文，特别是 "Best practices" 章节的 12 条建议（如：从小规模开始、关注边缘效用、监控生产环境等）。
• 查看幻灯片: 访问提供的 Google Slides 链接 获取更深入的架构图解。
• 探索 Ludwig: 如果需要低代码实现蒸馏，可以参考 Predibase 维护的 Ludwig 框架。

注意: 蒸馏效果高度依赖于任务类型和数据质量。对于需要复杂推理的任务，小模型可能无法完全复现大模型的能力，请务必遵循指南第一条：理解小模型的局限性。