令人惊叹的大型语言模型微调

欢迎来到专为微调 GPT、BERT、RoBERTa 及其众多变体等大型语言模型（LLMs）而精心整理的资源合集！在当今的人工智能时代，将预训练模型适配到特定任务和领域的能力，已成为研究人员、数据科学家和机器学习从业者不可或缺的一项技能。

大型语言模型基于海量数据进行训练，能够捕捉广泛的知识和语言细微差别。然而，要充分发挥它们在特定应用中的潜力，关键在于使用目标数据集对其进行微调。这一过程不仅能提升模型性能，还能确保其与当前任务的具体上下文、术语和需求相契合。

在这份精彩的列表中，我们精心汇集了教程、论文、工具、框架以及最佳实践等多种资源，旨在帮助您顺利完成微调之旅。无论您是希望拓展专业知识的资深从业者，还是渴望踏入 LLM 领域的初学者，本资源库都将为您提供宝贵的见解和指导，以简化您的工作流程。

目录

• GitHub 项目
• 文章与博客
• 在线课程
• 书籍
• 研究论文
• 视频
• 工具与软件
• 会议与活动
• 幻灯片与演示文稿
• 播客

GitHub 项目

• AutoTrain - 无需代码即可对 LLM 及其他机器学习任务进行微调。
• LlamaIndex 🦙：用于 LLM 应用的数据框架。（23010 颗星）
• Petals 🌸：以 BitTorrent 方式在家运行 LLM。微调和推理速度比卸载方式快高达 10 倍。（7768 颗星）
• LLaMA-Factory：一个易于使用的 LLM 微调框架（支持 LLaMA-2、BLOOM、Falcon、Baichuan、Qwen、ChatGLM3 等）。（5532 颗星）
• lit-gpt：基于 nanoGPT 的可 hack 实现的最先进开源 LLM。支持 flash attention、4 位和 8 位量化、LoRA 和 LLaMA-Adapter 微调以及预训练。采用 Apache 2.0 许可证。（3469 颗星）
• H2O LLM Studio：一个用于微调 LLM 的框架及无代码 GUI。文档：https://h2oai.github.io/h2o-llmstudio/（2880 颗星）
• Phoenix：AI 可观测性与评估——在笔记本中评估、排查故障并微调您的 LLM、CV 和 NLP 模型。（1596 颗星）
• LLM-Adapters：EMNLP 2023 论文《LLM-Adapters：一种用于高效参数微调大型语言模型的适配器家族》的相关代码。（769 颗星）
• Platypus：使用 LoRA 对 Platypus 系列 LLM 进行微调的代码。（589 颗星）
• xtuner：一个高效微调 LLM（InternLM、Llama、Baichuan、QWen、ChatGLM2 等）的工具包。（540 颗星）
• DB-GPT-Hub：包含 DB-GPT 的模型、数据集和微调技术的仓库，旨在提升模型性能，尤其是在 Text-to-SQL 方面；使用该项目的 13B LLM 在 spider 评测中取得了高于 GPT-4 的执行准确率。（422 颗星）
• LLM-Finetuning-Hub：包含 LLM 微调与部署脚本以及我们的研究成果的仓库。：star: 416
• Finetune_LLMs：用于微调 Casual LLMs 的仓库。：star: 391
• MFTCoder：高精度、高效率的多任务微调框架，适用于代码 LLM；业内首个支持多任务、多模型、多训练算法的大模型代码能力微调框架。：star: 337
• llmware：提供企业级 LLM 基础开发框架、工具和微调后的模型。：star: 289
• LLM-Kit：🚀集成 WebUI 的最新 LLM 综合平台 | 各大语言模型的全流程工具 WebUI 整合包。支持主流大模型 API 接口和开源模型。支持知识库、数据库、角色扮演、mj 文生图、LoRA 和全参数微调、数据集制作、live2d 等全流程应用工具。：star: 232
• h2o-wizardlm：WizardLM 的开源实现，可将文档转换为 Q&A 对，用于 LLM 微调。：star: 228
• hcgf：人类可理解的聊天生成模型微调 | LLM微调。：star: 196
• llm_qlora：使用 QLoRA 对 LLM 进行微调。：star: 136
• awesome-llm-human-preference-datasets：一份精选的用于 LLM 微调、RLHF 和评估的人类偏好数据集列表。：star: 124
• llm_finetuning：一款便捷的封装工具，用于对大型语言模型（LLMs）进行微调和推理，并支持多种量化技术（GTPQ、bitsandbytes）。：star: 114

文章与博客

• 2024 年使用 Hugging Face 微调 LLM：TRL 与 Flash Attention 🤗：这篇博客文章提供了详尽的指南，介绍如何在消费级显卡（24GB）上，利用 Hugging Face 的 TRL 和 Flash Attention 对 LLM（例如 Llama 2）进行微调。
• 面向初学者的 LLM 微调完全指南 📚：这是一份全面的指南，解释了将预训练模型微调至新任务的过程，涵盖了关键概念并提供了具体示例。
• 大型语言模型（LLM）的微调 📖：这篇博客文章概述了对预训练 LLM 进行微调的方法，讨论了重要概念，并提供了包含 Python 代码的实用示例。
• 打造领域专家级 LLM：微调指南 📝：这篇文章深入探讨了使用 OpenAI API 进行微调的概念，并展示了一个为理解亨德尔歌剧剧情而微调大型语言模型的实例。
• LLM 微调入门指南 🌱：该指南涵盖了 LLM 微调的流程，包括使用 QLoRA 等工具来配置和微调模型。
• 知识图谱与 LLM：微调 vs 检索增强生成 📖：这篇博客文章探讨了 LLM 的局限性，并深入分析了结合知识图谱对其进行微调的方法。
• 基于个人数据微调 LLM：创建《指环王》故事讲述者 ✏️：这篇文章演示了如何利用个人数据训练自己的 LLM，从而在不依赖 OpenAI GPT-4 的情况下实现对个人信息的自主控制。
• 使用 H2O LLM Studio 微调 LLM 模型以生成 Cypher 语句 🧪：这篇博客文章提供了一个使用 H2O LLM Studio 微调 LLM 模型以生成 Cypher 语句的示例，从而支持基于知识图谱的聊天机器人应用。
• 在 Colab 笔记本中微调属于你自己的 Llama 2 模型 📝：这是一篇关于 LLM 微调的实用入门文章，展示了如何在 Google Colab 笔记本中实现这一过程，以创建属于自己的 Llama 2 模型。
• 考虑微调 LLM 吗？开始前需注意的三点 💡：本文讨论了微调 LLM 时需要考虑的三个要点，包括超越 PEFT 和 LoRA 改进 GPT 的方法，以及合理分配资源的重要性。
• LLM 与生成式 AI 入门：第 3 部分——基于指令的 LLM 微调 📚：这篇文章探讨了 LLM 在人工智能应用中的作用，并对其微调进行了概述。
• RAG 与微调——哪种工具最适合提升你的 LLM 应用？ - 一篇探讨构建 LLM 应用时需考虑的因素，以及如何根据具体场景选择合适方法的博客。 👨‍💻
• LLM 微调：RLHF 及其替代方案（第一部分） - 一篇文章展示了 RLHF 的替代方法，特别是直接偏好优化（DPO）。 🔄
• 何时应微调 LLM？ - 探讨开源 LLM 的微调与大规模使用封闭式 API 进行 LLM 查询之间的比较。 🤔
• 大型语言模型的微调 - 考虑大型语言模型的微调，并将其与零样本和少样本方法进行对比。 🎯
• Private GPT：在企业数据上微调 LLM - 探讨允许在较小显卡上微调 LLM 的训练技术。 🖥️
• 使用 Scikit-LLM 微调 Google PaLM 2 - 展示如何使用 Scikit-LLM 微调 Google 最先进的 LLM——PaLM 2。 📈
• 深入解析大型语言模型的微调 - 一篇关于微调 GPT-4、BERT 等 LLM 的综合性博客，提供了深入见解、发展趋势及优势。 🚀
• 大型语言模型中的预训练、微调与上下文学习 - 讨论了 LLM 中的预训练、微调和上下文学习等概念。 📚
• 开源微调大型语言模型列表 - 一份精选的开源微调 LLM 列表，可在本地计算机上运行。 📋
• 针对特定领域用例的 LLM 微调实践指南 - 该指南总结了针对特定领域用例微调 LLM 的关键经验与结论。 📝
• 使用生产级堆栈在 AWS、GCP 或 Azure 上微调 Llama 3.1 - 一份关于在专为 MLOps 最佳实践设计的生产环境中微调 Llama 3.1（或 Phi 3.5）的指南与教程。 📓

在线课程

• 微调基础：释放大语言模型的潜力 | Udemy：面向初学者的实用课程，教授如何构建类ChatGPT的模型，并将其适配到特定应用场景。
• 基于大型语言模型的生成式AI | Coursera：学习生成式AI与LLM的基础知识，以及如何在实际应用中部署它们。可免费报名。
• 大型语言模型：从应用到生产 | edX：面向开发者、数据科学家和工程师的进阶课程，教授如何使用流行框架构建以LLM为核心的应用，并实现端到端的生产就绪。
• 大型语言模型的微调 | Coursera 指导项目：一个简短的指导项目，涵盖大型语言模型微调的核心概念及训练流程。
• OpenAI与ChatGPT API：开发者的专家级微调 | Udemy：探索GPT-3在创建对话式AI解决方案中的强大能力，内容包括提示工程、微调、集成以及ChatGPT模型的部署等。
• 大型语言模型专业证书 | edX：学习如何利用最新的框架、技术和基础模型背后的理论，构建并投产基于大型语言模型的应用程序。
• 超越微调：提升你的LLM性能 | Udemy：本课程专为对LLM微调感兴趣的企业领导者和开发者设计，旨在探索提升LLM性能的技术方法。
• 大型语言模型导论 | Coursera：由Google Cloud提供的入门级微学习课程，讲解大型语言模型（LLMs）的基本概念及其应用场景。可免费报名。
• 课程大纲 | LLM101x | edX：学习如何使用数据嵌入、向量数据库，并结合领域特定数据对LLM进行微调，从而增强LLM工作流。
• 深度学习模型性能调优大师班 | Udemy：关于深度学习模型调优的大师级课程，涵盖加速训练和优化性能的各种技术。
• 最佳大型语言模型（LLMs）课程与认证 | Coursera：精选自顶尖教育机构和行业领军企业的LLMs课程，旨在为个人和企业团队提供高质量的培训，帮助他们学习或提升LLM微调技能。
• 精通语言模型：释放LLMs的强大威力 | Udemy：在这门综合课程中，你将深入探讨自然语言处理的基本原理，并了解LLMs如何重塑AI应用的格局。这是一份关于高级NLP和LLMs的全面指南。
• LLMs精通：Transformer与生成式AI完全指南 | Udemy：本课程提供了对AI发展史的精彩概述，并覆盖BERT、GPT和T5三大主流LLM的微调技术。适合对生成式AI、LLMs及生产级应用感兴趣的学员。
• 探索ChatGPT、GPT-4及LLMs背后的技术 | Udemy：这是你了解ChatGPT、GPT-4、BERT等大型语言模型所需的唯一课程。深入了解这些LLMs背后的技术。
• 非技术人员的大型语言模型入门 | Udemy：为非技术人员提供的大型语言模型概览，解释当前面临的挑战，并以通俗易懂的方式进行说明，避免复杂的专业术语。
• 大型语言模型：从头开始理解基础模型 | edX：深入探讨LLMs中的基础模型，如BERT、GPT和T5，了解最新进展如何提升LLMs的功能。

书籍

• 生成式AI与大型语言模型——由DeepLearning.AI和AWS联合推出的全新实践课程
• 一门实践课程，教授如何使用奖励模型和强化学习对大型语言模型（LLM）进行微调，重点聚焦于生成式AI。
• 从数据选择到微调：构建LLM模型的技术指南
• 一本技术指南，涵盖了从数据选择到微调的LLM模型构建全流程。
• LLM知识烹饪书：从RAG、QLoRA到微调，以及其间的所有技巧！
• 一本全面的烹饪书，深入探讨了多种LLM模型技术，包括检索与生成（RAG）、查询语言表示（QLoRA）等，以及微调流程。
• LLM微调原则
• 一篇文章，揭秘LLM微调的过程，并探讨多种技术，如上下文学习、经典微调方法、参数高效微调以及人类反馈强化学习（RLHF）。
• 从数据选择到微调：构建LLM模型的技术指南
• 一本技术指南，深入解析大型语言模型（LLM）的构建与训练过程。
• 动手实践大型语言模型
• 一本书，介绍了由深度学习驱动的语言AI系统的最新进展，重点关注大型语言模型。
• 在Amazon SageMaker JumpStart上为文本生成微调Llama 2模型
• 学习如何使用Amazon SageMaker JumpStart对Llama 2模型进行微调，以优化对话生成效果。
• 利用AWS Trainium实现快速且经济高效的LLaMA 2微调
• 一篇博客文章，详细说明如何借助AWS Trainium实现LLaMA 2模型的快速且经济高效的微调。
• 微调——高级深度学习与Python[书籍] 💡：本书探讨了在高级深度学习中，继预训练之后的微调任务。
• LLM知识烹饪书：从RAG、QLoRA到微调…… 💡：一本全面指南，介绍如何将大型语言模型（LLM）应用于各种任务，内容涵盖基础知识及高级微调技术。
• 大型语言模型快速入门指南：策略与最佳实践…… 💡：一本专注于大型语言模型（LLMs），如BERT、T5和ChatGPT的策略与最佳实践的指南，展示了它们在各类自然语言处理任务中的卓越表现。
• 4. GPT-4与ChatGPT高级技巧——开发应用…… 💡：本章深入探讨了GPT-4和ChatGPT的高级技巧，包括提示工程、零样本学习、少样本学习以及针对特定任务的微调。
• 什么是大型语言模型？——LLM AI详解——AWS 💡：对大型语言模型（LLMs）的解释，讨论了少样本学习和微调的概念，以提升模型性能。

研究论文

• LLM-Adapters：用于参数高效微调的适配器家族 📄：本文提出 LLM-Adapters，一个易于使用的框架，可将多种适配器集成到大语言模型中，以实现针对不同任务的参数高效微调（PEFT）。
• 减少专化的两阶段大语言模型微调 📄：ProMoT 是一种两阶段微调框架，通过“提示微调结合模型微调”的方式，解决大语言模型在格式上的专化问题，从而提升其上下文学习的通用性能。
• 基于本体推理的大企业语言模型微调 📄：本文提出一种神经符号架构，将大语言模型（LLMs）与企业知识图谱（EKGs）相结合，以实现 LLM 的领域特定微调。
• QLoRA：量化大语言模型的高效微调 📄：QLoRA 是一种高效的微调方法，可在保持任务性能的同时降低内存占用，并为量化预训练语言模型提供了新的见解。
• 资源有限条件下大语言模型的全参数微调 📄：该工作提出了 LOMO，一种低内存优化技术，能够在 GPU 资源有限的情况下实现大语言模型的全参数微调。
• LoRA：大语言模型的低秩适应 📄：LoRA 提出了一种方法，通过在每一层注入可训练的低秩分解矩阵，将大型预训练模型适配到特定任务，从而在保持模型质量的同时减少可训练参数的数量。
• 利用进化式微调增强大语言模型进行新闻摘要生成 📄：本文提出了一种基于大语言模型的新闻摘要生成新范式，结合了遗传算法和强大的自然语言理解能力。
• 语言之间如何相互影响？研究大语言模型微调过程中的跨语言数据共享 📄：本研究探讨了多语言大语言模型（MLLMs）微调过程中跨语言数据共享的现象，并分析了不同语言对模型性能的影响。
• 仅需前向传播即可微调语言模型 📄：MeZO 是一种内存高效的零阶优化器，能够在显著降低内存需求的同时实现大语言模型的微调。
• 学习对场景图进行推理：以大语言模型微调为例 📄：该工作探索了 GPT-2 大语言模型在机器人任务规划中的应用，展示了 LLM 在长时程任务规划场景中的潜力。
• 使用差分隐私对大语言模型进行私密微调：本文探讨了将差分隐私应用于大语言模型（LLMs）微调，为其添加隐私保障。
• DISC-LawLLM：面向智能法律系统的大型语言模型微调：本文介绍了 DISC-LawLLM，这是一种利用经过微调、具备法律推理能力的 LLM 提供广泛法律服务的智能法律系统。
• 针对特定场景的 LLaMa 多任务指令微调：A：该论文研究了对基础性 LLM——LLaMa——在特定写作任务上的微调效果，结果表明其写作能力得到了显著提升。
• 通过人类反馈训练语言模型遵循指令：本文提出了一种通过人类反馈对语言模型进行微调的方法，使其更好地符合用户意图，最终在人工评估中表现优于更大规模的模型。
• 大型语言模型可以自我改进：该论文证明，LLM 可以通过使用自动生成的解决方案进行微调来提升自身的推理能力，在无需真实标签的情况下达到最先进的性能。
• 拥抱大型语言模型在医疗领域的应用：本文强调了经微调的 LLM 在医疗应用中的潜力，能够提高诊断准确率并支持临床决策。
• 指令微调语言模型的扩展：该论文探讨了在 LLM 上进行指令微调的效果，结果显示其性能显著提升，并且具有良好的未见任务泛化能力。
• 跨设备联邦微调数十亿参数级语言模型：该工作提出了 FwdLLM，一种旨在提升移动设备上大型 LLM 微调效率的联邦学习协议，可同时提高内存和时间效率。
• 大型语言模型的全面概述：本文综述了大型语言模型的发展历程及其应用，并探讨了其迁移学习能力。
• 微调语言模型以在人群中达成共识：该论文探讨了如何微调大型 LLM，使其生成能够最大化不同意见群体认可度的一致性声明。

视频

• 安德烈·卡帕西的大语言模型入门：这是一段长达1小时的大语言模型入门介绍。内容包括大语言模型是什么、其发展方向、与当今操作系统之间的对比和类比，以及这一新型计算范式面临的一些安全相关挑战。
• 在您自己的数据集上微调 Llama 2 | 训练适合您的...的 LLM：学习如何在自定义数据集上微调 Llama 2 模型。
• 使用 QLoRA 在单个 GPU 上微调 LLM：在...上训练 Falcon-7b：本视频演示了使用 QLoRA 微调 Falcon 7b LLM 的过程。
• 使用 PEFT 微调 LLM | 大语言模型入门：了解如何使用资源需求更少的 PEFT 技术来微调 LLM。
• LLAMA-2 开源 LLM：在...上轻松进行自定义微调：逐步指导您如何在自定义数据集上微调 LLama 2 LLM 模型。
• 新课程：微调大型语言模型 - YouTube：本视频介绍了一门关于微调 LLM 的课程，涵盖模型选择、数据准备、训练和评估等内容。
• 问：如何为我的 LLM 微调创建指令数据集...：本教程面向初学者，讲解了 LLM 微调的相关知识，包括何时、如何以及为何进行微调。
• LLM 第 4 模块：微调和评估 LLM | 4.13.1 笔记本...：一个关于微调和评估 LLM 的笔记本演示。
• Google LLM 微调/适配/定制 - 入门...：通过分步指南，开始对 Google 的 PaLM 2 大语言模型进行微调。
• LLM 的预训练、微调与上下文学习（GPT-x ...：一份终极指南，解释了 GPT-x 等 LLM 的预训练、微调和上下文学习。
• 如何用 PDF 微调 LLM - Langchain 教程 - YouTube：学习如何使用 Langchain 和 PDF 库，将 OpenAI 的 GPT LLM 微调为能够处理 PDF 文档的功能。
• EasyTune 演示 - YouTube：使用 Falcon-7b 和 QLoRA 在单个 GPU 上微调 LLM 的演示。
• 解锁 ChatGPT 的潜力：训练与微调中的经验教训：THE STUDENT 展示了使用符号进行 LLM 的指令微调和上下文学习。
• AI 新闻：无需代码即可创建 LLM！ - YouTube：玛雅·阿金讨论了您需要了解的前 5 种 LLM 微调应用场景。
• 您需要了解的前 5 种 LLM 微调应用场景 - YouTube：一段深入的视频，重点介绍了 LLM 微调的前 5 种应用场景，并附有更多探索链接。
• clip2 llm emory - YouTube：学习如何在您自己的数据集上微调 Llama 2，并针对特定用途训练 LLM。
• 在本地机器上微调 LLAMA-v2 的最简单方法！ - YouTube：一段分步视频指南，展示了在本地机器上为自定义数据集微调 LLAMA-v2 的最简单、最快捷的方法。
• 训练与微调 LLM：入门 - YouTube：介绍训练和微调 LLM 的相关内容，包括重要概念以及 NeurIPS LLM 效率挑战赛。
• 使用 PEFT 和 LoRA 微调 LLM - YouTube：一段全面的视频，探讨如何利用 PEFT 微调任何解码器风格的 GPT 模型，包括 LoRA 微调的基础知识和上传操作。
• 为 RLHF 和 LLM 微调构建与整理数据集...：在 Argilla 的赞助下，学习如何为 RLHF（基于人类反馈的强化学习）和 LLM（大型语言模型）微调构建及整理数据集。
• 使用 Python 中的自定义数据微调 LLM（OpenAI GPT）- YouTube：探索如何通过使用自定义数据集对 LLM（OpenAI GPT）进行微调，以实现问答、摘要等类似 ChatGPT 的功能。

工具与软件

• LLaMA 高效微调 🛠️：易于使用的 LLM 微调框架（LLaMA-2、BLOOM、Falcon）。
• H2O LLM Studio 🛠️：用于微调 LLM 的框架和无代码 GUI。
• PEFT 🛠️：参数高效微调（PEFT）方法，用于将预训练的语言模型高效地适应下游应用。
• 类似 ChatGPT 的模型 🛠️：在您的设备上本地运行快速的类似 ChatGPT 的模型。
• Petals：协作运行像 BLOOM-176B 这样的大型语言模型，允许您加载模型的一小部分，并与其他用户合作进行推理或微调。🌸
• NVIDIA NeMo：用于构建最先进的对话式 AI 模型的工具包，专为 Linux 设计。🚀
• H2O LLM Studio：用于在 Windows 上微调大型语言模型的框架和无代码 GUI 工具。🎛️
• Ludwig AI：用于构建自定义 LLM 和其他深度神经网络的低代码框架。只需使用声明式的 YAML 配置文件，即可轻松训练最先进的 LLM。🤖
• bert4torch：优雅的 PyTorch 变压器实现。加载各种开源大型模型权重，用于推理和微调。🔥
• Alpaca.cpp：在您的设备上本地运行快速的类似 ChatGPT 的模型。结合了 LLaMA 基础模型和斯坦福 Alpaca 的开源复现版本，用于指令微调。🦙
• promptfoo：通过自动评估和具有代表性的用户输入，评估和比较 LLM 输出、检测回归并改进提示语。📊

会议与活动

• ML/AI对话：神经符号AI——LLM的替代方案 - 本次聚会将讨论微调LLM的经验，并探讨神经符号AI作为替代方案。
• AI开发者日——西雅图，2023年10月30日（周一）下午5:00 - 关于高效LLM可观测性以及利用向量相似度搜索进行微调机会的技术分享。
• DeepLearning.AI活动 - 系列活动包括缓解LLM幻觉、使用PyTorch 2.0和ChatGPT微调LLM，以及AI教育项目。
• AI开发者日——纽约，2023年10月26日（周四）下午5:30 - 技术分享主题为GenAI应用的最佳实践，以及如何利用LLM实现实时个性化通知。
• 聊天LLM与AI智能体——利用生成式AI构建AI系统与智能体 - 活动聚焦LLM、AI智能体和链式数据，并通过活动聊天提供互动机会。
• 纽约AI/LLM/ChatGPT开发者小组 - 定期为对AI、LLM、ChatGPT、NLP、ML、数据等领域感兴趣的开发者举办技术分享会或工作坊。
• 周二，2023年11月14日下午2:00：利用LLM处理企业数据 - 深入探讨专为非公开数据应用设计的LLM关键策略，包括提示工程和检索技术。
• 贝尔维尤应用机器学习聚会 - 聚会专注于应用机器学习技术，旨在提升数据科学家和ML从业者的能力。
• 慕尼黑AI与提示工程聚会，2023年10月5日（周四）18:15 - 介绍H2O LLM Studio用于微调LLM，并汇聚来自不同背景的AI爱好者。
• 西雅图AI/ML/数据开发者小组 - 技术分享内容涵盖评估LLM代理，以及通过实践学习AI/ML/数据相关知识。
• 数据科学道场——华盛顿特区 | 聚会：这是一个位于华盛顿特区的聚会组织，面向对数据科学的教学、学习及知识共享感兴趣的企业专业人士。
• 在阿联酋迪拜查找数据科学活动与小组：探索迪拜的数据科学活动和小组，结识志同道合的朋友。
• AI线下聚会：生成式AI与LLM——万圣节特别版：加入此次AI聚会，聆听关于生成式AI和大型语言模型（LLM）的技术分享，内容包括开源工具及最佳实践。
• ChatGPT释放潜能：NLP实战演示与最佳实践：本次线上活动将探讨大型语言模型的微调技巧，并展示ChatGPT及LLM的实际应用场景。
• 在印度浦那查找数据科学活动与小组：探索浦那地区线上线下相关的数据科学活动和小组。
• 华盛顿特区AI/ML/数据开发者小组 | 聚会：该小组旨在汇集华盛顿特区地区的AI爱好者，共同学习和实践AI技术，包括AI、机器学习、深度学习和数据科学。
• 波士顿AI/LLMs/ChatGPT开发者小组 | 聚会：加入波士顿的这个小组，学习并实践LLM、ChatGPT、机器学习、深度学习和数据科学等AI技术。
• 巴黎NLP | 聚会：该聚会专注于自然语言处理（NLP）在各领域的应用，讨论传统与现代NLP方法的技术、研究及实际应用。
• 旧金山AI/LLMs/ChatGPT开发者小组 | 聚会：与旧金山湾区的AI爱好者交流，学习并实践包括LLM、ChatGPT、NLP、机器学习、深度学习和数据科学在内的AI技术。
• AI线下聚会：GenAI与LLM在医疗健康领域的应用：参加此次技术分享，了解LLM在医疗健康领域的应用，并学习如何快速利用LLM完成健康相关任务。

幻灯片与演示文稿

• 大型语言模型的微调：探讨如何对GPT、BERT和RoBERTa等大型语言模型进行微调的演示文稿。
• LLaMa 2.pptx：介绍由Meta AI开发的强大大型语言模型LLaMa 2的幻灯片。
• LLM.pdf：探索Transformer在自然语言处理中的作用，从BERT到GPT-3的演示文稿。
• 大型语言模型训练营：涵盖大型语言模型各个方面（包括从头开始训练和微调）的训练营幻灯片。
• CNN解释的LHC：利用CNN和图像模型微调技术讲解大型强子对撞机（LHC）的幻灯片。
• 用10行代码使用大型语言模型：演示仅用10行代码即可使用大型语言模型的方法。
• LLaMA-Adapter：零初始化注意力机制下的高效语言模型微调.pdf：讨论LLaMA-Adapter这一采用零初始化注意力机制高效微调语言模型技术的幻灯片。
• LLM入门：介绍大型语言模型的演示文稿，内容包括基础模型以及基于提示-完成对的微调方法。
• LLM微调（东大松尾研LLM讲座第5天资料） - Speaker Deck：用于大型语言模型微调讲座的幻灯片，特别针对东大松尾研2023年暑期学校。
• 用ChatGPT自动化你的工作与业务 #3：讨论ChatGPT基础知识及其在工作自动化和业务任务中应用的演示文稿。
• 释放生成式AI的力量——高管指南.pdf：一本指南，详细说明如何通过微调大型语言模型（LLM），使其更好地满足组织需求。
• 微调并部署Hugging Face NLP模型 | PPT：一份提供关于如何使用Hugging Face NLP构建和部署LLM模型见解的演示文稿。
• 大规模语言模型时代的人工参与式机器学习 - Speaker Deck：一张幻灯片，讨论如何微调语言模型，以在具有不同偏好的人类之间达成共识。
• AI与ML系列——生成式AI与LLM简介 | PPT：介绍生成式AI和LLM的演示文稿，包括它们在特定应用中的使用。
• 实践中的检索增强生成：可扩展的GenAI…：讨论生成式AI的应用场景、大型语言模型的局限性，以及检索增强生成（RAG）和微调技术的使用。
• LLM演示最终版 | PPT：一份涵盖2013年儿童与家庭机构法案及LLM背景下“最佳利益原则”的演示文稿。
• 推荐系统中的LLM范式适应.pdf：一份PDF文件，解释基于LLM的推荐系统中的微调过程及目标调整。
• 使用Transformer模型的对话式AI | PPT：突出Transformer模型在对话式AI应用中使用的演示文稿。
• Llama-index | PPT：关于LLM兴起及构建LLM驱动应用的演示文稿。
• LLaMA-Adapter：零初始化注意力机制下的高效语言模型微调.pdf：一份PDF文件，讨论使用LLaMA实现零初始化注意力机制下语言模型的高效微调。

播客

• 实用AI：机器学习、数据科学 🎧 - 让人工智能变得实用、高效，并为所有人所用。参与关于AI、机器学习、深度学习、神经网络等话题的精彩讨论。无论你是初学者还是资深从业者，都能在这里获得易于理解的见解和真实场景案例。
• 梯度异议：探索机器学习、AI与深度学习 🎧 - 走进幕后，聆听行业领袖分享他们在实际场景中如何应用深度学习的经验。深入了解机器学习行业，并掌握最新趋势。
• Weaviate播客 🎧 - 与Connor Shorten一起收听Weaviate播客系列，节目邀请各领域专家进行访谈，探讨与AI相关的话题。
• 潜在空间：AI工程师播客——代码生成、智能体、计算机视觉、数据科学、AI用户体验及软件3.0的一切 🎧 - 深入AI工程领域，涵盖代码生成、计算机视觉、数据科学以及AI用户体验方面的最新进展。
• 无监督学习 🎧 - 洞察快速发展的AI格局及其对企业和全球的影响。探讨大语言模型的应用、行业趋势及颠覆性技术。
• TWIML AI播客（原“本周机器学习”） 🎧 - 深入探讨AI领域的微调方法、大语言模型的能力与局限，并向该领域的专家学习。
• 苹果播客上的《AI与未来工作》：由SC Moatti主持的播客，讨论AI对未来工作的影响。
• 实用AI：机器学习、数据科学——微调 vs RAG：本期节目探讨了机器学习和数据科学中微调与检索增强生成之间的对比。
• 苹果播客上的《无监督学习》：第20集邀请Anthropic首席执行官Dario Amodei，探讨AGI与AI的未来。
• Spotify上的《AI论文解读》播客：该播客为你带来计算机科学领域的最新趋势和表现最佳的架构信息。
• 苹果播客上的《AI今日》：涵盖各类AI相关话题，提供引人入胜的AI世界洞察。
• 关于评估LLM应用的一切 // Shahul Es // #179 MLOps：在本集中，Shahul Es分享了他在开源模型评估方面的专业知识，包括调试、故障排除和基准测试等方面的见解。
• 苹果播客上的《AI每日》：由Conner、Ethan和Farb主持，该播客探索各种有趣的AI相关故事。
• Yannic Kilcher视频（仅音频）| Spotify播客：Yannic Kilcher讨论机器学习研究论文、编程以及AI对社会的更广泛影响。
• LessWrong精选播客 | Spotify播客：这是LessWrong精选通讯中文章的音频版本。
• 苹果播客上的《SAI：安全与AI播客》：一集聚焦于OpenAI的网络安全资助计划。

---

这份Awesome List的初始版本是在Awesome List生成器的帮助下生成的。它是一个开源的Python工具包，利用GPT模型的强大能力，自动整理并生成与特定主题相关的资源列表起点。

awesome-llms-fine-tuning 快速上手指南

awesome-llms-fine-tuning 并非一个单一的可安装软件包，而是一个精选的大语言模型（LLM）微调资源合集。为了让您快速开始微调实践，本指南将基于该列表中推荐的最流行、易上手的开源框架 LLaMA-Factory 和 H2O LLM Studio 提供操作指引。这两个工具涵盖了从命令行到图形界面的主流微调需求。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• 硬件要求:
  • GPU: 建议 NVIDIA GPU，显存至少 16GB（全量微调需更高，LoRA/QLoRA 可低至 8GB-12GB）。
  • 内存: 系统 RAM 建议 32GB 以上。
• 前置依赖:
  • Python 3.8 - 3.10
  • CUDA Toolkit (版本需与 PyTorch 匹配，通常建议 11.8 或 12.1)
  • Git
  • (可选) Conda 或 Mamba 用于管理虚拟环境

安装步骤

以下提供两种主流方案的安装命令。国内开发者推荐使用国内镜像源加速下载。

方案一：LLaMA-Factory (命令行/代码友好，支持多种模型)

1. 克隆项目:

   git clone https://github.com/hiyouga/LLaMA-Factory.git
   cd LLaMA-Factory
   

2. 创建虚拟环境并安装依赖:

   conda create -n llama-factory python=3.10
   conda activate llama-factory
   

3. 安装核心库 (使用清华/阿里镜像加速):

   pip install -e ".[torch,metrics]" -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：若需 Flash Attention 加速，请确保硬件支持并安装 flash-attn。

方案二：H2O LLM Studio (无代码图形界面友好)

1. 克隆项目:

   git clone https://github.com/h2oai/h2o-llmstudio.git
   cd h2o-llmstudio
   

2. 安装依赖:

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   或者使用官方提供的 Docker 方式（推荐）:

   docker run --gpus all --shm-size 512m -p 10101:10101 -v $(pwd)/data:/data ghcr.io/h2oai/h2o-llmstudio:latest
   

基本使用

场景 A：使用 LLaMA-Factory 进行 LoRA 微调

这是目前最流行的参数高效微调方法。以下示例展示如何使用命令行对 Qwen-7B 进行指令微调。

1. 准备数据: 确保你有一个 alpaca_zh.json 格式的数据集（该框架内置了示例数据）。

2. 执行微调命令: 在项目根目录下运行以下命令（以单卡为例）：

   llamafactory-cli train \
       --stage sft \
       --do_train \
       --model_name_or_path Qwen/Qwen-7B-Chat \
       --dataset alpaca_zh \
       --template qwen \
       --finetuning_type lora \
       --lora_target q_proj,v_proj \
       --output_dir ./saves/qwen-7b/lora \
       --overwrite_cache \
       --per_device_train_batch_size 4 \
       --gradient_accumulation_steps 4 \
       --lr_scheduler_type cosine \
       --logging_steps 10 \
       --save_steps 1000 \
       --learning_rate 5e-5 \
       --num_train_epochs 3.0 \
       --plot_loss \
       --fp16
   

3. 启动推理测试: 微调完成后，可直接加载适配器进行对话测试：

   llamafactory-cli chat \
       --model_name_or_path Qwen/Qwen-7B-Chat \
       --adapter_name_or_path ./saves/qwen-7b/lora \
       --template qwen \
       --finetuning_type lora
   

场景 B：使用 H2O LLM Studio 进行可视化微调

适合不希望编写代码的用户。

1. 启动服务: 如果在本地安装（非 Docker），运行：

   python train.py
   

   终端将显示访问地址，通常为 http://localhost:10101。

2. 操作流程:

   • 登录: 浏览器打开上述地址，设置管理员账号。
   • 导入数据: 点击 "Import Dataset"，上传 CSV 或 Parquet 格式的指令数据集（需包含 prompt 和 answer 列）。
   • 创建实验: 点击 "Create Experiment"，选择基础模型（如 Llama-2, Falcon 等），配置超参数（Learning Rate, Batch Size, LoRA rank 等）。
   • 开始训练: 点击 "Run"，界面将实时展示 Loss 曲线和显存占用。
   • 导出模型: 训练结束后，可在 "Artifacts" 中下载微调后的权重文件。

---

提示：更多高级用法、特定模型支持列表及最新论文解读，请参阅 awesome-llms-fine-tuning 原始仓库中的 Articles & Blogs 和 GitHub projects 章节。