大语言模型微调

PEFT 微调项目 🚀

欢迎来到 PEFT（预训练-评估-微调）项目仓库！本项目专注于使用 LoRA 和 Hugging Face 的 transformers 库高效地微调大型语言模型。

微调笔记本目录 📑

笔记本标题	描述	Colab 徽章
1. 使用 LoRA 和 Hugging Face 高效训练大型语言模型	详细介绍并提供代码，展示如何使用 LoRA 和 Hugging Face 高效训练大型语言模型。
2. 在 Colab 笔记本中微调您自己的 Llama 2 模型	使用 Colab 微调 Llama 2 模型的指南。
3. 基于 LLaMA-7B 模型的 Guanaco 聊天机器人演示	展示由 LLaMA-7B 模型驱动的聊天机器人演示。
4. PEFT 微调 Bloom-560m 标注器	PEFT 微调 Bloom-560m 标注器的项目详情。
5. Meta OPT-6-1b 模型的 bnb-peft 微调	详细介绍并提供指南，说明如何使用 PEFT 和 Bloom-560m 标注器对 Meta OPT-6-1b 模型进行微调。
6. 使用 BNB 自监督训练微调 Falcon-7b	使用 BNB 自监督训练微调 Falcon-7b 的指南。
7. 使用 QLoRa 微调 Llama 2	使用 PEFT 库和 QLoRa 方法微调 Llama 2 7B 预训练模型的指南
8. Colab 中的 Stable Vicuna13B_8bit	微调 Vecuna 13B_8bit 的指南
9. GPT-Neo-X-20B-bnb2bit 训练	使用 bfloat16 精度训练 GPT-NeoX-20B 模型的指南
10. MPT-Instruct-30B 模型训练	MPT-Instruct-30B 是 MosaicML 推出的一款大型语言模型，基于短文本指令数据集进行训练。它可以用于执行指令、回答问题和生成文本。
11. 针对任意模型的自定义数据集 RLHF 训练	如何使用自定义数据集对任意 LLM 模型进行 RLHF 训练
12. 在自定义数据集上微调 Microsoft Phi 1.5b（DialogStudio）	如何使用 trl SFT 训练方法在自定义数据集上微调 Microsoft Phi 1.5 模型
13. 微调 OpenAI GPT3.5 Turbo	如何使用您自己的数据微调 GPT 3.5
14. 使用 Autotrain-advanced 微调 Mistral-7b	如何使用自动训练高级工具微调 Mistral-7b
15. RAG LangChain 教程	如何使用 LangChain 进行 RAG 操作
16. 基于 LangChain 和 PDF 的问答知识图谱 LLM	如何构建包含 PDF 问答功能的知识图谱
17. 使用 OpenAI 函数、Neo4j 和 Langchain 代理问答将文本转换为知识图谱	如何从文本或 PDF 文档构建知识图谱，并实现 PDF 问答功能
18. 使用 LangChain 和 OpenAI 将文档转换为知识图谱	本笔记本帮助您了解如何以最简单的方式将任何文档转换为知识图谱，以便用于后续的 RAG 应用程序
19. 如何使用 LLMs 训练 1 位模型？	本笔记本帮助您使用 hqq 框架，通过 1 位和 2 位量化方法训练模型
20. Alpaca + Gemma2 9b，Unsloth 实现 2 倍速微调	本笔记本帮助您训练带有 gemma2 9b 的模型
21. 使用 MLFLOW 最佳实践评估 RAG 流程	本笔记本提供了使用 MLFLOW 评估 21 种检索后生成答案（RAG）流程的全面指南，遵循行业最佳实践。
22. 使用 mlflow.evaluate() 评估 Hugging Face LLM	本笔记本提供了使用 mlflow_evaluate 评估 Hugging Face 语言学习模型（LLM）的全面指南。
23. 使用缓存增强生成优化 LLM	探讨来自研究论文“缓存增强生成（CAG）”的技术，利用缓存策略提升 LLM 的效率和响应速度。

贡献 🤝

欢迎贡献！如果您想为本项目做出贡献，可以随时提交问题或拉取请求。

许可证 📝

本项目采用 MIT 许可证 许可。

---

由 Ashish 用心创建

LLM-Finetuning 快速上手指南

本指南基于 LLM-Finetuning 项目，旨在帮助开发者利用 PEFT（参数高效微调）、LoRA/QLoRA 技术及 Hugging Face 生态，快速对大型语言模型（如 Llama 2、Falcon、Mistral 等）进行微调。项目核心优势在于通过 Google Colab 笔记本提供开箱即用的代码示例，极大降低了显存需求和部署门槛。

环境准备

本项目主要依托于 Python 环境和 Hugging Face 库。虽然大部分示例设计为在 Google Colab 云端环境中直接运行（推荐新手使用），若需在本地或自有服务器运行，请确保满足以下条件：

• 操作系统: Linux (Ubuntu 20.04+ 推荐) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.8 - 3.10
• 硬件要求:
  • GPU: 建议配备 NVIDIA GPU (显存 >= 16GB 用于全量微调，>= 8GB 可用于 QLoRA/LoRA 微调)。
  • Colab 用户: 免费 tier 通常提供 T4 GPU，足以运行大多数 LoRA/QLoRA 示例。
• 前置依赖:
  • transformers
  • peft
  • accelerate
  • bitsandbytes (用于量化)
  • trl (用于强化学习和监督微调)

国内加速建议: 由于 Hugging Face 模型下载在国内可能受限，建议在代码中配置镜像源或使用代理。在环境变量中设置：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

如果您选择在本地环境运行，请使用以下命令安装核心依赖库。推荐使用虚拟环境（如 conda 或 venv）。

1. 创建并激活虚拟环境 (可选但推荐)

conda create -n llm-ft python=3.9
conda activate llm-ft

2. 安装核心库

pip install transformers peft accelerate bitsandbytes trl datasets scipy sentencepiece

3. 安装 PyTorch (根据 CUDA 版本选择)

请访问 PyTorch 官网 获取适合您系统的命令。例如对于 CUDA 11.8：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注意: 本项目最便捷的使用方式是直接点击 README 中的 "Open in Colab" 按钮，无需本地安装任何依赖，云端环境已预装所需库。

基本使用

本项目提供了 20+ 个针对不同模型和场景的 Jupyter Notebook 教程。最简单的上手方式是运行 LoRA 微调 Llama 2 的示例。

方式一：使用 Google Colab (推荐)

1. 点击项目仓库中的 2. Fine-Tune Your Own Llama 2 Model in a Colab Notebook 链接。
2. 在 Colab 界面中，点击菜单栏的 代码执行程序 (Runtime) -> 更改运行时类型，选择 GPU。
3. 按顺序执行单元格：
   • 安装依赖（如果在 Colab 中未预装）。
   • 加载模型和数据集。
   • 配置 LoRA 参数。
   • 开始训练。
   • 推理测试。

方式二：本地代码示例 (基于 PEFT + LoRA)

以下是一个最小化的本地微调代码片段，展示了如何使用 peft 和 transformers 加载模型并应用 LoRA：

from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from peft import LoraConfig, get_peft_model, TaskType
from trl import SFTTrainer
from datasets import load_dataset

# 1. 加载模型和分词器 (以 TinyLlama 为例，节省显存)
model_name = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    load_in_4bit=True,  # 使用 4-bit 量化节省显存
)

# 2. 配置 LoRA
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
)

model = get_peft_model(model, peft_config)
model.print_trainable_parameters()

# 3. 准备数据集
dataset = load_dataset("imdb", split="train[:1%]") # 仅取少量数据演示

# 4. 配置训练参数
training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    num_train_epochs=1,
    fp16=True,
    logging_steps=10,
)

# 5. 初始化训练器并开始训练
trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=512,
)

trainer.train()

# 6. 保存模型
trainer.save_model("./my-lora-model")

进阶场景索引

根据您的需求，可选择对应的 Notebook 进行深入实践：

• 聊天机器人构建: 参考 3. Guanaco Chatbot Demo 或 7. FineTune LLaMa2 with QLoRa。
• 特定模型微调: 支持 Falcon-7b (6), Mistral-7b (14), Gemma2 (20) 等。
• RAG 与知识图谱: 参考 15. RAG LangChain Tutorial 至 18. Convert Document to Knowledgegraph。
• RLHF 训练: 参考 11. RLHF_Training_for_CustomDataset_for_AnyModel。