LLM 微调工具包

概述

LLM 微调工具包是一个基于配置的命令行工具，用于在您的数据上启动一系列 LLM 微调实验，并收集其结果。您只需一个 yaml 配置文件，即可控制典型实验流程中的所有要素——提示模板、开源 LLM、优化策略以及LLM 测试。

安装

pipx（推荐）

pipx 会将软件包及其依赖项安装在一个独立的虚拟环境中。

pipx install llm-toolkit

pip

pip install llm-toolkit

快速入门

本指南包含三个阶段，帮助您充分利用此工具包！

• 基础：运行您的第一个 LLM 微调实验
• 中级：通过修改 YAML 配置文件中的组件来运行自定义实验
• 高级：通过一个 YAML 配置文件，在不同的提示模板、LLM 和优化技术之间启动一系列微调实验

基础

llmtune generate config
llmtune run ./config.yml

第一条命令会生成一个实用的入门级 config.yml 文件，并保存到当前工作目录中。该文件旨在帮助用户快速上手，并作为进一步修改的基础。

第二条命令则使用默认的 YAML 配置文件 config.yaml 中指定的设置，启动微调过程。

中级

配置文件是定义工具包行为的核心部分。它采用 YAML 格式编写，由多个部分组成，分别控制数据加载、模型定义、训练、推理和质量保证等不同环节。以下我们重点介绍几个关键部分。

Flash Attention 2

要为支持的模型启用 Flash-Attention，首先需要安装 flash-attn：

pipx

pipx inject llm-toolkit flash-attn --pip-args=--no-build-isolation

pip

pip install flash-attn --no-build-isolation

然后，在配置文件中添加以下内容：

model:
  torch_dtype: "bfloat16" # 或者如果使用较旧的 GPU，则为 "float16"
  attn_implementation: "flash_attention_2"

数据加载

数据加载部分的示例如下：

data:
  file_type: "huggingface"
  path: "yahma/alpaca-cleaned"
  prompt:
    ### Instruction: {instruction}
    ### Input: {input}
    ### Output:
  prompt_stub: { output }
  test_size: 0.1 # 测试集占总数据的比例；若为整数，则表示样本数量
  train_size: 0.9 # 训练集占总数据的比例；若为整数，则表示样本数量
  train_test_split_seed: 42

• 上述示例展示了如何使用 Hugging Face 上的公开数据集，但配置文件同样可以加载您自己的数据。

   file_type: "json"
   path: "<您的数据文件路径>"

   file_type: "csv"
   path: "<您的数据文件路径>"

• 提示字段用于构建微调 LLM 的指令模板。它会从您数据集中特定的列中读取信息，这些列名被放在 {} 括号内。在提供的示例中，假设数据文件包含 instruction、input 和 output 三列。

• 在微调过程中，提示字段会同时使用 prompt 和 prompt_stub；而在测试阶段，仅使用 prompt 部分作为微调后 LLM 的输入。

LLM 定义

model:
  hf_model_ckpt: "NousResearch/Llama-2-7b-hf"
  quantize: true
  bitsandbytes:
    load_in_4bit: true
    bnb_4bit_compute_dtype: "bf16"
    bnb_4bit_quant_type: "nf4"

# LoRA 参数 -------------------
lora:
  task_type: "CAUSAL_LM"
  r: 32
  lora_dropout: 0.1
  target_modules:
    - q_proj
    - v_proj
    - k_proj
    - o_proj
    - up_proj
    - down_proj
    - gate_proj

• 上述示例展示了使用 Llama2 7B 的情况，理论上，任何受 Hugging Face 支持的开源 LLM 都可以在此工具包中使用。

hf_model_ckpt: "mistralai/Mistral-7B-v0.1"

hf_model_ckpt: "tiiuae/falcon-7b"

• LoRA 的参数，如秩 r 和丢弃率，都可以调整。

lora:
  r: 64
  lora_dropout: 0.25

质量保证

qa:
  llm_metrics:
    - length_test
    - word_overlap_test

• 为了确保微调后的 LLM 行为符合预期，您可以添加一些测试来验证是否达到了所需的效果。例如，对于一个用于摘要任务的微调 LLM，我们可能希望检查生成的摘要长度是否确实短于输入文本，同时还要了解原始文本与摘要之间的词汇重叠程度。

输出成果

该配置将执行微调，并将结果保存到 ./experiment/[unique_hash] 目录下。每个独特的配置都会生成一个唯一的哈希值，以便工具能够自动从中断处继续执行。例如，如果您在训练过程中需要退出，重新运行脚本时，程序会自动加载该目录下已生成的数据集，而无需从头开始。

脚本运行完成后，您将看到以下几类输出成果：

/dataset # 以 HF 数据集格式生成的 pkl 文件
/model # 以 HF 格式保存的 PEFT 模型权重
/results # 包含提示、真实标签和预测值的 CSV 文件
/qa # 包含测试结果的 CSV 文件：例如，真实标签与预测之间的向量相似度

完成对 YAML 文件的所有修改后，您只需使用它即可运行自定义的微调实验！

python toolkit.py --config-path <自定义 YAML 文件路径>

高级

微调工作流通常涉及在不同的大语言模型、提示词设计和优化技术之间进行消融实验。可以通过修改配置文件来支持运行消融实验。

• 指定不同的提示模板，以便在微调过程中进行实验。

data:
  file_type: "huggingface"
  path: "yahma/alpaca-cleaned"
  prompt:
    - >-
      这是第一个要迭代的提示模板
      ### 输入: {input}
      ### 输出:
    - >-
      这是第二个提示模板
      ### 指令: {instruction}
      ### 输入: {input}
      ### 输出:
  prompt_stub: { output }
  test_size: 0.1 # 测试集占总数据的比例；若为整数，则表示样本数量
  train_size: 0.9 # 训练集占总数据的比例；若为整数，则表示样本数量
  train_test_split_seed: 42

• 指定您希望尝试的各种大语言模型。

model:
  hf_model_ckpt:
    [
      "NousResearch/Llama-2-7b-hf",
      mistralai/Mistral-7B-v0.1",
      "tiiuae/falcon-7b",
    ]
  quantize: true
  bitsandbytes:
    load_in_4bit: true
    bnb_4bit_compute_dtype: "bf16"
    bnb_4bit_quant_type: "nf4"

• 指定您希望进行消融实验的不同 LoRA 配置。

lora:
  r: [16, 32, 64]
  lora_dropout: [0.25, 0.50]

扩展

该工具包提供了一个模块化且可扩展的架构，使开发者能够根据自身需求自定义和增强其功能。工具包中的每个组件，例如数据摄取、微调、推理和质量保证测试，都设计为易于扩展。

贡献

欢迎并鼓励对该工具包的开源贡献。 如果您希望做出贡献，请参阅 CONTRIBUTING.md。

LLM-Finetuning-Toolkit 快速上手指南

LLM-Finetuning-Toolkit 是一款基于配置文件的命令行工具，旨在简化大语言模型（LLM）的微调实验流程。只需一个 yaml 配置文件，即可统一管理提示词（Prompts）、开源模型选择、优化策略及模型测试。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Python 版本：推荐 Python 3.8 及以上版本。
• GPU 支持：如需进行实际微调训练，建议配备 NVIDIA GPU 并安装对应的 CUDA 驱动。
• 前置依赖：
  • 推荐使用 pipx 进行隔离安装（避免污染全局环境）。
  • 若需启用 Flash Attention 2 加速，需额外安装 flash-attn（仅支持特定 GPU）。

国内加速建议： 在安装依赖时，建议使用国内镜像源以提升下载速度。例如使用清华源：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

您可以选择以下任一方式进行安装：

方式一：使用 pipx（推荐）

此方式会将工具及其依赖安装在独立的虚拟环境中，避免版本冲突。

pipx install llm-toolkit

若需启用 Flash Attention 2，执行以下命令注入依赖：

pipx inject llm-toolkit flash-attn --pip-args=--no-build-isolation

方式二：使用 pip

直接安装到当前 Python 环境。

pip install llm-toolkit

若需启用 Flash Attention 2，执行以下命令：

pip install flash-attn --no-build-isolation

基本使用

本部分介绍如何运行您的第一个 LLM 微调实验。整个流程分为两步：生成配置文件和启动训练。

1. 生成默认配置文件

运行以下命令，工具将在当前工作目录下生成一个名为 config.yml 的 starter 配置文件。该文件包含了默认的模型、数据集和训练参数，可作为修改的基础。

llmtune generate config

2. 启动微调实验

使用生成的配置文件启动微调过程。工具会自动读取 config.yml 中的设置，处理数据、加载模型并开始训练。

llmtune run ./config.yml

实验结果

训练完成后，结果将保存在 ./experiment/[unique_hash] 目录下。每个独特的配置会生成唯一的哈希值，支持断点续训。主要输出文件包括：

• /dataset: 生成的 HF datasets 格式 pickle 文件。
• /model: PEFT 模型权重（HF 格式）。
• /results: 包含提示词、真实值和预测值的 CSV 文件。
• /qa: 质量评估测试结果（如向量相似度等）。

---

进阶用法（如自定义数据集路径、切换模型、调整 LoRA 参数或进行消融实验）可通过编辑 config.yml 文件实现，详细参数请参考官方文档。