LLMBox | 训练 | 利用

LLMBox

LLMBox 是一个全面的库，用于实现大语言模型 (LLMs)，包括统一的训练流程和全面的模型评估。LLMBox 旨在成为训练和利用 LLMs 的一站式解决方案。通过实用的库设计，我们在训练和利用阶段都实现了高水平的灵活性和效率。

主要特性

训练

• 多样化的训练策略： 我们支持多种训练策略，包括监督微调 (SFT)、预训练 (PT)、PPO (近端策略优化) 和 DPO (直接偏好优化)。
• 全面的 SFT 数据集： 我们支持 9 个 SFT 数据集作为训练输入。
• 分词器词汇表合并： 我们支持分词器 (Tokenizer) 合并功能以扩展词汇表。
• 数据构建策略： 目前我们支持合并多个数据集进行训练。Self-Instruct 和 Evol-Instruct 也可用于处理数据集。
• 参数高效微调： LoRA (低秩适应) 和 QLoRA (量化低秩适应) 在 SFT 或 PT 中受支持。
• 高效训练： 我们支持 Flash Attention (高效注意力机制) 和 Deepspeed (分布式训练框架) 以实现高效训练。

利用

• 极速运行： 通过管理前缀的 KV Cache (键值缓存) 或使用 vLLM (高性能推理引擎)，我们可以将本地推理速度提高多达 6 倍 🚀。
• 全面评估： 评估 LLMs 时包含 59+ 个常用 数据集 和基准测试。
• 评估方法： 📏 准确复现 OpenAI、LLaMA、Mistral 及其他模型的原始论文结果。
• 上下文学习： 我们支持各种 ICL (上下文学习) 策略，包括 KATE、GlobalE 和 APE。
• 思维链： 对于某些数据集，我们支持三种类型的 CoT (思维链) 评估：base、least-to-most 和 pal。
• 量化： 支持 BitsAndBytes 和 GPTQ 量化。
• 易于使用：提供详细结果供用户调试或集成新模型/数据集/cot。

文档

详见 文档 了解更多细节。

快速开始

安装

git clone https://github.com/RUCAIBox/LLMBox.git && cd LLMBox
pip install -r requirements.txt

如果您仅评估 OpenAI（或兼容 OpenAI 如 DeepSeek, Perplexity）模型，可以安装最小化需求 requirements-openai.txt。

关于安装问题，请查看 故障排查。

git pull

git checkout local_changes && git add -p && git commit -m "local changes"
git checkout main
git pull

训练快速开始

您可以基于 LLaMA-2 (7B) 并使用 deepspeed3 开始训练一个 SFT 模型：

cd training
bash download.sh
bash bash/run_ds3.sh

利用快速开始

要利用您的模型，或评估现有模型，您可以运行以下命令：

python inference.py -m gpt-3.5-turbo -d copa  # --num_shot 0 --model_type chat

这默认以 zero-shot (零样本) 方式在 CoPA 数据集上运行 OpenAI GPT 3.5 turbo 模型。

训练

LLMBox 训练支持各种训练策略和数据集构建策略，以及一些提高效率的模块。您可以使用以下命令训练您的模型：

python train.py \
    --model_name_or_path meta-llama/Llama-2-7b-hf \
    --data_path data/ \
    --dataset alpaca_data_1k.json \
    --output_dir $OUTPUT_DIR \
    --num_train_epochs 2 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --save_strategy "epoch" \
    --save_steps 2 \
    --save_total_limit 2 \
    --learning_rate 1e-5 \
    --lr_scheduler_type "constant"

或者，您可以使用以下预设 bash 脚本来训练您的模型：

合并分词器

如果您想在原始语言模型（例如 LLaMA）支持不佳的语言或 token 语料库上预训练模型，我们提供分词器合并功能，通过使用 sentencepiece 基于语料库扩展词汇表。您可以查看 merge_tokenizer.py 获取详细信息。请遵循 Pre-train 中的指南。

bash bash/run_7b_pt.sh

合并数据集

如果您想使用混合多个数据集来训练模型，您可以向 LLMBox 传递一个数据集文件或名称列表。LLMBox 会将每个文件或名称转换为 PTDataset 或 SFTDataset，并将它们合并在一起以构建组合数据集。您也可以通过向 LLMBox 传递一个浮点数列表来设置每个数据集的合并比例。请遵循 Merge Dataset 中的指南。

bash bash/run_7b_hybrid.sh

Self-Instruct 和 Evol-Instruct

由于手动创建高质量指令数据以训练模型非常耗时且费力，提出了 Self-Instruct 和 Evol-Instruct，以便使用 LLM 而非人类创建大量具有不同复杂程度的指令数据。LLMBox 支持 Self-Instruct 和 Evol-Instruct 来增强或扩充输入数据文件。请遵循 Self-Insturct and Evol-Instruct 中的指南。

python self_instruct/self_instruct.py --seed_tasks_path=seed_tasks.jsonl

更多详情，请查看 训练 文档。

利用

我们广泛支持 Huggingface 模型（例如 LLaMA-3, Mistral, 或您构建的模型）、OpenAI、Anthropic、QWen 以及其他 OpenAI 兼容模型，以便进一步利用。完整的模型后端 (model backends) 列表：此处。

目前共支持 59+ 个常用数据集 (datasets)，包括：HellaSwag, MMLU, GSM8K, GPQA, AGIEval, CEval, 和 CMMLU。完整数据集列表：此处。

CUDA_VISIBLE_DEVICES=0 python inference.py \
  -m llama-2-7b-hf \
  -d mmlu agieval:[English] \
  --model_type chat \
  --num_shot 5 \
  --ranking_type ppl_no_option

• 🔥 最近支持的数据集：imbue_code, imbue_public, 和 imbue_private。

• 🔥 查看 LLaMA3 基准测试 获取更多示例。

高效评估

我们默认启用前缀缓存 (prefix caching) 以实现高效评估。同时也支持 vLLM。

您也可以使用以下命令来使用 vllm：

python inference.py -m ../Llama-2-7b-hf -d mmlu:abstract_algebra,anatomy --vllm True  # --prefix_caching False --flash_attention False

若要使用量化 (quantization) 进行评估，您可以使用以下命令：

python inference.py -m model -d dataset --load_in_4bits  # --load_in_8_bits or --gptq

评估方法

支持多种类型的评估方法：

{
  "question":
    "when was ...",
  "answer": [
    '14 December 1972',
    'December 1972'
  ]
}

Q: When was ...?
A: ________

{
  "question":
    "What is the ...?",
  "choices": [
    "The first",
    "The second",
    ...
  ],
  "answer": 3
}

Q: What is ...?
A: The first
   └--ppl--┘

Q: What is ...?
A. The first
B. The second
C. ...
A: A. The first
   └----ppl---┘

Q: What is ...?
A. The first
B. The second
C. ...
A: _
   └→ [A B C D]

您可以在 支持的数据集 中找到每个数据集的更多评估详情。

您可以使用 --instruction 传递一个 Jinja 模板以覆盖默认指令。

默认情况下，我们对 MultipleChoiceDataset 使用带有 ppl_no_option 排序类型的 get_ppl 方法，对 GenerationDataset 使用 generation 方法。您也可以使用以下命令为 MultipleChoiceDataset 使用 get_prob 方法或 get_ppl 的 ppl 变体：

python inference.py -m model -d dataset --ranking_type prob  # or ppl

我们还支持部分数据集的上下文学习（In-Context Learning）和思维链（Chain-of-Thought）评估：

python inference.py -m model -d dataset --kate  # --globale or --ape
python inference.py -m model -d dataset --cot least_to_most  # --base or --pal

关于模型利用的更详细指令，请查看 utilization 文档。

有关评估结果的完整列表，请参阅我们的论文 LLMBox: A Comprehensive Library for Large Language Models。

贡献

如果您遇到错误 (Bug) 或有任何建议，请通过 提交问题 告知我们。

我们欢迎所有贡献，从错误修复到新功能和扩展。

我们期望所有贡献都在问题跟踪器中讨论并通过 Pull Requests (PRs) 进行。

更多详情，请查看 CONTRIBUTING 文档。

我们要感谢以下为 LLMBox 做出贡献的贡献者：

• @xansar 修复了多个复杂问题，如 batch sampler 和 self-consistency。

团队

LLMBox 由 AI Box 开发和维护。更多详情见 变更日志

许可证

LLMBox 使用 MIT 许可证。

引用

如果您发现 LLMBox 对您的研究或开发有用，请引用以下论文：

@inproceedings{tang2024llmbox,
  title={LLMBox: A Comprehensive Library for Large Language Models},
  author={Tang, Tianyi and Yiwen, Hu and Li, Bingqian and Luo, Wenyang and Qin, ZiJing and Sun, Haoxiang and Wang, Jiapeng and Xu, Shiyi and Cheng, Xiaoxue and Guo, Geyang and others},
  booktitle={Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)},
  pages={388--399},
  year={2024}
}

LLMBox 快速上手指南

LLMBox 是一个全面的 LLM 实现库，提供统一的训练流程（Training）和综合的模型评估（Utilization）。它旨在成为训练和利用大语言模型的“一站式”解决方案，支持多种训练策略、高效推理及丰富的评估基准。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（推荐 Linux 用于生产环境）。
• 编程语言：Python 3.x。
• 硬件：
  • 本地训练/推理：需要 NVIDIA GPU（支持 CUDA）。
  • 仅调用 API：无需本地 GPU。
• 依赖工具：Git, Pip。

注意：若需使用本地训练或推理功能（如 DeepSpeed, vLLM），请确保已正确安装 CUDA 驱动及对应的 PyTorch 版本。

2. 安装步骤

完整安装（支持训练与评估）

克隆仓库并安装所有依赖：

git clone https://github.com/RUCAIBox/LLMBox.git && cd LLMBox
pip install -r requirements.txt

最小化安装（仅评估 OpenAI 兼容模型）

如果您仅需评估 OpenAI 或其兼容模型（如 DeepSeek, Perplexity），可安装最小依赖：

pip install -r requirements-openai.txt

更新版本

如需更新到最新版本，可直接拉取代码：

git pull

3. 基本使用

LLMBox 主要分为 训练 (Training) 和 利用/评估 (Utilization) 两个核心场景。

场景一：模型训练

支持 SFT、预训练 (PT)、PPO、DPO 等多种策略，以及 LoRA/QLoRA 微调。

快速启动训练示例（基于 LLaMA-2 7B + DeepSpeed3）：

cd training
bash download.sh
bash bash/run_ds3.sh

自定义训练命令：

python train.py \
    --model_name_or_path meta-llama/Llama-2-7b-hf \
    --data_path data/ \
    --dataset alpaca_data_1k.json \
    --output_dir $OUTPUT_DIR \
    --num_train_epochs 2 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --save_strategy "epoch" \
    --save_steps 2 \
    --save_total_limit 2 \
    --learning_rate 1e-5 \
    --lr_scheduler_type "constant"

场景二：模型评估与推理

支持 59+ 常用数据集（如 MMLU, GSM8K, C-Eval 等），并提供 vLLM 加速推理。

快速评估示例（Zero-shot 评估 OpenAI GPT-3.5 Turbo）：

python inference.py -m gpt-3.5-turbo -d copa  # --num_shot 0 --model_type chat

本地模型评估示例（使用 HuggingFace 模型 + vLLM 加速）：

CUDA_VISIBLE_DEVICES=0 python inference.py \
  -m llama-2-7b-hf \
  -d mmlu agieval:[English] \
  --model_type chat \
  --num_shot 5 \
  --ranking_type ppl_no_option

开启 vLLM 加速：

python inference.py -m ../Llama-2-7b-hf -d mmlu:abstract_algebra,anatomy --vllm True

量化评估支持（4-bit/8-bit/GPTQ）：

python inference.py -m model -d dataset --load_in_4bits  # --load_in_8_bits or --gptq

更多详细文档请参考项目 Documentation。