鸭嘴兽：快速、经济且强大的大语言模型微调工具（https://platypus-llm.github.io）

鸭嘴兽模型系列是基于LLaMA和LLaMa-2 Transformer架构进行微调与合并的变体。鸭嘴兽利用了LoRA和PEFT技术。

所有模型及数据集均可通过HuggingFace获取：garage-bAInd

更新

2023年8月21日：如果您正在微调LLaMa-2 7B，请在HF训练器中添加bf16=True并将fp16=False改为True。LLaMa-1 7B则无需更改。此调整仅适用于LLaMa-2 7B。 此外，若您仅使用1张GPU，请将HF训练器中的ddp_find_unused_paramters=False改为True。我们将会更新微调脚本以自动处理这些变更。

2023年8月14日：我们已清理并优化了数据流水线，新增了数据精炼与相似度计算功能。未来几天内，我们将发布一个脚本，用于从11个开源数据集中复现我们的完整数据集。

2023年8月13日：由OpenOrca合作推出的最新模型OpenOrca-Platypus2-13B的未量化GPU聊天机器人已在Hugging Face Spaces上上线，由OpenOrca提供支持：立即聊天！

2023年8月11日：我们的论文和项目官网已正式发布！

命令行界面

Fastchat为希望运行该模型的用户提供了一个简单的部署方案。首先通过HuggingFace下载模型，然后克隆Fastchat仓库：

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

接着安装所需依赖：

pip3 install --upgrade pip  # 启用PEP 660支持
pip3 install -e .

最后运行以下命令：

python3 -m fastchat.serve.cli --model-path garage-bAInd/Platypus-30B --conv_template alpaca

本地部署

本仓库支持多GPU环境，并提供了根据计算资源选择模型并行或数据并行的代码。

1. 安装依赖项

   pip install -r requirements.txt
   

2. 请务必使用精确的依赖版本，否则可能会遇到模型保存或内存不足的问题。

微调（finetune.py）

运行fine-tuning.sh脚本。

注意：上述脚本使用torchrun进行数据并行。由于在对.py文件进行少量修改后，理论上无需PyTorch即可完成微调，因此PyTorch并未包含在requirements.txt中。若要使用fine-tuning.sh脚本，请安装PyTorch。我们建议使用torchrun以及PyTorch 2.0及以上版本，以获得更快的速度和torch.compile的支持。如果您不安装PyTorch，或采用其他方法如accelerate launch，请务必注释掉脚本中所有与PyTorch相关的代码行。

用于微调鸭嘴兽模型的超参数如下：

超参数	13B / 70B 值
学习率	4e-4 / 3e-4
批量大小	16
微批次大小	1
热身步数	100
轮次	1
权重衰减	0.
学习率调度器	余弦
LoRA alpha	16
LoRA rank	16
LoRA dropout	0.05
LoRA目标模块	gate_proj, up_proj, down_proj
截断长度	4096
在输入上训练	False
按长度分组	False
添加EOS标记	False

使用2张GPU计算梯度累积步数的示例：= 全局批量大小 / 微批次大小 / GPU数量 = 16 / 1 / 2 = 8。

如果您的模型无法容纳在每张GPU的显存中，请使用下方的替代微调方案（或借助accelerate、FDSP等工具）来利用模型并行性。accelerate是一个不错的替代方案。

python finetune.py \
    --base_model meta-llama/Llama-2-70b-hf \
    --data-path ./final_data.json \
    --output_dir ./llama2-platypus-70b \
    --batch_size 16 \
    --micro_batch_size 1 \
    --num_epochs 1 \
    --learning_rate 0.0003 \
    --cutoff_len 4096 \
    --val_set_size 0 \
    --lora_r 16 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --lora_target_modules '[gate_proj, down_proj, up_proj]' \
    --train_on_inputs False \
    --add_eos_token False \
    --group_by_length False \
    --prompt_template_name alpaca \
    --lr_scheduler 'cosine' \
    --warmup_steps 100

合并

完成微调后，使用merge.sh脚本将LoRA权重合并回基础LLaMa模型（或您选择的基础模型），以便导出为HuggingFace格式。

尽管我们仍在探索更优的合并方式（敬请期待！），但目前的合并流程仍依赖于PEFT提供的基础线性合并方法。在开始微调之前，我们会尽可能地寻找可合并的基础模型及其对应的训练数据集。LoRA合并的成功与否很大程度上取决于所使用的数据质量。我们最成功的合并案例中，两个微调数据集之间的相似度极低。例如，GPlatty-30B就是Platypus-30B与gpt4-alpaca-lora-30b的合并结果。GPlatty的准确率提升了2%，而这两个LoRA模型的训练数据集相似度评分非常低。更多信息请参阅我们的论文。

注意：若在合并过程中遇到任何错误，请尝试卸载bitsandbytes和peft，然后重新安装最新版本（peft应始终从源码安装）。

数据集精炼

我们通过关键词搜索，在构成Open-Platypus的11个开源数据集中找到了STEM和逻辑相关问题。随后，为了去除重复内容，我们使用SentenceTransformers嵌入技术对问题进行了余弦相似度检查。最后，我们再次进行相似度检查，移除训练集中与测试集过于相似的问题。

与此相关的所有代码均可在本仓库的data_pipeline文件夹中找到。

复现基准评测结果

安装 LM 评估框架：

git clone https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463 # Open LLM Leaderboard 使用的提交版本
pip install -e .

每个任务在单块 A100 80GB GPU 上对 13B 参数模型进行评估，而对于 70B 参数模型则使用两块 A100 GPU。

ARC：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks arc_challenge --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/arc_challenge_25shot.json --device cuda --num_fewshot 25

HellaSwag：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks hellaswag --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/hellaswag_10shot.json --device cuda --num_fewshot 10

MMLU：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks hendrycksTest-* --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/mmlu_5shot.json --device cuda --num_fewshot 5

TruthfulQA：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks truthfulqa_mc --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/truthfulqa_0shot.json --device cuda

适配器推理（inference.py）

这是一个基本的示例脚本，用于直接使用微调后的适配器和/或本地数据进行推理。当前版本从 CSV 文件中读取数据。您可以轻松修改此脚本以从 Hugging Face 拉取数据或使用 JSON 文件。请在使用此脚本之前进行必要的编辑（它假设采用 Alpaca 格式）。

BibTeX

@article{platypus2023,
    title={鸭嘴兽：快速、廉价且强大的大语言模型精调}, 
    author={艾瑞尔·N·李、科尔·J·亨特、纳塔尼尔·鲁伊斯},
    booktitle={arXiv 预印本 arxiv:2308.07317},
    year={2023}
}

Platypus 快速上手指南

Platypus 是一系列基于 LLaMA 和 LLaMA-2 架构的微调与合并模型，利用 LoRA 和 PEFT 技术实现高效、低成本的大语言模型优化。所有模型和数据集均可在 Hugging Face (garage-bAInd) 获取。

环境准备

系统要求

• GPU: 推荐多 GPU 环境以支持数据并行或模型并行。
• 显存:
  • 微调 7B/13B 模型：建议单卡或多卡总显存充足。
  • 微调 70B 模型：需多卡支持模型并行，或使用 accelerate 等方案。
• Python: 建议 Python 3.8+。
• PyTorch: 推荐使用 PyTorch 2.0+ 以启用 torch.compile 加速（需单独安装）。

前置依赖

确保已安装 Git 和 pip。若使用国内网络，建议在 pip 命令中指定清华或阿里镜像源加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库并安装基础依赖

git clone <repository_url>
cd <repository_directory>
pip install -r requirements.txt

注：若需进行微调训练，请额外安装 PyTorch（官方文档：https://pytorch.org/get-started/locally/），推荐使用 torchrun 配合 PyTorch 2.0+。

2. (可选) 安装 FastChat 用于 CLI 推理

若希望通过命令行快速体验模型，可安装 FastChat：

git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip
pip3 install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

方式一：通过 FastChat 运行推理（最简单）

下载模型后，使用以下命令启动交互式对话（以 Platypus-30B 为例）：

python3 -m fastchat.serve.cli --model-path garage-bAInd/Platypus-30B --conv_template alpaca

方式二：本地微调（Fine-tuning）

使用提供的脚本进行 LoRA 微调。以下为使用 torchrun 进行数据并行的示例（需确保已安装 PyTorch）：

./fine-tuning.sh

若显存不足无法容纳整个模型，可使用 accelerate 进行模型并行微调，示例命令如下：

python finetune.py \
    --base_model meta-llama/Llama-2-70b-hf \
    --data-path ./final_data.json \
    --output_dir ./llama2-platypus-70b \
    --batch_size 16 \
    --micro_batch_size 1 \
    --num_epochs 1 \
    --learning_rate 0.0003 \
    --cutoff_len 4096 \
    --val_set_size 0 \
    --lora_r 16 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --lora_target_modules '[gate_proj, down_proj, up_proj]' \
    --train_on_inputs False \
    --add_eos_token False \
    --group_by_length False \
    --prompt_template_name alpaca \
    --lr_scheduler 'cosine' \
    --warmup_steps 100

方式三：合并 LoRA 权重

微调完成后，使用 merge.sh 将 LoRA 权重合并回基座模型以便导出：

./merge.sh

注意：若合并报错，请尝试卸载并重新安装最新版的 bitsandbytes 和 peft（peft 建议从源码安装）。