引言

Dromedary 是一款开源的自我对齐语言模型，在极低的人类监督下进行训练。如需更全面的细节与见解，请访问我们的 项目页面 和 论文。

更新：Dromedary-2（SFT）

Dromedary-2 中全新的 SELF-ALIGN 流程仅包含两个阶段。我们用来自 ShareGPT、Dolly-15k、OpenAssistant 和 OpenOrca 的多样化用户提示替换了第一阶段，并创建了一个改进的提示模板，其中增加了一条示例，鼓励 LLM 人工智能助手以一种 [一般—具体—一般] 的回应风格生成回答（参见论文：https://arxiv.org/abs/2305.15717），即先概述、再深入细节、最后总结。具体而言，我们直接从 FastChat 中提取单次示例作为这一额外的示例。

通过使用这种基于原则的新式自我对齐提示，我们发现，即使没有冗长的克隆阶段或推理时的小样本示例，搭载改进 ICL 示例的 LLaMA-2 基础模型也能获得更好的性能。因此，我们也取消了原始 SELF-ALIGN 流程中的最后一道工序。

Dromedary-2（RLAIF）

Dromedary-2 的 SALMON（遵循原则奖励模型的自我对齐）训练流程可在 IBM/SALMON 仓库中找到。

原始 Dromedary

原始 Dromedary 发布版本的代码库位于 dromedary_v1 分支。

环境搭建

若要使用 LLaMA 基础语言模型训练您自己的自我对齐模型，或者在 GPU 数量不是 1、2、4 或 8（即不是 2 的幂次）的情况下进行推理，您需要安装我们定制的 llama_dromedary 包。

在已配置好 PyTorch 和 CUDA 的 conda 环境中，执行以下命令：

cd llama_dromedary
pip install -r requirements.txt
pip install -e .
cd ..

否则，如果您只想在 1、2、4、8 或 16 个 GPU 上进行推理，可以直接复用原版 LLaMA 代码库。

git clone https://github.com/facebookresearch/llama.git
cd llama
pip install -r requirements.txt
pip install -e .
cd ..

此外，您还至少需要安装用于推理的依赖包：

cd inference
pip install -r requirements.txt

模型权重

为遵守 LLaMA 模型许可协议，我们以增量权重的形式发布 Dromedary 权重。您可以将我们的增量权重叠加到原始 LLaMA 权重上，从而得到 Dromedary 权重。操作步骤如下：

1. 按照 此处 的说明，获取 Hugging Face 格式的原始 LLaMA 权重。
2. 从我们的 Hugging Face 模型中心 下载 LoRA 增量权重。
3. 参阅我们的 推理指南，了解如何在您的设备上部署 Dromedary/LLaMA，并采用 模型并行 技术（该技术在多 GPU 场景下通常比 Hugging Face 默认的流水线并行更快）。

自我对齐用合成数据

我们将在 Hugging Face 数据集中心发布用于训练 Dromedary-65b（最终版） 的合成数据，链接如下：此处。

这些指令由基础 LLaMA 模型借助（主题引导红队攻击）Self-Instruct 框架生成，而回复则由 Dromedary（非冗长版） 模型在 冗长提示 的引导下生成。

更新：我们还在 Hugging Face 数据集中心发布了用于训练 Dromedary-2-70b（SFT） 的合成数据，链接如下：此处。

推理

我们为 Dromedary 提供了一个 聊天机器人演示。

训练

我们提供了完整的 Dromedary 训练流程，供他人复现。

提示语

本项目中使用的所有人工标注文本均可在 此处 找到。

引用

如果您使用本仓库中的数据或代码，请引用以下论文：

@inproceedings{sun2023principle,
      title = {Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision},
      author = {Sun, Zhiqing and Shen, Yikang and Zhou, Qinhong and Zhang, Hongxin and Chen, Zhenfang and Cox, David and Yang, Yiming and Gan, Chuang},
      booktitle = {Thirty-seventh Conference on Neural Information Processing Systems},
      year = {2023},
      url = {https://openreview.net/forum?id=p40XRfBX96},
}

致谢

我们感谢 Yizhong Wang 提供解析分析图的代码。 同时，我们也感谢 Meta LLaMA 团队、斯坦福 Alpaca 团队、Vicuna 团队、Alpaca-LoRA、QLoRA 团队以及 Hugging Face PEFT，感谢他们在推动大型语言模型开源化方面所做出的努力。

Dromedary 快速上手指南

Dromedary 是一个开源的自对齐语言模型项目，旨在通过极少量的人工监督实现大模型的自我对齐。本项目基于 LLaMA 架构，提供了从训练到推理的完整流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.8 或更高版本
• 深度学习框架: PyTorch (需支持 CUDA)
• 硬件:
  • 训练/自定义推理: 需要安装定制的 llama_dromedary 包以支持任意数量的 GPU。
  • 标准推理: 若仅使用 1, 2, 4, 8 或 16 张 GPU 进行推理，可直接使用原版 LLaMA 仓库。
• 前置依赖:
  • Conda (推荐用于环境管理)
  • Git
  • Hugging Face Account (用于下载 LLaMA 基础权重和 Dromedary Delta 权重)

注意：由于 LLaMA 模型授权限制，您需要先自行申请并下载原始 LLaMA 权重。

安装步骤

根据您的具体需求（训练/自定义推理 或 仅标准推理），选择以下一种安装方式。

方案 A：训练或自定义 GPU 数量推理（推荐）

如果您计划训练自己的自对齐模型，或者需要在非 2 的幂次方数量（如 3 张、5 张等）的 GPU 上进行推理，请安装定制的 llama_dromedary 包。

# 克隆或进入项目目录后
cd llama_dromedary
pip install -r requirements.txt
pip install -e .
cd ..

方案 B：仅标准推理 (1, 2, 4, 8, 16 GPUs)

如果您仅需在特定数量的 GPU 上进行推理，可以复用原始的 LLaMA 仓库。

git clone https://github.com/facebookresearch/llama.git
cd llama
pip install -r requirements.txt
pip install -e .
cd ..

安装推理依赖

无论选择哪种方案，都必须安装推理模块所需的额外依赖：

cd inference
pip install -r requirements.txt

基本使用

Dromedary 发布的权重为 Delta 权重（增量权重），以符合 LLaMA 的许可协议。使用前需将其合并到原始 LLaMA 权重中。

第一步：获取模型权重

1. 下载原始 LLaMA 权重： 按照 Hugging Face 官方指南 获取 Hugging Face 格式的原始 LLaMA 权重。

2. 下载 Dromedary Delta 权重： 从 Hugging Face Model Hub 下载对应的 LoRA Delta 权重。

   • 示例地址 (Dromedary-65b): zhiqings/dromedary-65b-lora-delta-v0
   • 示例地址 (Dromedary-2-70b SFT 数据): zhiqings/dromedary-2-70b-v2

   # 使用 huggingface-cli 下载示例 (需先登录)
   huggingface-cli download zhiqings/dromedary-65b-lora-delta-v0 --local-dir ./dromedary_delta
   

第二步：部署与推理

合并权重并启动推理通常通过项目提供的推理脚本完成。Dromedary 支持模型并行 (Model Parallel) 部署，这在多 GPU 环境下比默认的流水线并行更高效。

请参考 inference 目录下的具体指南执行部署。以下是一个典型的推理启动逻辑示意（具体参数需根据显存和模型大小调整）：

# 进入推理目录
cd inference

# 运行推理脚本 (示例命令，具体参数请参阅 inference/README)
# 需指定原始 LLaMA 权重路径和 Delta 权重路径
python chatbot_demo.py \
    --ckpt_dir /path/to/original_llama_weights \
    --delta_path ./dromedary_delta \
    --tokenizer_path /path/to/tokenizer.model \
    --max_seq_len 512 \
    --max_batch_size 1

提示：详细的命令行参数说明、多卡配置方法以及对话演示代码，请查阅项目根目录下的 inference 文件夹文档。

进阶：使用合成数据训练

如果您希望复现训练过程，项目已公开用于训练 Dromedary-65b 和 Dromedary-2-70b 的合成数据集。

• Dromedary-65b 数据: Hugging Face Dataset
• Dromedary-2-70b 数据: Hugging Face Dataset

完整的训练流水线代码位于 training 目录中。