DoRA：权重分解低秩适应
[ICML2024（口头报告）]

这是DoRA：权重分解低秩适应的官方 PyTorch 实现，该论文入选了 [ICML2024（口头报告，录取率：1.5%）]。

Shih-Yang Liu*、Chien-Yi Wang、Hongxu Yin、Pavlo Molchanov、Yu-Chiang Frank Wang、Kwang-Ting Cheng、Min-Hung Chen
(*实习期间于 NVIDIA Research 完成的工作)

[论文] [官网] [NV 博客] [BibTeX]

DoRA 将预训练权重分解为“幅度”和“方向”两个组成部分来进行微调，其中特别采用 LoRA 进行方向更新，从而高效地减少可训练参数的数量。通过使用 DoRA，我们不仅提升了 LoRA 的学习能力和训练稳定性，还避免了任何额外的推理开销。在对 LLaMA、LLaVA 和 VL-BART 等模型进行各种下游任务的微调时，例如常识推理、视觉指令微调以及图像/视频与文本的理解任务，DoRA 均显著优于 LoRA。

如需商务合作，请访问我们的官网并提交表格：NVIDIA Research Licensing。

💥 最新消息 💥

• [07.02.2024] 🔥🔥 DoRA 的官方 NVIDIA 技术博客已发布 HERE!!
• [06.02.2024] 🔥🔥 DoRA 被选为 ICML 2024 的 口头报告 论文!!
• [05.24.2024] 🔥🔥 添加了复现 QDoRA/FSDP 结果的分步指南，详情请参阅 /QDoRA
• [05.02.2024] 🔥🔥 DoRA 已被 ICML 2024 接受!! 维也纳见!!
• [04.27.2024] 🔥🔥 我们已添加用于在常识推理任务上微调 LLaMA2-7B 和 LLaMA3-8B 的源代码及 DoRA 权重！
• [04.22.2024] 🔥🔥 请查看 Answer.ai 发布的一篇精彩博文 FSDP/QDoRA，文中指出 QDoRA 显著优于 QLoRA，甚至在性能上超越了全量微调！
• [04.18.2024] 🔥🔥 我们已发布用于复现论文中结果的源代码和 DoRA 权重！
• [03.20.2024] 🔥🔥 DoRA 现已完全支持 HuggingFace PEFT 包，并且可以支持 Linear、Conv1d 和 Conv2d 层，以及使用 bitsandbytes 量化后的线性层！

有用链接

• Sebastian Raschka 关于从头实现 DoRA 的精彩教程，请参阅 https://magazine.sebastianraschka.com/p/lora-and-dora-from-scratch
• Answer.AI 关于 QDoRA/FSDP 的精彩博文，允许在消费级 GPU 上微调 LLM，请参阅 https://www.answer.ai/posts/2024-04-26-fsdp-qdora-llama3.html

快速入门及使用 DoRA 微调的一些技巧

HuggingFace PEFT

DoRA 现已由 Huggingface PEFT 包 支持。您可以通过以下命令安装 PEFT 包：

pip install git+https://github.com/huggingface/peft.git -q

PEFT 安装完成后，只需将 LoraConfig() 的 use_dora 参数设置为 True，即可应用 DoRA。

示例如下：

from peft import LoraConfig

# 初始化 DoRA 配置
config = (
    use_dora=True, ...
)

更多详细信息请参阅官方 文档。

HuggingFace Diffusers

您也可以尝试使用 DoRA 对扩散模型进行微调。详情请参阅 huggingface/diffusers。另一个不错的教程是来自 Linoy Tsaban 的 Colab 笔记本。

总体而言，使用 DoRA 对扩散模型进行微调仍处于 实验阶段，并且与 LoRA 相比，可能需要不同的超参数设置才能达到最佳效果。

具体来说，人们注意到以下两点差异需要注意：

1. LoRA 的收敛速度似乎比 DoRA 更快（因此，在训练 LoRA 时可能导致过拟合的一组参数，可能在 DoRA 中表现良好）
2. DoRA 的质量尤其在较低秩的情况下优于 LoRA：例如，当训练秩为 8 时，DoRA 和 LoRA 的质量差异会比训练秩为 32 或 64 时更为明显。

一些 DoRA 与 LoRA 在扩散模型微调中的对比结果

• 来自 Linoy Tsaban 的示例（左侧为 DoRA 生成的图像，右侧为 LoRA）：

• 来自 merve 的示例：

DoRA 超参数设置

[!NOTE] 💡 使用 DoRA 进行微调时，直接沿用 LoRA 的配置通常已经可以获得较好的效果，但要达到比 LoRA 更优的性能，仍需对超参数进行调整。

我们建议从略低于 LoRA 的学习率开始，用户也可以尝试不同的 LoRA Dropout 比例。

此外，用户可以从 LoRA 配置中一半的秩开始，这往往已经能够带来与 LoRA 相当甚至更优的准确率。

复现论文中的结果

本仓库包含四个目录：

./commonsense_reasoning 包含在常识推理任务上使用 DoRA 对 LLaMA-7B/13B 进行微调的代码。该目录基于 LLM-Adapter 修改而来。

./instruction_tuning_dvora 包含使用 DoRA 和 DVoRA（DoRA+VeRA）以及清洗后的 Alpaca 指令微调数据集对 LLaMA-7B 和 LLaMA2-7B 进行微调的代码。该目录基于 VeRA 修改而来。

./image_video_text_understanding 包含在图像/视频-文本理解任务上使用 DoRA 对 VL-BART 进行微调的代码。该目录基于 VL-Adapter 修改而来。

./visual_instruction_tuning 包含在视觉指令微调任务上使用 DoRA 对 LLaVA-1.5-7B 进行微调的代码。该目录基于 LLaVA 修改而来。

常识推理任务中 DoRA 与 LoRA 的对比

模型	r值	BoolQ	PIQA	SIQA	HellaS	WinoG	ARC-e	ARC-c	OBQA	平均
LLaMA-7B-LoRA	32	67.5	80.8	78.2	83.4	80.4	78.0	62.6	79.1	76.3
LLaMA-7B-DoRA(ours)	16	70.0	82.6	79.7	83.2	80.6	80.6	65.4	77.6	77.5
LLaMA-7B-DoRA(ours)	32	69.7	83.4	78.6	87.2	81.0	81.9	66.2	79.2	78.4
LLaMA2-7B-LoRA	32	69.8	79.9	79.5	83.6	82.6	79.8	64.7	81.0	77.6
LLaMA2-7B-DoRA(ours)	16	72.0	83.1	79.9	89.1	83.0	84.5	71.0	81.2	80.5
LLaMA2-7B-DoRA(ours)	32	71.8	83.7	76.0	89.1	82.6	83.7	68.2	82.4	79.7
LLaMA3-8B-LoRA	32	70.8	85.2	79.9	91.7	84.3	84.2	71.2	79.0	80.8
LLaMA3-8B-DoRA(ours)	16	74.5	88.8	80.3	95.5	84.7	90.1	79.1	87.2	85.0
LLaMA3-8B-DoRA(ours)	32	74.6	89.3	79.9	95.5	85.6	90.5	80.4	85.8	85.2

星标历史

联系方式

刘士扬：shihyangl@nvidia.com 或 sliuau@connect.ust.hk

引用

如果您觉得 DoRA 有用，请考虑给项目点赞并引用：

@article{liu2024dora,
  title={DoRA: Weight-Decomposed Low-Rank Adaptation},
  author={Liu, Shih-Yang and Wang, Chien-Yi and Yin, Hongxu and Molchanov, Pavlo and Wang, Yu-Chiang Frank and Cheng, Kwang-Ting and Chen, Min-Hung},
  journal={arXiv preprint arXiv:2402.09353},
  year={2024}
}

许可证

版权所有 © 2024，英伟达公司。保留所有权利。

本作品根据 NVIDIA 源代码许可协议-非商业版提供。点击 此处 查看该许可协议的副本。

DoRA 快速上手指南

DoRA (Weight-Decomposed Low-Rank Adaptation) 是一种高效的微调技术，通过将预训练权重分解为“幅度”和“方向”两个分量，并仅对方向分量使用 LoRA 进行更新。相比传统 LoRA，DoRA 在保持推理零开销的同时，显著提升了模型的学习能力和训练稳定性，尤其在低秩（Low Rank）设置下表现更优。

环境准备

• 系统要求：Linux 或 macOS 环境（Windows 需通过 WSL2 运行），具备 CUDA 支持的 NVIDIA GPU。
• 前置依赖：
  • Python >= 3.8
  • PyTorch >= 1.13 (建议最新稳定版)
  • Hugging Face transformers 库
  • bitsandbytes (如需量化训练)

安装步骤

DoRA 已正式集成到 Hugging Face 的 peft 库中（v0.10.0+）。推荐直接从 GitHub 安装最新版以获取完整支持。

pip install git+https://github.com/huggingface/peft.git -q

国内加速提示：如果下载速度较慢，可配置 pip 使用国内镜像源（如清华源）：

pip install git+https://github.com/huggingface/peft.git -q -i https://pypi.tuna.tsinghua.edu.cn/simple

确保同时安装了必要的依赖库：

pip install transformers accelerate bitsandbytes

基本使用

在 Hugging Face PEFT 中使用 DoRA 非常简单，只需在配置 LoraConfig 时将 use_dora 参数设置为 True 即可。

代码示例

以下是最基础的配置示例，适用于 LLaMA、LLaVA 等模型的微调：

from peft import LoraConfig, get_peft_model

# 定义 DoRA 配置
config = LoraConfig(
    r=16,                  # 秩 (Rank)，DoRA 通常可使用比 LoRA 更小的秩达到同等效果
    lora_alpha=32,         # 缩放因子
    target_modules=["q_proj", "v_proj"], # 根据模型架构调整目标模块
    lora_dropout=0.05,     # Dropout 比例
    bias="none",           # 偏置项处理方式
    task_type="CAUSAL_LM", # 任务类型，如因果语言模型
    use_dora=True          # 【关键】启用 DoRA
)

# 将配置应用到基础模型 (base_model 为你的 transformers 模型对象)
# model = get_peft_model(base_model, config)

调优建议

虽然直接复用 LoRA 的超参数通常能获得不错的结果，但为了发挥 DoRA 的最佳性能，建议尝试以下调整：

1. 降低学习率：尝试使用比原 LoRA 训练稍低的学习率。
2. 减小秩 (Rank)：DoRA 在低秩下表现优异，可尝试将 r 设置为原 LoRA 方案的一半（例如从 32 降至 16），往往能获得相当甚至更好的精度。
3. 扩散模型注意：若在 Diffusion 模型上使用 DoRA，请注意其收敛速度可能慢于 LoRA，且在小秩（如 r=8）下质量提升最为明显，需相应调整训练步数和超参数。