LLaMA-Adapter：高效微调LLaMA 🚀

公告：我们发布了 LLaMA2-Accessory，一个用于 预训练、微调 和 部署 LLM 及 多模态 LLM 的开源工具包。🔥

官方实现了论文 'LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention' 和 'LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model'。

本仓库提出了 LLaMA-Adapter (V2)，一种轻量级的适配方法，用于微调 指令跟随 和 多模态 LLaMA 模型 🔥。

快来体验 LLaMA-Adapter 的网页演示 🤗：、LLaMA-Adapter V2 和 ImageBind-LLM。

欢迎加入我们的 Wechat 社区！

最新消息

• [2024.01.18] LLaMA-Adapter 被 ICLR 2024 接收！🎉
• [2023.12.08] 我们发布了 OneLLM，该模型使用统一框架将 八种 模态对齐到语言。🔥🔥🔥
• [2023.11.11] 我们发布了 SPHINX，一款全新的多模态 LLM，相比 LLaMa-Adapter-V2 实现了巨大飞跃。🔥🔥🔥
• [2023.10.11] 我们发布了 LLaMA-Adapter V2.1，这是 LLaMA-Adapter V2 的改进版本，具有更强的多模态推理能力。详情请参见 llama_adapter_v2_multimodal7b。
• [2023.08.28] 我们通过 OmniQuant 发布了量化后的 LLM，这是一种高效、精准且全面覆盖（甚至极低比特）的量化算法。多模态版本即将推出。🔥🔥🔥
• [2023.07.24] 我们发布了 LLaMA2-Accessory，一个用于 预训练、微调 和 部署 大型语言模型 (LLM) 以及 多模态 LLM 的开源工具包。更多详情请访问 Alpha-VLLM/LLaMA2-Accessory!🔥🔥🔥
• [2023.07.05] 我们发布了 llama_adapter_v2_multimodal7b 的预训练/微调代码。
• [2023.07.04] 我们发布了通过全量微调和 LLaMA-Adapter 复现 Gorilla 的代码，请参阅 gorilla/README.md。
• [2023.06.08] 我们发布了 ImageBind-LLM 的演示网站：[http://imagebind-llm.opengvlab.com/]。
• [2023.06.06] 我们发布了 Point-Bind，它将 ImageBind 扩展至 3D 点云，从而为 imagebind_LLM 提供 3D 指令跟随能力。
• [2023.06.05] 我们支持将 LLaMA-Adapter（包括 V1 和 V2）与 LangChain 集成。请查看 Notebook。
• [2023.05.29] 我们在 imagebind_LLM 中发布了 ImageBind-LLM 的代码。
• [2023.05.23] 我们发布了 LLaMA-Adapter V2 的 演示 和 多模态代码!
• [2023.05.05] 我们发布了新工作 Personalize Segment Anything 的论文和代码，该方法可在 10 秒内 高效微调 Segment Anything，并改进 DreamBooth 以实现更好的 文本到图像生成。
• [2023.04.30] 我们注意到 GPT-4 的评估存在强烈的首答偏好偏差。我们将很快更新论文以揭示这一位置偏差。特别感谢 Canwen Xu。
• [2023.04.28] 我们发布了 LLaMA-Adapter V2，这是一款多模态指令模型。请参阅我们的 论文、演示 和 代码!
• [2023.03.28] LLaMA-Adapter V1 的 论文 和 训练代码 已发布。📌

已发布模型

• [P] 表示 Pre-train（预训练），[F] 表示 Fine-tune（微调）
• 图像-文本-V1 是 LAION400M、COYO、MMC4、SBU、Conceptual Captions 和 COCO 的拼接
• ImageBind 模态 包括图像、视频、文本、音频、深度、热成像、IMU
• ImageBind-对话 将于近期发布

概述

效率对比：

通过将适配器插入 LLaMA 的 Transformer 中，我们的方法仅引入了 1.2M 可学习参数，并在 1 小时 内将 LLaMA 转变为一个指令跟随模型。为了在训练初期稳定模型，我们提出了一种新颖的 零初始化注意力 方法，结合零门控机制，以自适应地融入指令信号。微调完成后，LLaMA-Adapter 能够生成高质量的指令跟随句子，其效果可与完全微调的 Stanford Alpaca 和 Alpaca-Lora 相媲美。

我们的方法可以轻松扩展到 多模态输入指令。例如，针对 ScienceQA 的图像条件 LLaMA-Adapter 推理框架如下，这一框架同样适用于其他模态，如音频和视频。

设置

以下是用于 LLaMA-Adapter V1 的从头开始脚本。

conda create -n llama_adapter -y python=3.8
conda activate llama_adapter

# 安装 PyTorch
conda install pytorch cudatoolkit -c pytorch -y

# 安装依赖和 LLaMA-Adapter
pip install -r requirements.txt
pip install -e .

注意: 要设置其他模型，请参考 llama_adapter_v2_chat65b、llama_adapter_v2_multimodal7b 和 imagebind_LLM，以获取更多详细信息。

推理

请通过 此表单（官方）申请访问预训练的 LLaMA，或从 Hugging Face（非官方）下载 LLaMA-7B。然后，从 这里 获取我们 LLaMA-Adapter 的权重。我们将下载的 LLaMA 和适配器权重路径分别记为 TARGET_FOLDER 和 ADAPTER_PATH。

以下是一个使用 7B LLaMA 模型和我们的 LLaMA-Adapter 生成指令跟随句子的示例：

torchrun --nproc_per_node 1 example.py \
         --ckpt_dir $TARGET_FOLDER/model_size\
         --tokenizer_path $TARGET_FOLDER/tokenizer.model \
         --adapter_path $ADAPTER_PATH

训练

我们在 这里 发布了 LLaMA-Adapter 在 LLaMA-7B 模型上的简单微调代码，便于用最少的依赖项轻松复现。我们很快还将发布 LLaMA-65B 和多模态 LLaMA-Adapter 的微调代码。

请从 Stanford Alpaca 下载包含 52,000 条指令跟随训练数据的 数据集，并将其放置在 DATA_PATH 目录下。然后运行：

cd alpaca_finetuning_v1

torchrun --nproc_per_node 8 finetuning.py \
         --model Llama7B_adapter \
         --llama_model_path $TARGET_FOLDER/ \
         --data_path $DATA_PATH/alpaca_data.json \
         --adapter_layer 30 \
         --adapter_len 10 \
         --max_seq_len 512 \
         --batch_size 4 \
         --epochs 5 \
         --warmup_epochs 2 \
         --blr 9e-3 \
         --weight_decay 0.02 \
         --output_dir ./checkpoint/

与其他方法的比较

指令 1：

我该如何培养自己的批判性思维能力？请给出三条建议。

• LLaMA-Adapter V2：

1. 广泛阅读：阅读书籍、文章及其他信息来源，有助于提升你的批判性思维能力。通过接触不同的观点和想法，你可以更有效地分析和评估信息。

2. 练习正念：正念是指活在当下，关注自己的思想和感受。通过更加觉察自己的思想和情绪，你可以更好地理解并评估它们，从而形成更为客观和理性的思维方式。

3. 参与开放式的讨论：加入讨论小组或辩论俱乐部，与其他成员进行开放式的交流。这可以帮助你挑战自身的假设，鼓励你从不同角度思考问题，进而提升批判性思维能力。

• LLaMA-Adapter V1：

1. 广泛且批判性地阅读。
2. 与持有不同观点的人展开讨论。
3. 提出问题并寻求答案。

指令 2：

作为一名超级英雄，你会如何向一个好奇的孩子解释你的起源故事呢？

• LLaMA-Adapter V2：

作为一名超级英雄，我有一个非常有趣又激动人心的起源故事要跟你分享。从前，有个叫约翰的小男孩，他住在一座小镇上。约翰总是充满好奇心，也渴望帮助他人，因此他每天都会探索周围的世界，了解不同的文化和人群。有一天，他在外出探险时偶然发现了一处神秘的山洞。在山洞里，约翰找到了一件神奇的装置，它赋予了他超凡的能力。有了这些能力，约翰可以飞翔、用眼睛发射激光，甚至让自己隐形。

约翰明白自己必须善用这些力量，于是他决定成为一名超级英雄，用自己的能力保护小镇和镇上的居民。从此，他每天刻苦训练，学习如何运用自己的超能力，以及如何对抗邪恶势力。最终，约翰成为了人们口中的“隐形侠”，他利用自己的超能力帮助他人，让世界变得更加美好。

这就是我的起源故事，我相信你一定会喜欢的！

• LLaMA-Adapter V1：

从前，有一位拥有特殊能力的少年。他用这种能力去帮助有需要的人，保护无辜者。后来，他被大家称为超级英雄，用他的超能力与邪恶作斗争，守护着这个世界。

指令 3：

请介绍一下羊驼。

• LLaMA-Adapter：羊驼属于骆驼科动物，原产于南美洲的安第斯山脉。它们通常以10至20只的群体生活，性格温顺，适应性强，能在恶劣的气候条件下生存。羊驼的毛色多为白色或灰色，拥有一身长而柔滑的皮毛。此外，羊驼还以其高品质的羊毛闻名，这种羊毛常被用于制作服装和其他产品。

指令 4：

请介绍一下2019年墨西哥的总统。

• LLaMA-Adapter：2019年墨西哥的总统是安德烈斯·曼努埃尔·洛佩斯·奥夫拉多尔，他于2018年12月1日就任。他是左翼政党莫雷纳党的一员，以民粹主义政策著称。他致力于打击腐败、减少贫困，并改善国家的基础设施建设。同时，他也一直公开批评美国的移民政策。

指令 5：

编写一个 Python 程序，打印前 10 个斐波那契数。

• LLaMA-Adapter:

def fibonacci():
    a = 0
    b = 1
    for i in range(10):
        a, b = b, a + b
        print(a, b)
    print("斐波那契数: ", a, b)

fibonacci()

def fibonacci(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fibonacci(n-1) + fibonacci(n-2)

print(fibonacci(10))

numbers = [0, 1]

for i in range(2, 11):
    numbers.append(numbers[i-2] + numbers[i-1])

print(numbers)
# 输出：[0, 1, 1, 2, 3, 5, 8, 13, 21, 34]

# 斐波那契数列是如下整数序列中的数字，称为斐波那契数列，其特点是每个数都等于前两个数之和。

# 斐波那契数列：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, ...

# 程序：

# 初始化斐波那契数列的前两个数字
a = 0
b = 1

# 打印斐波那契数列的前 10 个数字
print(a)
print(b)

for i in range(2,10):
    c = a + b
    a = b
    b = c
    print(c)

指令 6：

编写一个程序，打印从 1 到 100 的数字。但对于 3 的倍数，打印“Fizz”代替该数字；对于 5 的倍数，打印“Buzz”代替该数字。对于既是 3 的倍数又是 5 的倍数的数字，打印“FizzBuzz”。

• LLaMA-Adapter：

def print_numbers(n):
    for i in range(1, 101):
        if i % 3 == 0 and i % 5 == 0:
            print("FizzBuzz")
        elif i % 3 == 0:
            print("Fizz")
        elif i % 5 == 0:
            print("Buzz")
        else:
            print(i)

for i in range(1, 101):
    if i % 3 == 0 and i % 5 == 0:
        print("FizzBuzz")
    elif i % 3 == 0:
        print("Fizz")
    elif i % 5 == 0:
        print("Buzz")
    else:
        print(i)

for i in range(1, 101):
    if i % 3 == 0 and i % 5 == 0:
        print('FizzBuzz')
    elif i % 3 == 0:
        print('Fizz')
    elif i % 5 == 0:
        print('Buzz')
    else:
        print(i)

for (let i = 1; i <= 100; i++) {
  if (i % 3 === 0 && i % 5 === 0) {
    console.log("FizzBuzz");
  } else if (i % 3 === 0) {
    console.log("Fizz");
  } else if (i % 5 === 0) {
    console.log("Buzz");
  } else {
    console.log(i);
  }
}

贡献者

高鹏, 韩嘉明, 张仁瑞, 周傲俊

招聘公告

🔥 我们正在招聘 实习生、博士后和全职研究员，加入 上海人工智能实验室通用视觉组，研究方向为多模态和视觉基础模型。如有兴趣，请联系 gaopengcuhk@gmail.com。

引用

如果您觉得我们的 LLaMA-Adapter 代码和论文有用，请引用以下内容：

@article{zhang2023llamaadapter,
  title = {LLaMA-Adapter: 使用零初始化注意力高效微调语言模型},
  author={Zhang, Renrui and Han, Jiaming and Liu, Chris and Gao, Peng and Zhou, Aojun and Hu, Xiangfei and Yan, Shilin and Lu, Pan and Li, Hongsheng and Qiao, Yu},
  journal={arXiv 预印本 arXiv:2303.16199},
  year={2023}
}

如果您觉得我们的 LLaMA-Adapter V2 代码和论文有用，请引用以下内容：

@article{gao2023llamaadapterv2,
  title = {LLaMA-Adapter V2：参数高效的视觉指令模型},
  author={Gao, Peng and Han, Jiaming and Zhang, Renrui and Lin, Ziyi and Geng, Shijie and Zhou, Aojun and Zhang, Wei and Lu, Pan and He, Conghui and Yue, Xiangyu and Li, Hongsheng and Qiao, Yu},
  journal={arXiv 预印本 arXiv:2304.15010},
  year={2023}
}

致谢

本仓库受益于 LLaMA、斯坦福 Alpaca 和 Alpaca-Lora。感谢他们的杰出工作。

LLaMA-Adapter 快速上手指南

LLaMA-Adapter 是一种轻量级的适配方法，仅需引入极少量的可学习参数（约 1.2M），即可在 1 小时内将 LLaMA 模型微调为指令遵循模型。本指南基于官方 V1 版本提供快速启动流程。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.8+
• 硬件要求: NVIDIA GPU (支持 CUDA)，显存建议 16GB 以上（针对 7B 模型微调/推理）
• 前置依赖:
  • Conda (推荐用于环境管理)
  • PyTorch (需匹配 CUDA 版本)
  • LLaMA 模型权重 (需自行申请或下载)

安装步骤

1. 创建并激活虚拟环境

conda create -n llama_adapter -y python=3.8
conda activate llama_adapter

2. 安装 PyTorch

请根据您的 CUDA 版本选择合适的安装命令（以下为通用示例）：

conda install pytorch cudatoolkit -c pytorch -y

国内加速提示: 如遇下载缓慢，可使用清华源： conda install pytorch cudatoolkit -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch -y

3. 安装依赖与工具包

克隆仓库后，在项目根目录执行：

pip install -r requirements.txt
pip install -e .

国内加速提示: 建议使用 pip 国内镜像： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

前置准备：获取模型权重

在运行前，您需要准备以下两个路径的权重文件：

1. LLaMA 原生权重 (TARGET_FOLDER):
   • 官方申请：Google Form
   • HuggingFace 非官方下载：LLaMA-7B
2. LLaMA-Adapter 微调权重 (ADAPTER_PATH):
   • 下载地址：llama_adapter_len10_layer30_release.pth

推理示例

以下命令展示如何使用 7B LLaMA 模型配合 Adapter 生成指令遵循回复。请替换 $TARGET_FOLDER 和 $ADAPTER_PATH 为您的实际本地路径。

torchrun --nproc_per_node 1 example.py \
         --ckpt_dir $TARGET_FOLDER/model_size\
         --tokenizer_path $TARGET_FOLDER/tokenizer.model \
         --adapter_path $ADAPTER_PATH

微调示例 (可选)

若需从头微调，请下载 Stanford Alpaca 数据集 并放置于 DATA_PATH 目录下，然后进入 alpaca_finetuning_v1 目录运行：

cd alpaca_finetuning_v1

torchrun --nproc_per_node 8 finetuning.py \
         --model Llama7B_adapter \
         --llama_model_path $TARGET_FOLDER/ \
         --data_path $DATA_PATH/alpaca_data.json \
         --adapter_layer 30 \
         --adapter_len 10 \
         --max_seq_len 512 \
         --batch_size 4 \
         --epochs 5 \
         --warmup_epochs 2 \
         --blr 9e-3 \
         --weight_decay 0.02 \
         --output_dir ./checkpoint/

注意: 如需使用多模态版本 (V2/V2.1) 或 65B 模型，请参考仓库中 llama_adapter_v2_multimodal7b 及 llama_adapter_v2_chat65b 目录下的具体文档。