LLaMA2-Accessory：面向大语言模型开发的开源工具包 🚀

📖 文档

🤗 HF 仓库 • 👋 加入我们的 微信 • 🚀 演示

🚀LLaMA2-Accessory 是一个用于 大型语言模型（LLMs） 和 多模态大型语言模型 的预训练、微调及部署的开源工具包。该仓库主要继承自 LLaMA-Adapter，并在此基础上增加了更多高级功能。🧠

✨在该工具包中，我们推出了 SPHINX，这是一个多功能的多模态大型语言模型（MLLM），它融合了多样化的训练任务、数据领域以及视觉嵌入。

新闻

• [2024-3-7] 我们发布了 Large-DiT-T2I 的演示和代码库 🎉。
• [2024-2-17] 我们发布了在 ImageNet 上训练的 30 亿和 70 亿参数的 Large-DiT 模型。预训练检查点和完整的训练代码库均已发布 🎉。

• [2024-1-27] SPHINX-MoE 在 CMMMU-test 和 CMMMU-val 上分别取得了 29.57% 和 29.33% 的准确率。
• [2024-1-24] SPHINX-MoE 在 MMVP 上达到了新的 SOTA 性能（49.33%），高于 GPT-4V！🔥🔥🔥
• [2024-1-20] SPHINX-MoE 在 AesBench 上也取得了 SOTA 性能！🔥🔥🔥
• [2024-1-18] LLaMA-Adapter 被 ICLR 2024 接收！🎉
• [2024-1-12] 我们发布了基于紧凑的 11 亿参数版 TinyLlama 构建的 SPHINX-Tiny，人人都可以玩！🔥🔥🔥
• [2024-1-5] OpenCompass 现已支持对所有 LLaMA2-Accessory 模型的无缝评估。🔥🔥🔗文档
• [2024-1-2] 我们发布了 SPHINX-MoE，一款基于 Mixtral-8x7B-MoE 的 MLLM。🔥🔥🔥
• [2023-12-12] SPHINX-V2 在 InfiMM-Eval 中取得了卓越成绩，排名仅次于 GPT4-V！🔥🔥🔥
• [2023-12-11] 我们现在支持 mixtral-8x7b 的推理与微调！🔥🔥🔥
• [2023-12-08] 我们发布了 OneLLM，它使用统一框架将 八种 模态对齐到语言！🔥🔥🔥
• [2023-11-17] 我们发布了 SPHINX-V2，同样是同一架构但能力更强！🔥🔥🔥
• [2023.10.17] 我们发布了 SPHINX 的演示、代码和模型！🔥🔥
• [2023.09.15] 我们现在支持 Falcon 180B！🔥🔥
• [2023.09.14] WeMix-LLaMA2-70B 在 OpenCompass 基准测试中表现出色！🔥🔥
• [2023.09.02] 我们现在支持 InternLM🔥
• [2023.08.28] 我们发布了带有 OmniQuant 的量化 LLM，这是一种高效、精准且适用于各种场景（甚至极低比特）的量化算法。多模态版本即将推出。
• [2023.08.27] 我们现在支持 CodeLLaMA，并在 evol-code-alpaca 上进行指令微调。
• [2023.08.27] 我们以网络书籍的形式发布了文档 🔗点击此处查看
• [2023.08.21] 我们发布了量化代码和评估结果。
• [2023.08.05] 我们发布了多模型微调代码和检查点。
• [2023.07.23] 初次发布 📌

特性

• 💡支持更多数据集和任务

  • 🎯 使用 RefinedWeb 和 StarCoder 进行预训练。
  • 📚 单模态微调：使用 Alpaca、ShareGPT、LIMA、WizardLM、Flacuna、Platypus、UltraChat 和 MOSS。
  • 🌈 多模态微调：使用图文对（LAION、COYO 等）、交错的图文数据（MMC4 和 OBELISC）以及视觉指令数据（LLaVA、Shrika、Bard）。
  • 🔧 用于 API 控制的 LLM（GPT4Tools 和 Gorilla）。

• ⚡高效的优化与部署

  • 🚝 使用 Zero-init Attenion 和 Bias-norm Tuning 实现参数高效的微调。
  • 💻 完全分片的数据并行（FSDP）、Flash Attention 2 和 QLoRA。

• 🏋️‍♀️支持更多视觉编码器和 LLM

  • 👁‍🗨 视觉编码器：CLIP、Q-Former、ImageBind 和 DINOv2。
  • 🧩 LLM：LLaMA、LLaMA2、CodeLlama、InternLM、Falcon 和 Mixtral-8x7B。

设置

:gear: 关于环境安装，请参阅 环境设置。

模型使用

:robot: 关于模型的预训练、微调、推理及其他相关主题的说明，均已在文档中提供。

常见问题解答 (FAQ)

:question: 遇到问题或有更多疑问？请在此处查找常见问题的答案这里。我们随时为您提供帮助！

示例演示

• 指令微调版 LLaMA2：alpaca & gorilla。
• 聊天机器人版 LLaMA2：dialog_sharegpt & dialog_lima & llama2-chat。
• 多模态版 LLaMA2：in-context & alpacaLlava_llamaQformerv2_13b
• SPHINX：演示

💡 现在，我们的 SPHINX 模型支持根据输入提示生成高质量的边界框，并为图像中的所有对象呈现由 SAM 创建的掩码。快来试试吧这里! 🚀

核心贡献者

Chris Liu、Ziyi Lin、Guian Fang、Jiaming Han、Yijiang Liu、Renrui Zhang、Longtian Qiu、Yichi Zhang、Siyuan Huang

项目负责人

Peng Gao、Wenqi Shao、Shanghang Zhang

招聘公告

🔥 我们正在招聘实习生、博士后及全职研究员，加入上海人工智能实验室通用视觉组，专注于多模态与视觉基础模型研究。如有兴趣，请联系 gaopengcuhk@gmail.com。

引用

如果您觉得我们的代码和论文有用，请引用：

@article{zhang2023llamaadapter,
  title = {LLaMA-Adapter：零初始化注意力机制下语言模型的高效微调},
  author={Zhang, Renrui and Han, Jiaming and Liu, Chris and Gao, Peng and Zhou, Aojun and Hu, Xiangfei and Yan, Shilin and Lu, Pan and Li, Hongsheng and Qiao, Yu},
  journal={arXiv预印本 arXiv:2303.16199},
  year={2023}
}

@article{gao2023llamaadapterv2,
  title = {LLaMA-Adapter V2：参数高效的视觉指令模型},
  author={Gao, Peng and Han, Jiaming and Zhang, Renrui and Lin, Ziyi and Geng, Shijie and Zhou, Aojun and Zhang, Wei and Lu, Pan and He, Conghui and Yue, Xiangyu and Li, Hongsheng and Qiao, Yu},
  journal={arXiv预印本 arXiv:2304.15010},
  year={2023}
}

致谢

• 感谢 @facebookresearch 提供的 llama
• 感谢 @OpenGVLab 提供的 LLaMA-Adapter

显示更多

• 感谢 @facebookresearch 提供的 ImageBind、LIMA 以及 CodeLlama
• 感谢 @Instruction-Tuning-with-GPT-4 提供的 GPT-4-LLM
• 感谢 @tatsu-lab 提供的 stanford_alpaca
• 感谢 @tloen 提供的 alpaca-lora
• 感谢 @lm-sys 提供的 FastChat
• 感谢 @domeccleston 提供的 sharegpt
• 感谢 @karpathy 提供的 nanoGPT
• 感谢 @Dao-AILab 提供的 flash-attention
• 感谢 @NVIDIA 提供的 apex 以及 Megatron-LM
• 感谢 @Vision-CAIR 提供的 MiniGPT-4
• 感谢 @haotian-liu 提供的 LLaVA
• 感谢 @huggingface 提供的 peft 以及 OBELISC
• 感谢 @Lightning-AI 提供的 lit-gpt 以及 lit-llama
• 感谢 @allenai 提供的 mmc4
• 感谢 @StevenGrove 提供的 GPT4Tools
• 感谢 @ShishirPatil 提供的 gorilla
• 感谢 @OpenLMLab 提供的 MOSS
• 感谢 @thunlp 提供的 UltraChat
• 感谢 @LAION-AI 提供的 LAION-5B
• 感谢 @shikras 提供的 shikra
• 感谢 @kakaobrain 提供的 coyo-dataset
• 感谢 @salesforce 提供的 LAVIS
• 感谢 @openai 提供的 CLIP
• 感谢 @bigcode-project 提供的 starcoder
• 感谢 @tiiuae 提供的 falcon-refinedweb
• 感谢 @microsoft 提供的 DeepSpeed
• 感谢 @declare-lab 提供的 flacuna
• 感谢 @nlpxucan 提供的 WizardLM
• 感谢 @arielnlee 提供的 Platypus
• 感谢 @InternLM 提供的 InternLM
• 感谢 @Google 提供的 Bard

许可协议

Llama 2 根据 LLAMA 2 社区许可证 授权，版权归 Meta Platforms, Inc. 所有。一切权利均保留。

LLaMA2-Accessory 快速上手指南

环境准备

• 系统：Linux（Ubuntu 20.04+ 推荐）
• GPU：NVIDIA，显存 ≥ 24 GB（A100/V100 均可）
• CUDA：11.7 及以上
• Python：3.9+
• PyTorch：2.0+（需与 CUDA 版本匹配）

安装步骤

1. 克隆仓库

   git clone https://github.com/Alpha-VLLM/LLaMA2-Accessory.git
   cd LLaMA2-Accessory
   

2. 创建并激活虚拟环境

   conda create -n llama2-acc python=3.9 -y
   conda activate llama2-acc
   

3. 安装依赖（国内可换清华源加速）

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 安装 Flash-Attention（可选，加速推理）

   pip install flash-attn --no-build-isolation
   

基本使用

1. 下载模型权重

# 以 SPHINX-7B 为例
huggingface-cli download Alpha-VLLM/SPHINX --local-dir ./pretrained/SPHINX-7B

2. 单卡推理示例

python demos/single_turn_mm.py \
  --model_path ./pretrained/SPHINX-7B \
  --image_path ./docs/examples/demo.jpg \
  --prompt "描述这张图片"

3. 微调（LoRA 方式）

python finetune/mm/alpaca_llava.py \
  --model_path ./pretrained/SPHINX-7B \
  --data_path ./data/alpaca_llava.json \
  --output_dir ./checkpoints/my_sphinx_lora \
  --batch_size 4 \
  --num_epochs 3

4. 启动 Web Demo

python demos/web_demo.py --model_path ./pretrained/SPHINX-7B --port 7860

浏览器访问 http://localhost:7860 即可体验多轮对话。