Llama-X：提升LLaMA至SOTA大模型的开放学术研究

这是Llama-X项目的仓库，其目标是：

• 与开源社区共同逐步提升LLaMA的性能，使其达到SOTA大模型水平。
• 将Llama-X作为一项长期、系统化且严谨的开放学术研究开展。
• 避免社区重复性工作，携手合作，更快、更多地实现模型迭代与进步。

本项目将遵循以下原则：

• 我们将公开所有代码、模型、数据以及实验的详细信息。
• 我们将持续地逐版本改进模型，并发布最新的方法。
• 每个主要版本的方法都将总结为学术论文。
• 我们公布了完整的研究计划。欢迎各位贡献者相互协作，通过迭代目标版本来逐步完善Llama-X。
• 新模型的提交必须在自动评估中较当前版本取得显著提升。

📣 如果您对Llama-X感兴趣，请加入！

目录

1. 新闻

2. 十大研究方向

3. Llama-X 模型版本

4. Llama-X 评估

5. Llama-X 论文列表

6. 使用方法

7. 如何贡献

新闻

我们已完成首个模型版本（Llama-X 3.0.1 7B）的训练。请在演示页面体验我们的模型，后续将在此仓库中更新不同规模的数据、代码和模型权重。

十大研究方向

[1]. 指令微调 研究

• 指令遵循微调

[2]. RLHF & RLAIF 研究

• 基础 RLHF
• AI 从 AI 学习

[3]. 数据质量 研究

• 用于预训练、微调、用户反馈、多模态等的高质量数据

[4]. 长上下文 Transformer 研究

• 实现高效处理长序列（>3万 token）的 Transformer

[5]. 多模态（文本 + 图像）建模 研究

• 文本 + 图像输入，文本输出

[6]. 多语言 研究

• 多语言性能与英语相当

[7]. 高效基础设施与优化 研究

• 提升训练与推理速度
• 构建可预测扩展的深度学习栈

[8]. 评估 研究

• 对模型能力进行全面评估

[9]. 可解释性 研究

• 解释 LLM 各项能力的来源

[10]. LLM 在行动 研究

• 将 LLM 与搜索、推荐及其他插件结合

Llama-X 模型版本

Llama-X	基线	性能
3.0.0 (LLaMA)	GPT-3	超越
3.1.0	text-davinci-001	相当
3.2.0	text-davinci-002	相当
3.3.0	text-davinci-003	相当
3.5.0	gpt-35-turbo	相当
3.6.0	GPT-4	平均差距 80%
3.7.0	GPT-4	平均差距 60%
3.8.0	GPT-4	平均差距 40%
3.9.0	GPT-4	平均差距 20%
4.0.0	GPT-4	相当

我们目前专注于上述研究方向 [1] 和 [3]，并将发布首个模型版本（Llama-X 3.0.1）及论文。

Llama-X 评估

Llama-X 的每个新版本在以下所有 A 类基准的自动评估中，都应显著优于当前版本（>+1%）。此外，B 类基准的额外评估将在 3.6.0 及更高版本中加入：

类别	基准
A	MMLU
A	HumanEval
A	GSM-8K
A	NaturalQuestions
A	TruthfulQA
B	Leetcode
B	GRE
B	AP
B	MMLU-多语言
B	视觉输入（待定）

结果如下：

模型	MMLU	TruthfulQA	GSM-8K	NaturalQuestions
InstructGPT davinci v2 (175B)^	0.57	0.62	0.35	0.389
Llama-X 3.0.1 (7B)	0.4412	0.2032	0.1887	0.2422
Llama-i (7B)	0.5121	0.2142	0.2259	0.3499

^ InstructGPT davinci v2 (175B) 的结果摘自 斯坦福 CRFM 基准测试。

Llama-X 论文列表

1. LLaMA：开放且高效的基座语言模型。

使用方法

• 环境搭建。安装 Conda 环境：

conda create -n llamax python=3.10
conda activate llamax
git clone https://github.com/AetherCortex/Llama-X.git
cd Llama-X/src
conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch
pip install transformers==4.31.0
cd ../..
pip install -r requirements.txt

• 训练数据示例（例如，Stanford Alpaca)：

Llama-X/src/data/alpaca_data.json

• 将 LLaMA 检查点转换为 HuggingFace 格式：

cd Llama-X/src
python transformers/src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir /path/to/llama-7B/ \
    --model_size 7B \
    --output_dir /path/to/llama-7B/hf

• 使用 DeepSpeed Zero-3 训练 LLaMA-7B：

deepspeed train.py \
    --model_name_or_path /path/to/llama-7B/hf \
    --data_path /path/to/example_data.json \
    --output_dir /path/to/llama-7B/hf/ft \
    --num_train_epochs 3 \
    --model_max_length 512 \
    --per_device_train_batch_size 64 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 100 \
    --save_total_limit 2 \
    --learning_rate 2e-5 \
    --warmup_steps 2 \
    --logging_steps 2 \
    --lr_scheduler_type "cosine" \
    --report_to "tensorboard" \
    --gradient_checkpointing True \
    --deepspeed configs/deepspeed_config.json \
    --fp16 True

• 使用 DeepSpeed Zero-3 进行多节点训练：

deepspeed --num_gpus num_of_gpus_in_each_node \
    --num_nodes num_of_nodes \
    --master_addr ip_address_of_main_node \
    --master_port 34545 \
    --hostfile configs/hostfile \
    train.py \
    --model_name_or_path /path/to/llama-7B/hf \
    --data_path /path/to/example_data.json \
    --output_dir /path/to/llama-7B/hf/ft \
    --num_train_epochs 3 \
    --model_max_length 512 \
    --per_device_train_batch_size 64 \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 100 \
    --save_total_limit 2 \
    --learning_rate 2e-5 \
    --warmup_steps 2 \
    --logging_steps 2 \
    --lr_scheduler_type "cosine" \
    --report_to "tensorboard" \
    --gradient_checkpointing True \
    --deepspeed configs/deepspeed_config.json \
    --fp16 True

• 当前 Llama-X 代码支持：
  • 完全微调：优化完整的 LLaMA 检查点，而非采用“低秩适应（LoRA）”。
  • 高效性：在 8 张 V100 GPU 上，以“5万条样本/epoch”和“batch size=64”的配置，可在 1 小时内完成 7B 模型的训练。

LLaMA	Batch Size	V100s	时间（小时）
7 B	64	8	1.00
13 B	32	8	2.00

• 推理

# 网页演示推理
python generate.py

# 批量推理
待办事项

如何贡献

开发者可以通过贡献有用的代码、数据、论文和计算资源等方式成为贡献者。

1. 代码：包括算法实现、训练优化、推理优化以及模型部署等。

2. 数据：每个研究领域和版本迭代都需要高质量的数据，包括指令-回答对、预训练数据、多模态数据、多语言数据以及用户反馈数据等。

3. 论文：我们将维护一个Llama-X论文列表，并以Llama-X为基础模型，用于优化、全面测试并显著改进的学术论文。您可以查看Llama X论文列表。

4. 计算资源：我们希望通过协调部分开发者的冗余算力或高校/企业的非营利性赞助，来帮助加快模型迭代速度。

如何与我们沟通

1. Github Issues

2. 邮箱：llama-x@mail.com

3. Discord：

感谢

本项目受到了多个开源项目的启发：

Meta AI LLaMA

Huggingface Transformers Llama

Alpaca 和 Alpaca-LoRA

免责声明

本项目相关的资源（例如代码、数据和模型权重）仅限于学术研究用途，禁止用于商业目的。Llama-X 的任何模型生成的内容都受到随机性和不可控因素的影响，本项目无法保证其准确性。本项目不对模型输出的内容承担任何法律责任，也不对因使用相关资源及输出结果而可能产生的任何损失承担责任。

Llama-X 快速上手指南

Llama-X 是一个旨在通过开源社区协作，系统性地将 LLaMA 模型性能提升至 SOTA（最先进）水平的学术研究项目。本项目公开代码、模型、数据及实验细节，支持全量微调（Full Finetune）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA GPU (官方示例基于 8x V100，单卡也可运行但需调整 batch size)
• 前置依赖:
  • Conda (用于管理虚拟环境)
  • Git
  • CUDA Toolkit 11.3+

注意：本项目目前主要面向学术研究，商业使用受限。

安装步骤

请按照以下步骤配置环境并安装依赖。为了获得更稳定的下载体验，国内用户可配置 pip 和 conda 的国内镜像源。

1. 创建并激活 Conda 环境

conda create -n llamax python=3.10
conda activate llamax

2. 克隆项目代码

git clone https://github.com/AetherCortex/Llama-X.git
cd Llama-X/src

3. 安装 PyTorch 及相关组件

根据官方要求安装特定版本的 PyTorch (CUDA 11.3)。 国内用户建议使用清华或阿里镜像加速下载：

# 使用默认源
conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch

# 若下载缓慢，推荐使用清华镜像源：
# conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

4. 安装 Transformers 及其他依赖

pip install transformers==4.31.0
cd ../..
# 建议配置 pip 国内镜像 (如阿里云)
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

基本使用

1. 准备模型权重

Llama-X 基于 LLaMA 架构，您需要先拥有原始的 LLaMA 权重文件，并将其转换为 HuggingFace 格式。

假设您已将 LLaMA 原始权重下载至 /path/to/llama-7B/，执行以下转换命令：

cd Llama-X/src
python transformers/src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir /path/to/llama-7B/ \
    --model_size 7B \
    --output_dir /path/to/llama-7B/hf

2. 数据准备

准备您的训练数据，格式需兼容 Alpaca 格式（JSON）。示例数据路径参考： Llama-X/src/data/alpaca_data.json

3. 开始训练 (单节点)

使用 DeepSpeed Zero-3 进行全量微调。以下是在 8 张 GPU 上训练 7B 模型的示例命令：

deepspeed train.py \
    --model_name_or_path /path/to/llama-7B/hf \
    --data_path /path/to/example_data.json \
    --output_dir /path/to/llama-7B/hf/ft \
    --num_train_epochs 3 \
    --model_max_length 512 \
    --per_device_train_batch_size 64 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 100 \
    --save_total_limit 2 \
    --learning_rate 2e-5 \
    --warmup_steps 2 \
    --logging_steps 2 \
    --lr_scheduler_type "cosine" \
    --report_to "tensorboard" \
    --gradient_checkpointing True \
    --deepspeed configs/deepspeed_config.json \
    --fp16 True

性能提示：在 8x V100 GPU 环境下，使用 batch_size=64 处理 50k 条数据/epoch 约需 1 小时。若显存不足，请适当减小 per_device_train_batch_size 并调整 gradient_accumulation_steps。

4. 模型推理

训练完成后，可通过以下命令启动 Web Demo 进行交互式测试：

python generate.py

注：批量推理（Batch Inference）功能目前正在开发中 (To Do)。