LESS：为定向指令微调选择有影响力的数据

本仓库包含我们ICML 2024论文LESS：为定向指令微调选择有影响力的数据的代码。在该工作中，我们提出了一种数据选择方法，用于挑选能够诱导目标能力的有影响力的数据。

🔗 快速链接

• LESS：为定向指令微调选择有影响力的数据
  • 🔗 快速链接
  • 安装依赖
  • 数据准备
  • 数据选择流程
    • 步骤1：预热训练
    • 步骤2：构建梯度数据存储
    • 步骤3：为任务选择数据
    • 步骤4：使用所选数据进行训练
  • 评估
  • 遇到问题或疑问？
  • 引用

安装依赖

步骤1：要开始使用本仓库，您需要按照以下安装步骤操作。在继续之前，请确保已安装PyTorch。

pip3 install torch==2.1.2 torchvision torchaudio

步骤2：然后安装其余所需包：

cd LESS
pip install -r requirement.txt

步骤3：最后，以可编辑模式安装less包，使其对您的开发环境可用：

pip install -e .

数据准备

我们遵循open-instruct仓库来准备四个指令微调数据集。在我们的项目中，我们使用了四种训练数据集的组合：Flan v2、COT、Dolly和Open Assistant。为了评估目的，我们还使用了另外三个数据集：MMLU、Tydiqa和BBH。这些文件的处理版本可在Hugging Face上找到。

数据选择流程

步骤1：预热训练

为了通过数据选择提升下游性能，从预热训练步骤开始至关重要。这涉及使用LoRA方法，从整个数据集中选取一小部分进行训练。请按照以下步骤进行有效的预热训练：

DATA_DIR=../data
MODEL_PATH=meta-llama/Llama-2-7b-hf
PERCENTAGE=0.05 # 训练数据占全部数据的百分比，您可以在脚本中指定要使用的训练文件
DATA_SEED=3
JOB_NAME=llama2-7b-p${PERCENTAGE}-lora-seed${DATA_SEED}

./less/scripts/train/warmup_lora_train.sh "$DATA_DIR" "$MODEL_PATH" "$PERCENTAGE" "$DATA_SEED" "$JOB_NAME"

步骤2：构建梯度数据存储

完成初始预热训练阶段后，我们将收集整个训练数据集的梯度。对于每个检查点，我们的目标是获取所有希望从中选择的训练数据的梯度。下面是一个示例脚本。

CKPT=105

TRAINING_DATA_NAME=dolly
TRAINING_DATA_FILE=../data/train/processed/dolly/dolly_data.jsonl # 更改数据名称时，请相应地更改数据路径
GRADIENT_TYPE="adam"
MODEL_PATH=../out/llama2-7b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/llama2-7b-p0.05-lora-seed3/${TRAINING_DATA_NAME}-ckpt${CKPT}-${GRADIENT_TYPE}
DIMS="8192"

./less/scripts/get_info/get_train_lora_grads.sh "$TRAINING_DATA_FILE" "$MODEL_PATH" "$OUTPUT_PATH" "$DIMS" "$GRADIENT_TYPE"

理想情况下，您应该创建一个包含所有检查点以及您希望从中选择的训练数据梯度的数据存储。

步骤3：为任务选择数据

要为特定的下游任务选择数据，首先需要准备该任务专用的数据，并采用与训练期间相同的指令微调提示格式。我们已经为我们工作中使用的三个评估数据集——BBH、TydiQA和MMLU——设置了数据加载模块。如果您对其他任务的数据选择感兴趣，可以扩展less/data_selection/get_validation_dataset.py脚本以适应这些任务。与获取训练数据梯度类似，运行以下脚本。主要区别在于，此过程将根据影响估计的公式，为验证数据生成SGD梯度。

CKPT=105
TASK=tydiqa
MODEL_PATH=../out/llama2-7b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/llama2-7b-p0.05-lora-seed3/${TASK}-ckpt${CKPT}-sgd # 对于验证数据，我们始终使用sgd
DATA_DIR=../data
DIMS="4096 8192" # 我们默认使用8192作为投影维度 

./less/scripts/get_info/get_eval_lora_grads.sh "$TASK" "$DATA_DIR" "$MODEL_PATH" $OUTPUT_PATH "$DIMS"

您应获得在上一步中用于构建梯度数据存储的所有检查点的验证数据梯度。获取验证数据梯度后，即可为任务选择数据。以下脚本将计算每个训练数据点的影响得分，并选择影响得分最高的前k个数据点。

DIM=8192 # 决定使用哪个维度
GRADIENT_PATH=../grads/llama2-7b-p0.05-lora-seed3/{}-ckpt{}-adam/dim${DIM}
TRAIN_FILE_NAMES="flan_v2 cot dolly oasst1"
CKPTS="105 211 317 420" # 检查点索引
CHECKPOINT_WEIGHTS="1.6877e-05 1.2859e-05 7.7030e-06 2.5616e-06" # 每个epoch的平均学习率

VALIDATION_GRADIENT_PATH=../grads/llama2-7b-p0.05-lora-seed3/{}-ckpt{}-sgd/dim${DIM}
TARGET_TASK_NAMES="tydiqa"
SELECTED_DATA_OUTPUT_PATH="../selected_data"

./less/scripts/data_selection/matching.sh "$GRADIENT_PATH" "$TRAIN_FILE_NAMES" "$CKPTS" "$CHECKPOINT_WEIGHTS" "$VALIDATION_GRADIENT_PATH" "$TARGET_TASK_NAMES" "$SELECTED_DATA_OUTPUT_PATH"

每个训练数据点的影响得分将保存在OUTPUT_PATH目录中。您可以使用以下脚本选择影响得分最高的前k个数据点。

python3 -m less.data_selection.write_selected_data \
--target_task_names ${TARGET_TASK_NAMES} \
--train_file_names ${TRAIN_FILE_NAMES} \
--train_files ../data/train/processed/dolly/dolly_data.jsonl ../data/train/processed/oasst1/oasst1_data.jsonl \
--output_path $SELECTED_DATA_OUTPUT_PATH \
--percentage 0.05

第4步：使用所选数据进行训练

在选择好数据后，您可以使用以下脚本以所选数据训练模型。

TARGET_TASK_NAME="tydiqa"
PERCENTAGE=0.05
TRAIN_FILES=../selected_data/${TARGET_TASK_NAME}/top_p${PERCENTAGE}.jsonl
MODEL_PATH=meta-llama/Llama-2-7b-hf
JOB_NAME=llama2-7b-less-p${PERCENTAGE}-lora

./less/scripts/train/lora_train.sh "$TRAIN_FILES" "$MODEL_PATH" "$JOB_NAME" 

请注意，您也可以通过移除LoRA微调的相关参数来执行全参数微调。

评估

请按照evaluation文件夹中的说明，对基于所选数据训练的模型性能进行评估。

发现错误或有疑问？

如果您对代码或论文有任何疑问，请随时发送邮件至Mengzhou（mengzhou@princeton.edu）。如果在使用代码时遇到任何问题，或希望报告错误，您可以提交一个问题。请尽量详细描述问题，以便我们能够更快更好地帮助您！

引用

如果您在工作中发现本仓库有所帮助，请引用我们的论文：

@inproceedings{xia2024less,
   title={{LESS}: Selecting Influential Data for Targeted Instruction Tuning},
   author={Xia, Mengzhou and Malladi, Sadhika and Gururangan, Suchin and Arora, Sanjeev and Chen, Danqi},
   booktitle={International Conference on Machine Learning (ICML)},
   year={2024}
}

LESS 快速上手指南

LESS (Selecting Influential Data for Targeted Instruction Tuning) 是一个用于筛选高影响力数据以进行定向指令微调的工具。通过该方法，您可以从海量数据中挑选出对特定任务提升最显著的数据子集，从而高效训练模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA GPU (建议显存 24GB+ 以运行 Llama-2-7b 示例)
• 前置依赖:
  • PyTorch (需预先安装，版本建议 2.1.2)
  • Git

国内加速建议： 推荐使用清华或阿里镜像源加速 Python 包和 HuggingFace 模型的下载。

• Pip 镜像：-i https://pypi.tuna.tsinghua.edu.cn/simple
• HuggingFace 镜像：设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

安装步骤

请依次执行以下命令完成环境配置：

1. 安装 PyTorch

pip3 install torch==2.1.2 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 若使用国内镜像，可替换为：
# pip3 install torch==2.1.2 torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 克隆仓库并安装依赖

cd LESS
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 LESS 包 将包以可编辑模式安装，以便在开发环境中调用。

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 准备数据 本项目使用 Flan v2, COT, Dolly, Open Assistant 作为训练池，MMLU, Tydiqa, BBH 作为评估任务。您可以直接下载预处理好的数据：

# 需安装 huggingface-cli
huggingface-cli download princeton-nlp/less_data --local-dir ../data
# 若下载缓慢，请确保已设置 export HF_ENDPOINT=https://hf-mirror.com

基本使用

以下流程演示如何针对 TydiQA 任务，从混合数据集中筛选出 5% 的高影响力数据并进行 LoRA 微调。

第一步：热身训练 (Warmup Training)

首先使用少量数据（如 5%）对基座模型进行 LoRA 热身训练，以获取初始梯度信息。

DATA_DIR=../data
MODEL_PATH=meta-llama/Llama-2-7b-hf
PERCENTAGE=0.05
DATA_SEED=3
JOB_NAME=llama2-7b-p${PERCENTAGE}-lora-seed${DATA_SEED}

./less/scripts/train/warmup_lora_train.sh "$DATA_DIR" "$MODEL_PATH" "$PERCENTAGE" "$DATA_SEED" "$JOB_NAME"

第二步：构建梯度数据存储 (Building Gradient Datastore)

收集热身训练检查点（Checkpoint）上全量训练数据的梯度。假设使用第 105 步的检查点：

CKPT=105
TRAINING_DATA_NAME=dolly
TRAINING_DATA_FILE=../data/train/processed/dolly/dolly_data.jsonl
GRADIENT_TYPE="adam"
MODEL_PATH=../out/llama2-7b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/llama2-7b-p0.05-lora-seed3/${TRAINING_DATA_NAME}-ckpt${CKPT}-${GRADIENT_TYPE}
DIMS="8192"

./less/scripts/get_info/get_train_lora_grads.sh "$TRAINING_DATA_FILE" "$MODEL_PATH" "$OUTPUT_PATH" "$DIMS" "$GRADIENT_TYPE"

注：实际应用中需对所有训练文件（flan_v2, cot, dolly, oasst1）和关键检查点重复此步骤。

第三步：筛选目标数据 (Data Selection)

计算验证集（目标任务）的梯度，并与训练数据梯度匹配，选出影响力得分最高的前 k 个样本。

1. 获取验证集梯度：

TASK=tydiqa
MODEL_PATH=../out/llama2-7b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/llama2-7b-p0.05-lora-seed3/${TASK}-ckpt${CKPT}-sgd
DATA_DIR=../data
DIMS="4096 8192"

./less/scripts/get_info/get_eval_lora_grads.sh "$TASK" "$DATA_DIR" "$MODEL_PATH" $OUTPUT_PATH "$DIMS"

2. 计算影响力并筛选：

DIM=8192
GRADIENT_PATH=../grads/llama2-7b-p0.05-lora-seed3/{}-ckpt{}-adam/dim${DIM}
TRAIN_FILE_NAMES="flan_v2 cot dolly oasst1"
CKPTS="105 211 317 420"
CHECKPOINT_WEIGHTS="1.6877e-05 1.2859e-05 7.7030e-06 2.5616e-06"

VALIDATION_GRADIENT_PATH=../grads/llama2-7b-p0.05-lora-seed3/{}-ckpt{}-sgd/dim${DIM}
TARGET_TASK_NAMES="tydiqa"
SELECTED_DATA_OUTPUT_PATH="../selected_data"

./less/scripts/data_selection/matching.sh "$GRADIENT_PATH" "$TRAIN_FILE_NAMES" "$CKPTS" "$CHECKPOINT_WEIGHTS" "$VALIDATION_GRADIENT_PATH" "$TARGET_TASK_NAMES" "$SELECTED_DATA_OUTPUT_PATH"

3. 生成最终数据文件：

python3 -m less.data_selection.write_selected_data \
--target_task_names ${TARGET_TASK_NAMES} \
--train_file_names ${TRAIN_FILE_NAMES} \
--train_files ../data/train/processed/dolly/dolly_data.jsonl ../data/train/processed/oasst1/oasst1_data.jsonl \
--output_path $SELECTED_DATA_OUTPUT_PATH \
--percentage 0.05

第四步：使用筛选数据训练 (Train with Selected Data)

使用筛选出的数据对模型进行正式训练。

TARGET_TASK_NAME="tydiqa"
PERCENTAGE=0.05
TRAIN_FILES=../selected_data/${TARGET_TASK_NAME}/top_p${PERCENTAGE}.jsonl
MODEL_PATH=meta-llama/Llama-2-7b-hf
JOB_NAME=llama2-7b-less-p${PERCENTAGE}-lora

./less/scripts/train/lora_train.sh "$TRAIN_FILES" "$MODEL_PATH" "$JOB_NAME" 

训练完成后，请参考 evaluation/README.md 进行效果评估。