Deita

🤗 HF 仓库    📄 论文    📚 6K 数据集    📚 10K 数据集

欢迎来到 Deita（Data-Efficient Instruction Tuning for Alignment）项目！

我们将持续更新，敬请关注！

什么是 Deita？

Deita 是一个开源项目，旨在为大型语言模型（LLMs）的指令微调提供自动化数据选择支持。

它包括：

• 开源工具包：用于指令微调中的自动化数据选择
• Deita 数据集：一系列极其轻量级、高质量的对齐 SFT 数据。首次发布时，我们提供了 6k 和 10k 规模的数据集。
• Deita 模型：一系列性能强大、与当前最先进聊天模型相当的模型，同时采用极其高效的指令微调流程。使用 Deita 模型时，所需的指令微调数据仅为其他 SOTA LLM 的十分之一。

最新动态

• :fire: [2024年3月] 我们的数据集已被 Hugging Face 用于创建 Zephyr Gemma 模型。
• 📄 [2024年1月] Deita 论文《什么才是对齐任务中优质的数据？——指令微调中自动化数据选择的全面研究》（arXiv:2312.15685）已被 ICLR 2024 接受！
• :fire: [2024年1月] Deita 流水线 已发布！只需一行代码和配置，即可筛选出高质量的对齐数据子集。
• 📚 [2024年1月] 我们发布了评分数据集 deita-complexity-scorer-data 和 deita-quality-scorer-data。
• :fire: [2023年12月] 我们在此发布了 Deita 资源的第一批集合 这里，其中包括一系列极其轻量级且高效的 SFT 数据集、数据复杂度/质量评分模型，以及最终生成的 Deita 聊天模型。

性能表现

:bell: 仍然好奇少量高质量数据究竟能将 LLM 带向多远吗？

Deita 或许能为你解答：

🔦 亮点

模型	对齐方式	数据规模	MT-Bench	AlpacaEval(%)
Zephyr-7B-sft	SFT	20万	5.32	75.12
$\text{Zephyr-7B-}\beta$	SFT + DPO	20万 SFT + 6万 DPO	7.34	90.60
OpenChat-3.5	C-RLFT	>> 7万 C-RLFT	7.81	88.51
Starling-7B	C-RLFT + APA	>> 7万 C-RLFT + 18.3万 APA	8.09	91.99
Tulu-2-13B	SFT	32.6万	6.70	78.90
Tulu-2-13B+DPO	SFT + DPO	32.6万 SFT + 6万 DPO	7.00	89.50
LLaMA2-13B-Chat	SFT + PPO	--	6.65	81.09
WizardLM-13B-v1.2	SFT	>7万	7.09	89.17
Vicuna-13B-v1.5	SFT	>12.5万	6.57	78.80
DEITA-7B-v1.0 (6K)	SFT	6千	7.22	80.78
DEITA-7B-v1.0-sft	SFT	1万	7.32	81.67
DEITA-7B-v1.0	SFT + DPO	6千 SFT + 1万 DPO	7.55	90.06

DEITA 模型基于 Mistral-7B-v0.1。:fire:

请参阅 这张表格 获取完整评估结果，其中也包含 Open LLM Leaderboard 的排名信息，涵盖了使用 LLaMA 基础模型的 DEITA 模型，以及与其他数据选择方法的对比。

:chart_with_upwards_trend: 完整评估

查看完整评估

模型	对齐方式	数据规模	MT-Bench	AlpacaEval(%)	OpenLLM (平均)
专有模型
GPT-4-Turbo	?	--	9.32	97.70	--
GPT-4	SFT + PPO	--	8.99	95.03	--
Claude-2	SFT + PPO	--	8.06	91.36	--
GPT-3.5-turbo	SFT + PPO	--	7.94	89.37	--
基于 LLaMA-1-13B 的开源模型
LIMA	SFT	1K SFT	4.29	41.98	59.82
WizardLM-13B	SFT	70K SFT	6.35	75.31	58.96
Vicuna-13B-v1.3	SFT	125K SFT	6.39	82.11	60.01
Random	SFT	10K SFT	6.03	71.52	60.14
DEITA-LLaMA1-13B-v1.0-sft	SFT	10K SFT	6.60	78.01	64.27
基于 LLaMA-2-13B 的开源模型
Tulu-2-13B	SFT	326K SFT	6.70	78.90	--
Tulu-2-13B+DPO	SFT + DPO	326K SFT + 60K DPO	7.00	89.50	--
LLaMA2-13B-Chat	SFT + PPO	--	6.65	81.09	--
WizardLM-13B-v1.2	SFT	>70K SFT	7.09	89.17	--
Vicuna-13B-v1.5	SFT	125K SFT	6.57	78.80	61.63
Random	SFT	10K SFT	5.78	65.19	61.32
DEITA-LLaMA2-13B-v1.0-sft	SFT	10K SFT	6.79	81.09	62.71
基于 Mistral-7B 的开源模型
Mistral-7B-Instruct-v0.1	--	--	6.84	69.65	60.45
Zephyr-7B-sft	SFT	200K SFT	5.32	75.12	60.93
$\text{Zephyr-7B-}\beta$	SFT + DPO	200K SFT + 60K DPO	7.34	90.60	66.36
OpenChat-3.5	C-RLFT	>> 70K C-RLFT	7.81	88.51	--
Starling-7B	C-RLFT + APA	>>70K C-RLFT + 183K APA	8.09	91.99	--
Random	SFT	10K SFT	5.89	56.90	61.72
DEITA-7B-v1.0-sft (6K)	SFT	6K SFT	7.22	80.78	64.94
DEITA-7B-v1.0-sft (10K)	SFT	10K SFT	7.32	81.67	64.00
DEITA-7B-v1.0	SFT + DPO	6K SFT + 10K DPO	7.55	90.06	69.86

:rocket: Deita 资源

资源	链接	许可证
Deita 数据集
deita-6k-v0	:hugs: HF 仓库	MIT 许可证
deita-10k-v0	:hugs: HF 仓库	MIT 许可证
deita-complexity-scorer-data	:hugs: HF 仓库	MIT 许可证
deita-quality-scorer-data	:hugs: HF 仓库	MIT 许可证
deita-redundant-pool (100K)	:hugs: HF 仓库	MIT 许可证
deita-sota-pool (300K)	:hugs: HF 仓库	MIT 许可证
评分器
deita-complexity-scorer	:hugs: HF 仓库	LLaMA 许可证
deita-quality-scorer	:hugs: HF 仓库	LLaMA 许可证
Deita 模型
DEITA-7B-v1.0-sft	:hugs: HF 仓库	Apache-2.0
DEITA-7B-v1.0	:hugs: HF 仓库	Apache-2.0
DEITA-LLaMA2-13B-v1.0-sft	:hugs: HF 仓库	LLaMA 2 许可证
DEITA-LLaMA1-13B-v1.0-sft	:hugs: HF 仓库	LLaMA 许可证

:running_man: 如何开始？

安装

  git clone https://github.com/hkust-nlp/deita.git
  cd deita
  pip install -e .

数据样本评分

如果您希望评估单个样本的响应质量，可以按照以下步骤操作：

from deita.selection.scorer import Llama_Scorer

model_name_or_path = "hkust-nlp/deita-quality-scorer"

scorer = Llama_Scorer(model_name_or_path)

# 示例输入
input_text = "描述带有实用提示框的用户界面的词语" # 示例输入
output_text = "用户友好的或直观的用户界面" # 示例输出
quality_score = scorer.infer_quality(input_text, output_text)

print(quality_score)
# 2.0230105920381902

Deita 还支持 VLLM 以实现更快的推理。如果想使用 VLLM 进行推理，

pip install vllm

并在初始化评分器时设置 is_vllm = True：

scorer = Llama_Scorer(model_name_or_path, is_vllm = True)

如需评估数据样本的其他维度，请参阅 examples/scoring。

Deita 流水线

您可以通过 Deita 流水线，仅用一行代码和配置即可对数据集执行多种操作。

• 数据集评分

from deita.pipeline import Pipeline

pipeline = Pipeline("score_pipeline", 
                    data_path = args.data_path,   # 具有 ShareGPT 格式的 JSON 文件
                    scorer = args.scorer,   # [mistral, llama]
                    scorer_name_or_path = args.scorer_name_or_path,  # 评分器名称或路径，例如 hkust-nlp/deita-complexity-scorer
                    is_vllm = args.is_vllm,  # 是否使用 VLLM 启动 [True, False]
                    score_type = args.score_type, # [复杂度, 质量]
                    output_path = args.output_path)  # 输出路径（JSON 格式）

pipeline.run()

• 获取嵌入

我们使用 Hugging Face Accelerate 来提升效率：

from deita.pipeline import Pipeline

embed_pipeline = Pipeline("embed_pipeline", 
                          data_path = args.data_path,   # 具有 ShareGPT 格式的 JSON 文件
                          output_path = args.output_path,  # 输出路径（Pickle 格式）
                          model_name_or_path = args.model_name_or_path,  # 模型名称或路径，例如 mistralai/Mistral-7B-v0.1
                          max_length = args.max_length,
                          use_flash_attention = args.use_flash_attention,  
                          batch_size_per_device = args.batch_size_per_device,
                          conv_template = args.conv_template,
                          only_answer = args.only_answer,
                          random_shuffle = args.random_shuffle,
                          bfloat16 = True
                          )

embed_pipeline.run()

CUDA_VISIBLE_DEVICES=$GPUIDX accelerate launch \
    --mixed_precision bf16 \
    --num_processes $NUMPROCESS \
    --num_machines 1 \
    examples/pipelines/embed_datasets.py \
    --use_flash_attention true \
    --data_path $DATAPATH \
    --output_path $OUTPUTPATH \
    --batch_size_per_device $BSZ

• 先评分、再多样性感知筛选

from deita.pipeline import Pipeline

filter_pipeline = Pipeline("filter_pipeline", 
                          data_path = args.data_path,  # 具有 ShareGPT 格式的 JSON 文件
                          other_data_path = args.other_data_path,  # 嵌入文件路径（Pickle 格式）
                          threshold = args.threshold,  # 筛选阈值，默认：0.9 
                          data_size = args.data_size,  # 选定数据的数量
                          chunk_size = args.chunk_size,  # 用于更高效的 GPU 计算，默认：100000
                          sort_key = args.sort_key,  # 默认："complexity_scores,quality_scores"
                          output_path = args.output_path,  # JSON 格式输出路径
                          distance_metric = args.distance_metric,  # 默认：余弦距离
                          embedding_field = args.embedding_field,  # 默认：embedding
                          is_compression = args.is_compression,  # 默认：False
                          device = args.device  # GPU 编号，默认：0
                          )

filter_pipeline.run()

更多详情请参阅 examples/pipelines。文档也将很快发布。

SFT 训练

请参考 examples/train/sft.sh：

deepspeed --include localhost:${DEVICES} --master_port 29501 src/deita/alignment/train.py \
    --model_name_or_path ${MODELPATH} \
    --data_path ${DATAPATH} \
    --output_dir ${OUTPUTPATH}/${RUNNAME} \
    --num_train_epochs 6 \
    --per_device_train_batch_size ${BSZPERDEV} \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps ${GRADACC} \
    --eval_steps 50 \
    --save_strategy "no" \
    --save_steps 100 \
    --save_total_limit 10 \
    --learning_rate 2e-5 \
    --warmup_ratio 0.1 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --do_eval False \
    --evaluation_strategy "no" \
    --model_max_length 2048 \
    --lazy_preprocess True \
    --conv_template "vicuna_v1.1" \
    --mask_user True \
    --report_to "wandb" \
    --run_name ${RUNNAME} \
    --bf16 True \
    --deepspeed src/deita/ds_configs/deepspeed_config_zero2_no_offload.json

DPO 训练

请参考 examples/train/dpo.sh：

deepspeed --include localhost:${DEVICES} --master_port 29502 src/deita/alignment/dpo_train.py \
    --model_name_or_path ${MODELPATH} \
    --json_path ${JSONPATH} \
    --data_split ${DATASPLIT} \
    --output_dir ${OUTPUTPATH}/${RUNNAME} \
    --num_train_epochs ${DPOEPOCH} \
    --beta 0.1 \
    --per_device_train_batch_size ${BSZPERDEV} \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps ${GRADACC} \
    --save_global_steps False \
    --eval_steps 50 \
    --save_strategy "no" \
    --save_steps 500 \
    --save_total_limit 1 \
    --learning_rate 5e-7 \
    --warmup_ratio 0.1 \
    --lr_scheduler_type "linear" \
    --logging_steps 1 \
    --do_eval False \
    --evaluation_strategy "no" \
    --model_max_length 2048 \
    --conv_template "vicuna_v1.1" \
    --report_to "wandb" \
    --run_name ${RUNNAME} \
    --bf16 True \
    --gradient_checkpointing True \
    --deepspeed src/deita/ds_configs/stage3_no_offloading_accelerate.json

评估

• 对于 MT-Bench，请参考 MT-Bench
• 对于 AlpacaEval，请参考 alpaca_eval
• 对于 Open LLM Benchmark，请参考 lm-evaluation-harness 并按照 HuggingFaceH4/open_llm_leaderboard 上的设置进行操作。

:muscle: 还有哪些亮点？

这是 Deita 项目的预览版本。我们将持续更新，包括：

• 发布高效实现的数据选择流水线
• 更多自动化的数据选择策略
• 支持 CLI 界面
• 在线演示

引用

如果您觉得本项目的内容有所帮助，请按以下格式引用我们的论文：

@inproceedings{
liu2024what,
title={对齐任务中优质数据的构成要素：指令微调中自动数据选择的全面研究},
author={刘伟、曾伟豪、何克清、蒋勇、何俊贤},
booktitle={第十二届国际学习表征会议},
year={2024},
url={https://openreview.net/forum?id=BTKAeLqLMw}
}

致谢

在训练代码方面，我们使用了 fastchat 的代码模板。

Deita 快速上手指南

Deita (Data-Efficient Instruction Tuning for Alignment) 是一个开源项目，旨在为大语言模型（LLM）的指令微调提供自动数据选择方案。通过使用 Deita，你可以利用极少的高质量数据（如 6k 或 10k 条）训练出媲美 SOTA 的模型，大幅降低训练成本。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (推荐 Linux)
• Python 版本: Python 3.8 或更高版本
• 硬件要求:
  • 运行评分模型（Scorer）建议配备 NVIDIA GPU。
  • 若使用 VLLM 加速推理，需确保显存充足。
• 前置依赖:
  • PyTorch
  • Transformers
  • Git

提示: 国内用户建议在 pip 命令中添加清华或阿里镜像源以加速下载，例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

通过以下命令克隆仓库并安装 Deita 工具包：

git clone https://github.com/hkust-nlp/deita.git
cd deita
pip install -e .

若需使用 VLLM 进行加速推理（推荐用于大规模数据评分），请额外安装：

pip install vllm

基本使用

Deita 的核心功能是评估指令 - 回答对的质量与复杂度。以下是使用预训练的 质量评分模型 (Quality Scorer) 对单个样本进行评分的最简示例。

1. 基础评分示例 (基于 Transformers)

from deita.selection.scorer import Llama_Scorer

# 指定模型路径 (自动从 HuggingFace 下载，国内网络不畅时可配置镜像)
model_name_or_path = "hkust-nlp/deita-quality-scorer"

# 初始化评分器
scorer = Llama_Scorer(model_name_or_path)

# 准备测试数据
input_text = "word to describe UI with helpful tooltips"  # 指令输入
output_text = "User-friendly or intuitive UI"             # 模型回答

# 执行质量评分
quality_score = scorer.infer_quality(input_text, output_text)

print(quality_score)
# 输出示例: 2.0230105920381902

2. 使用 VLLM 加速评分

如果你需要处理大量数据，可以启用 VLLM 后端以提升推理速度：

from deita.selection.scorer import Llama_Scorer

model_name_or_path = "hkust-nlp/deita-quality-scorer"

# 初始化时设置 is_vllm=True
scorer = Llama_Scorer(model_name_or_path, is_vllm=True)

input_text = "word to describe UI with helpful tooltips"
output_text = "User-friendly or intuitive UI"

quality_score = scorer.infer_quality(input_text, output_text)
print(quality_score)

3. 获取数据集与模型

你可以直接通过 HuggingFace 下载 Deita 提供的精选数据集和预训练模型：

• 精选数据集: deita-6k-v0 | deita-10k-v0
• 评分模型: Complexity Scorer | Quality Scorer
• 微调后模型: DEITA-7B-v1.0

注意: 部分模型（如基于 LLaMA 的评分器）可能需要遵守相应的原始许可证（LLaMA License），使用前请确认授权范围。