Dolly

Databricks 的 Dolly 是一款在 Databricks 机器学习平台上训练的指令遵循型大型语言模型，允许商业使用。该模型基于 pythia-12b，并在由 Databricks 员工生成的约 1.5 万条指令-响应微调数据上进行训练，这些数据来自 InstructGPT 论文中的能力领域，包括头脑风暴、分类、封闭式问答、生成、信息抽取、开放式问答和摘要等。尽管 dolly-v2-12b 并非最先进模型，但它展现出与其基础模型不相符的高质量指令遵循能力。

Databricks 致力于让每个组织和个人都能受益于人工智能的变革力量。Dolly 模型家族是我们在这条道路上迈出的第一步，我们很高兴能与全世界分享这项技术。

该模型已在 Hugging Face 上发布，地址为 databricks/dolly-v2-12b。

模型概述

dolly-v2-12b 是由 Databricks 开发的一款拥有 120 亿参数的因果语言模型，其基础源自 EleutherAI 的 Pythia-12b，并在由 Databricks 员工生成、采用宽松许可协议（CC-BY-SA）发布的约 1.5 万条指令语料库上进行了微调。

已知局限性

性能局限性

dolly-v2-12b 并非最先进的生成式语言模型，尽管量化基准测试仍在进行中，但它并未设计成能够与更现代的模型架构或经过更大规模预训练语料库训练的模型相媲美。

Dolly 模型家族目前仍在积极开发中，因此任何不足之处的列表都不可能详尽无遗。我们在此列出已知的局限性和失误，以记录并向社区分享我们的初步发现。具体而言，dolly-v2-12b 在以下方面存在困难：语法复杂的提示、编程问题、数学运算、事实性错误、日期和时间相关问题、开放式问答、幻觉现象、列举特定长度的列表、风格模仿、幽默感等。此外，我们还发现 dolly-v2-12b 缺乏一些原始模型所具备的能力，例如格式良好的书信写作。

数据集局限性

与所有语言模型一样，dolly-v2-12b 反映了其训练语料的内容和局限性。

• The Pile：GPT-J 的预训练语料主要来源于公开互联网，如同大多数网络规模的数据集一样，其中包含许多用户认为令人反感的内容。因此，该模型很可能反映出这些缺陷，尤其是在被明确要求生成令人反感的内容时会更加明显；而在某些情况下，例如带有偏见或有害的隐含关联，则表现得更为微妙。

• databricks-dolly-15k：用于 dolly-v2-12b 指令微调的训练数据是由 Databricks 员工在 2023 年 3 月至 4 月期间生成的自然语言指令，其中还包括维基百科的相关段落，用作封闭式问答和摘要等指令类别的参考材料。据我们所知，该数据集中不包含淫秽内容、知识产权或关于非公众人物的个人身份信息，但可能存在错别字和事实性错误。此外，该数据集也可能反映维基百科中存在的偏见。最后，该数据集很可能反映了 Databricks 员工的兴趣和语义选择，而这一群体并不具有全球人口的代表性。

Databricks 致力于持续开展研究与开发工作，以打造有益、诚实且无害的人工智能技术，从而最大限度地发挥每个人和每个组织的潜力。

开始生成响应

如果您只想简单测试模型而无需进行训练，该模型已在 Hugging Face 上发布，地址为 databricks/dolly-v2-12b。

要在配备 A100 GPU 的机器上使用 transformers 库运行该模型：

from transformers import pipeline
import torch

instruct_pipeline = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")

随后您可以使用该管道来回答指令：

instruct_pipeline("请向我解释核裂变和核聚变的区别。")

在其他实例上生成

并非所有云区域都提供 A100 实例类型，或者可能难以部署。您也可以在其他 GPU 实例上进行推理。

A10 GPU

69 亿和 28 亿参数的模型可以直接使用。

若要在 A10（如 g5.4xlarge，配备 1 块 24GB 的 A10）上运行 120 亿参数的模型，则需要加载并以 8 位权重运行，这会对结果产生轻微影响：

• 需要安装 bitsandbytes
• 在上述 pipeline() 命令中添加 model_kwargs={'load_in_8bit': True}

V100 GPU

使用 V100（如 p3.2xlarge，配备 1 块 16GB 的 V100，或 NC6s_v3）时，在所有情况下都应将 pipeline() 中的 torch_dtype 设置为 torch.float16。

其余步骤与之前相同。不过，120 亿参数的模型在 V100 上可能无法很好地以 8 位模式运行。

开始训练

• 将 dolly 仓库添加到 Databricks（在“仓库”选项中点击“添加仓库”，输入 https://github.com/databrickslabs/dolly.git，然后点击“创建仓库”）。
• 启动一个包含 8 块 A100 GPU 的单节点集群，节点类型可选 Standard_ND96asr_v4 或 p4d.24xlarge，版本为 13.x ML（包含 Apache Spark 3.4.0、GPU 和 Scala 2.12）或更高。请注意，这些实例类型并非在所有地区都可用，或者可能难以部署。在 Databricks 中，对于支持这些实例类型的区域，必须先选择 GPU 运行时环境，并取消勾选“使用 Photon”，才能显示这些实例类型。
• 打开仓库中的 train_dolly 笔记本（即 GitHub dolly 仓库中的 train_dolly.py 文件），将其连接到您的 GPU 集群，并运行所有单元格。训练完成后，笔记本会将模型保存在 /dbfs/dolly_training 目录下。

其他实例上的训练

并非所有云区域都提供 A100 实例类型，或者可能难以预置。对于较小的 Dolly 模型规模，并通过少量修改以降低内存使用量，可以在其他 GPU 实例类型上进行训练。这些修改虽然不是最优方案，但实现起来较为简单。

请从 gpu_family 小部件中选择您的 GPU 系列类型，在 num_gpus 小部件中输入可用的 GPU 数量，然后运行其余代码。系统将为您设置若干不同的选项，以便在以下 GPU 类型之一上训练模型：

• A100（默认）
• A10
• V100

不同配置的详细信息如下。

A100 GPU

A100 GPU 是训练所有模型规模的首选，也是唯一能够在合理时间内训练 12B 参数模型的 GPU。因此，这是默认配置，由 a100_config.json DeepSpeed 配置文件设定。

A10 GPU

不建议在 A10 上训练 12B 参数模型。

要在 A10 实例（例如 g5.24xlarge，配备 4 个 24GB 的 A10；或 Standard_NV72ads_A10_v5，配备 2 个 A10）上训练 6.9B 参数模型，只需在 gpu_family 小部件中选择 a10，并在 num_gpus 小部件中输入可用的 GPU 数量，然后运行其余代码即可。这将使用 a10_config.json DeepSpeed 配置文件，该文件会进行以下更改：

• 在 train_dolly.py 中调用 deepspeed 时，将 per-device-train-batch-size 和 per-device-eval-batch-size 设置为 3。
• 在 DeepSpeed 配置文件的 "zero_optimization" 部分中，添加了以下内容：

  "offload_optimizer": {
    "device": "cpu",
    "pin_memory": true
  },
  

V100 GPU

要在配备 32GB 显存的 V100 实例（例如 p3dn.24xlarge 或 Standard_ND40rs_v2）上运行，只需在 gpu_family 小部件中选择 v100，并在 num_gpus 小部件中输入可用的 GPU 数量，然后运行其余代码即可。这将使用 v100_config.json DeepSpeed 配置文件，该文件会进行以下更改：

• 应用上述针对 A10 的修改。
• 启用 fp16 浮点格式。
• 将 per-device-train-batch-size 和 per-device-eval-batch-size 均设置为 3。

与 24GB 的 A10 相比，您或许可以在 32GB 的实例上略微提高批次大小。

在本地运行单元测试

pyenv local 3.8.13
python -m venv .venv
. .venv/bin/activate
pip install -r requirements_dev.txt
./run_pytest.sh

引用

@online{DatabricksBlog2023DollyV2,
    author    = {Mike Conover and Matt Hayes and Ankit Mathur and Jianwei Xie and Jun Wan and Sam Shah and Ali Ghodsi and Patrick Wendell and Matei Zaharia and Reynold Xin},
    title     = {免费 Dolly：推出全球首个真正开放的指令微调大型语言模型},
    year      = {2023},
    url       = {https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm},
    urldate   = {2023-06-30}
}

Dolly 快速上手指南

Dolly 是 Databricks 推出的开源指令遵循大语言模型（基于 Pythia-12b），拥有约 120 亿参数，支持商业用途。它经过约 1.5 万条人工生成的指令数据微调，具备出色的指令跟随能力。

环境准备

系统要求

• GPU 推荐：
  • 推理：推荐使用 A100 GPU。若使用 A10 (24GB) 或 V100 (16GB/32GB)，需调整量化或精度设置（详见下文）。
  • 训练：全量训练 12B 模型强烈建议使用 8 卡 A100 实例。较小模型或显存优化后可在 A10/V100 上运行。
• Python 版本：建议 Python 3.8+
• 框架依赖：PyTorch, Transformers, Accelerate, DeepSpeed (训练必需)

前置依赖安装

确保已安装 CUDA 驱动及对应的 PyTorch 版本。若需使用 8-bit 量化加载大模型，还需安装 bitsandbytes。

pip install transformers accelerate torch bitsandbytes

国内加速提示：如遇下载缓慢，可配置 Hugging Face 镜像源：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

Dolly 无需复杂的源码编译，主要通过 Hugging Face transformers 库直接加载。

1. 创建虚拟环境（可选但推荐）

   python -m venv .venv
   source .venv/bin/activate
   

2. 安装核心依赖

   pip install -r requirements_dev.txt
   # 或者手动安装关键包
   pip install transformers accelerate torch bitsandbytes
   

3. 验证安装 确保 torch.cuda.is_available() 返回 True。

基本使用

以下示例展示如何使用 transformers pipeline 快速加载模型并进行推理。

场景一：标准环境（推荐 A100 GPU）

在配备 A100 GPU 的机器上，可直接加载 bfloat16 精度模型：

from transformers import pipeline
import torch

instruct_pipeline = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")

执行指令：

instruct_pipeline("Explain to me the difference between nuclear fission and fusion.")

场景二：A10 GPU (24GB 显存)

若在单张 A10 (24GB) 上运行 12B 模型，需启用 8-bit 量化以节省显存：

1. 确保已安装 bitsandbytes。
2. 修改加载代码，添加 load_in_8bit 参数：

from transformers import pipeline
import torch

instruct_pipeline = pipeline(
    model="databricks/dolly-v2-12b", 
    torch_dtype=torch.bfloat16, 
    trust_remote_code=True, 
    device_map="auto",
    model_kwargs={'load_in_8bit': True}
)

场景三：V100 GPU

在使用 V100 (16GB 或 32GB) 时，需将数据类型改为 float16。注意 12B 模型在 V100 上使用 8-bit 量化可能效果不佳。

from transformers import pipeline
import torch

instruct_pipeline = pipeline(
    model="databricks/dolly-v2-12b", 
    torch_dtype=torch.float16, 
    trust_remote_code=True, 
    device_map="auto"
)

注意：Dolly 并非最顶尖的生成式模型，在处理复杂编程、数学运算、事实性问答或长列表枚举时可能存在局限。