[📄 论文] | [🤗 演示] | [🔧 CLI & API]

---

新闻

• [2023年5月23日] 我们发布了Baize v2！请查看 7B 和 13B 模型。代码即将发布！
• [2023年4月27日] Fastchat 现在支持Baize。快来试试新的 CLI和API 吧！
• [2023年4月21日] 我们现在提供了一个 脚本，可以将LoRA权重合并到标准的HF模型中，这样你就可以在所有支持HF的地方使用它了！

Baize是什么？

Baize是一个开源聊天模型，使用 LoRA 进行训练。它使用了由ChatGPT与自身对话生成的10万条对话数据。我们还利用Alpaca的数据来提升其性能。目前我们已经发布了7B、13B和30B版本的模型。更多详细信息请参阅 论文。

为什么叫Baize？

Baize（发音为By-zor；简体中文：白泽，繁体中文：白澤，日语：白沢，はくたく）是中国民间传说中的神兽，能说人话并通晓万物。这正是我们对一个聊天模型的期望。

概述

⚠️ 代码以 GPL-3.0 协议发布。所有模型权重和数据仅用于 科研用途。商业用途 严格禁止。对于任何使用我们的数据、代码或权重的行为，我们 不承担任何责任或义务。

这是Baize项目的仓库，旨在基于LLaMA构建一个聊天模型。该仓库包含：

• 来自Quora、StackOverflow和MedQuAD问题的54K/57K/47K条 对话
• 用于收集自我对话数据的代码：v1、v2
• 用于训练Baize的 代码
• 用于聊天模型演示的 代码（基于 ChuanhuChatGPT 分支）

模型发布

V1

• Baize-v1-7B (LoRA权重)
• Baize-v1-13B (LoRA权重)
• Baize-v1-30B (LoRA权重)
• Baize Healthcare-7B (LoRA权重)

V2

• Baize-v2-7B
• Baize-v2-13B

社区模型和数据

• Falcon-7B-Instruct 和 Falcon-40B-Instruct 是官方的Falcon模型，使用Baize的数据进行了微调。Falcon是由TII开发的当前最先进的开源模型。
• Fauno 是Baize的意大利版本。
• 荷兰语数据：Baize数据被翻译成荷兰语。

CLI和API

现在你可以通过 Fastchat 使用Baize，利用Fastchat提供的CLI和API功能！

首先，安装最新版本的Fastchat：

pip install git+https://github.com/huggingface/peft.git
pip install git+https://github.com/lm-sys/FastChat.git

（仅适用于v1模型）：将Baize的LoRA权重合并到LLaMA中。以7B检查点为例。

# 注意，目标目录中必须包含“baize”，这样Fastchat才能识别Baize。
python3 -m fastchat.model.apply_lora --base huggyllama/llama-7b --target ./model_weights/baize-7b --lora project-baize/baize-lora-7B

现在，你可以在终端中运行CLI！更多选项和配置可以参考 这里。

# 可选：添加`--style rich`以获得更好的显示效果。
python -m fastchat.serve.cli --model-path ./model_weights/baize-7b

你也可以按照 这里的说明 使用OpenAI API或Hugging Face API来调用Baize。

演示

你可以选择在本地主机上运行，或者访问 在线演示。演示会从Hugging Face模型库中获取 LLaMA 模型和 LoRA权重，然后运行一个用户友好的Gradio界面来进行聊天。

如何在本地运行

首先，请确保你的Python版本是3.8，然后使用以下命令安装所需的软件包：

cd demo
pip install -r requirements.txt

你可以使用以下命令在本地主机上运行模型：

# 假设你已经获得了使用LLaMA的权限。以下LLaMA权重来自第三方。
base_model=huggyllama/llama-7b
lora_model=project-baize/baize-lora-7B
python app.py $base_model $lora_model

对于v2模型（已合并），只需运行：

# 假设你已经获得了使用LLaMA的权限。
base_model=project-baize/baize-v2-7b
python app.py $base_model None

GPU显存需求

	推理（不使用int8）
Baize-7B	16GB
Baize-13B	28GB
Baize-30B	67GB

如果你的GPU显存较小，可以通过传递8bit参数来进行推理：

python app.py $base_model $lora_model 8bit

如何复现

准备工作

1. 安装依赖项

pip install -r requirements.txt

2. 如果bitsandbytes无法正常工作，可以 从源码安装。Windows用户可以参考 这些说明。

数据收集

您可以使用我们提供的已发布数据，也可以通过以下命令从 ChatGPT 收集数据：

num_process=10 # 用于收集数据的进程数
max_total_tokens=500000 # 设置要收集的最大 token 数量
api_key=xxxxxxxxxxxxxxxxx # 设置您的 OpenAI API 密钥
for ((i=0; i<$num_process; i++))
do
    python collect.py $api_key $max_total_tokens $i $num_process stackoverflow &
    python collect.py $api_key $max_total_tokens $i $num_process quora &
    python collect.py $api_key $max_total_tokens $i $num_process medical &
done

数据收集完成后，您可以使用以下命令对数据进行预处理：

python preprocess.py stackoverflow
python preprocess.py quora
python preprocess.py medical

使用您自己的数据

如果您希望使用特定的数据集作为 ChatGPT 自我对话的种子数据，只需修改 collect.py 脚本以加载您自己的数据即可。

训练

微调代码设计为在 A100-80G GPU 上运行。finetune.py 脚本接受三个参数：基础模型大小（即 7B、13B 或 30B）、批量大小、学习率以及数据集。请注意，总批量大小固定为 64（可在此处修改），而这里的批量大小是指梯度累积之前的每台设备的批量大小。如果您使用的 GPU 显存较小，请将其设置为较小的值。

# 对于 7B 模型（大约需要 9 小时）
python finetune.py 7b 32 0.0002 alpaca,stackoverflow,quora

# 对于 13B 模型（大约需要 16 小时）
python finetune.py 13b 16 0.0001 alpaca,stackoverflow,quora

# 对于 30B 模型（大约需要 36 小时）
python finetune.py 30b 8 0.00005 alpaca,stackoverflow,quora

GPU 显存消耗

按照上述设置：

	训练（使用 int8）
Baize-7B	26GB
Baize-13B	25GB
Baize-30B	42GB

有问题吗？请参阅此问题。

将 LoRA 合并到 LLaMA 中

现在您可以轻松地将训练好的 LoRA 权重合并到 LLaMA 模型中，以便与所有支持标准 Hugging Face API 的工具一起使用！

以下是将 baize-lora-7B 合并到 LLaMA-7B 的示例：

python merge_lora.py \
--base huggyllama/llama-7b \
--target ~/model_weights/baize-7b \
--lora project-baize/baize-lora-7B

引用

@article{xu2023baize,
  title={Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data},
  author={Xu, Canwen and Guo, Daya and Duan, Nan and McAuley, Julian},
  journal={arXiv preprint arXiv:2304.01196},
  year={2023}
}

---

Baize Chatbot 快速上手指南

Baize 是一个基于 LLaMA 架构、使用 LoRA 技术微调的开源聊天模型。它利用 ChatGPT 自对话生成的数据及 Alpaca 数据进行训练，支持 7B、13B 和 30B 等多种规格。

⚠️ 重要提示：本项目代码遵循 GPL-3.0 协议，所有模型权重和数据仅限学术研究使用，严禁商业用途。使用前请确保您已获得 LLaMA 基础模型的访问权限。

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.8+
• GPU 显存要求:
  • 推理 (Inference): Baize-7B 需 16GB，Baize-13B 需 28GB，Baize-30B 需 67GB。
    • 注：显存不足可使用 int8 量化模式降低需求。
  • 训练 (Training): 推荐使用 A100-80G GPU。若使用 int8 量化训练，7B/13B/30B 分别约需 26GB/25GB/42GB 显存。

前置依赖

确保已安装 CUDA 驱动（如需 GPU 加速），并准备好 Hugging Face 账号以访问模型权重。

2. 安装步骤

方案 A：通过 FastChat 使用 CLI 和 API（推荐）

这是最便捷的使用方式，支持命令行交互和 API 调用。

1. 安装依赖库

   pip install git+https://github.com/huggingface/peft.git
   pip install git+https://github.com/lm-sys/FastChat.git
   

   国内加速建议：如果下载缓慢，可配置 pip 使用清华或阿里镜像源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

2. 合并 LoRA 权重（仅针对 V1 模型） 如果您使用的是 V1 版本的 LoRA 权重，需先将其合并到 LLaMA 基础模型中。V2 模型已合并，可跳过此步。

   # 注意：目标目录名称必须包含 "baize" 以便 FastChat 识别
   python3 -m fastchat.model.apply_lora --base huggyllama/llama-7b --target ./model_weights/baize-7b --lora project-baize/baize-lora-7B
   

方案 B：本地部署 Gradio Demo

如果您希望运行网页版聊天界面。

1. 进入演示目录并安装依赖

   cd demo
   pip install -r requirements.txt
   

   若 bitsandbytes 安装失败，请参考其官方文档从源码编译，或查看项目 Issue 中的 Windows 适配方案。

3. 基本使用

方式一：命令行交互 (CLI)

使用 FastChat 启动终端聊天界面。

# 启动 CLI，添加 --style rich 可获得更好的显示效果
python -m fastchat.serve.cli --model-path ./model_weights/baize-7b

对于 V2 模型，请将 --model-path 指向 project-baize/baize-v2-7b。

方式二：运行本地 Web Demo

启动本地 Gradio 界面进行对话。

针对 V1 模型 (LoRA 未合并):

base_model=huggyllama/llama-7b
lora_model=project-baize/baize-lora-7B
python app.py $base_model $lora_model

针对 V2 模型 (已合并):

base_model=project-baize/baize-v2-7b
python app.py $base_model None

显存优化选项: 如果您的 GPU 显存较小，可在命令末尾添加 8bit 参数启用量化推理：

python app.py $base_model $lora_model 8bit

启动成功后，终端会显示本地访问地址（通常为 http://localhost:7860），在浏览器打开即可开始对话。