OpenChat：利用混合质量数据推进开源语言模型发展

💻在线演示 | 🤗Huggingface | 📃论文 | 💭Discord

• OpenChat 是一个创新的 开源语言模型 库，采用受离线强化学习启发的 C-RLFT 策略进行微调。
• 我们的模型无需偏好标签即可从混合质量的数据中学习，在性能上可与 ChatGPT 相媲美，即便是仅需 消费级显卡（如 RTX 3090） 即可运行的 7B 参数模型也能达到这一水平。
• 尽管我们的方法简单，但我们致力于开发高性能、具备商业可行性的开源大型语言模型，并在此愿景上不断取得重大进展。

✨ 新闻

• [2024年5月22日] 我们发布了基于 Llama-3 的版本 OpenChat 3.6 20240522，其性能超越了官方 Llama 3 8B Instruct 以及各类开源微调和合并模型。

• [2024年1月6日] 我们发布了第二次更新 OpenChat 3.5 0106，进一步提升了代码编写能力和整体性能 🏆。

• [2023年12月10日] 我们发布了首次更新 OpenChat 3.5 1210，代码能力提升了15分 🚀。

• [2023年11月1日] 我们发布了 OpenChat-3.5-7B 模型，在多项基准测试中超越了 ChatGPT 🔥。

• [2023年9月21日] 我们发表了论文 OpenChat：利用混合质量数据推进开源语言模型发展。

🏷️ 基准测试 - OpenChat 3.6

python -m ochat.evaluation.run_eval --condition "GPT4 Correct" --model openchat/openchat-3.6-8b-20240522 --eval_sets fs_cothub/mmlu fs_cothub/gsm8k fs_cothub/math
python -m ochat.evaluation.run_eval --condition "GPT4" --model openchat/openchat-3.6-8b-20240522 --eval_sets zs/gpqa

🏷️ 基准测试 - OpenChat 3.5

🔥 OpenChat-3.5-0106 (7B) 现在在所有4项基准测试上都超过了Grok-0 (33B)，并且在平均分和3/4的基准测试上也超过了Grok-1 (314B)。

python -m ochat.evaluation.run_eval --condition "GPT4 Correct" --model openchat/openchat-3.5-0106 --eval_sets coding fs_cothub/bbh fs_cothub/mmlu zs/agieval zs/bbh_mc_orca zs/truthfulqa_orca
python ochat/evaluation/view_results.py
python ochat/evaluation/convert_to_evalplus.py

docker run -v $(pwd):/app ganler/evalplus:latest --dataset humaneval --samples samples.jsonl

python -m ochat.evaluation.run_eval --condition "Math Correct" --model openchat/openchat-3.5-0106 --eval_sets fs_cothub/gsm8k zs/math
python ochat/evaluation/view_results.py

cd fastchat/llm_judge
python gen_api_answer.py --model openchat-3.5-0106 --max-tokens 4096 --parallel 128 --openai-api-base http://localhost:18888/v1
python gen_judgment.py --model-list openchat-3.5-0106 --parallel 8 --mode single

⬇️ 安装

[!NOTE] 运行OpenChat需要pytorch和CUDA

pip

pip3 install ochat

[!IMPORTANT] 如果您在使用pip时遇到包兼容性问题，请尝试下面的conda方法，或查看此问题

conda

conda create -y --name openchat python=3.11
conda activate openchat

pip3 install ochat

Windows (WSL 1.x, Ubuntu-22.04)

sudo apt update
sudo apt install build-essential

sudo apt install -y curl
curl -o miniconda.sh https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash miniconda.sh

# 如果以下conda命令不起作用，请重启WSL终端

conda create -y --name openchat python=3.11
conda activate openchat

pip3 install ochat

从源码安装

git clone https://github.com/imoneoi/openchat
cd openchat

pip3 install --upgrade pip  # 启用PEP 660支持
pip3 install -e .  # 可编辑模式，您可以在此克隆的仓库中进行修改

🚀 部署API服务器

⚡ 我们的API服务器已准备好用于生产环境，并且兼容OpenAI API协议。它经过vLLM的高度优化，可以动态批处理请求。

📎 注意：对于不支持bfloat16的20系或更早的GPU，请在服务器参数中添加--dtype float16。

目前支持的模型列表

对于单个 GPU（例如 RTX 3090、4090）

python -m ochat.serving.openai_api_server --model MODEL_REPO

对于多个 GPU（张量并行）

# N 是张量并行的 GPU 数量
python -m ochat.serving.openai_api_server --model MODEL_REPO --engine-use-ray --worker-use-ray --tensor-parallel-size N

使用 -h 查看更多设置

python -m ochat.serving.openai_api_server --model MODEL_REPO -h

请求示例

启动后，服务器会在 localhost:18888 监听请求，并且兼容 OpenAI ChatCompletion API 规范。

💡 默认模式（GPT4 Correct）：最适合编码、聊天和一般任务

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MODEL_TYPE",
    "messages": [{"role": "user", "content": "你是一个名为 OpenChat 的大型语言模型。请写一首诗来描述你自己"}]
  }'

🧮 数学推理模式：专为解决数学问题而设计

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MODEL_TYPE",
    "condition": "Math Correct",
    "messages": [{"role": "user", "content": "10.3 − 7988.8133 = "}]
  }'

🌐 Web UI - OpenChat-UI

启动 API 服务器后，OpenChat 提供了一个易于交互的用户界面。点击此处查看 Web UI

🤗 使用 Transformers 进行推理

[!WARNING] 建议使用我们优化后的 API 服务器进行部署。使用 Transformers 进行推理会更慢。

💡 默认模式（GPT4 Correct）：最适合编码、聊天和一般任务

GPT4 Correct 用户: 你好<|end_of_turn|>GPT4 Correct 助手: 你好<|end_of_turn|>GPT4 Correct 用户: 你今天怎么样?<|end_of_turn|>GPT4 Correct 助手:

🧮 数学推理模式：专为解决数学问题而设计

Math Correct 用户: 10.3 − 7988.8133=<|end_of_turn|>Math Correct 助手:

⚠️ 注意：请记住将 <|end_of_turn|> 设置为生成结束标记。

默认的（GPT4 Correct）模板也可以作为集成的 tokenizer.chat_template 使用，这样就不需要手动指定模板了。

🛠️ 训练

OpenChat 的训练系统采用无填充训练和 Multipack Sampler，相比传统的填充训练，速度提升了 3~10倍。

选择基础模型

OpenChat 支持 Llama 3 和 Mistral 模型。请先根据需求选择一个基础模型。每个基础模型都有对应的权重仓库、模型类型和推荐的每 GPU 批量大小，如下表所示，这些信息应填写到后续说明中的 BASE_REPO、MODEL_TYPE 和 BATCH_SIZE 中。

注意：OpenChat 的对话模板需要 <|eot_id|>, <|start_header_id|>, <|end_header_id|>（Llama 3）或 <|end_of_turn|>（Mistral）特殊标记。指定的基础模型必须包含这些标记，并已初始化嵌入。我们提供的权重是在原始基础权重基础上添加了这些标记并进行了嵌入初始化。如果您想手动添加，可以使用 scripts 目录下的 init_special_embedding_llama3.py 或 mistral_add_tokens.py。

安装 DeepSpeed 和 Flash Attention

首先，请确保您的环境中可用 CUDA 的 nvcc 编译器。如果不可用，请安装与 PyTorch 版本匹配的 CUDA 工具包。

接下来，安装构建依赖项：

pip install packaging ninja

最后，安装相关包：

pip install deepspeed flash-attn

准备数据

要使用 OpenChat 训练器，需将 SFT 数据准备成 JSON Lines 格式，其中每行对应一个 Conversation 对象：

class Message(BaseModel):
    role: str     # 必须是 "user" 或 "assistant"
    content: str  # 消息内容
    weight: Optional[float] = None  # 此消息的损失权重。通常用户为 0，助手为 1，以仅监督助手的回答


class Conversation(BaseModel):
    items: List[Message]  # 对话中的所有消息
    condition: str = ""  # C-RLFT 条件，可以是任意字符串或空。
    system: str = ""  # 此对话的系统提示

对于基本的 SFT，将人类消息的 weight 设为 0，助手回复的 weight 设为 1。

SFT 示例：

{"items":[{"role":"user","content":"你好","weight":0.0},{"role":"assistant","content":"嗨","weight":1.0},{"role":"user","content":"你今天怎么样？","weight":0.0},{"role":"assistant","content":"我很好。","weight":1.0}],"system":""}
{"items":[{"role":"user","content":"你是谁？","weight":0.0},{"role":"assistant","content":"我是 OpenChat。","weight":1.0}],"system":"你是一个名为 OpenChat 的 helpful 助手。"}

对于 C-RLFT，condition 应设置为对话所属的类别（例如 GPT3 或 GPT4）。人类消息的 weight 设为 0，助手回复的 weight 设为 w，其中 w 是该类别的权重（例如，GPT3 为 0.1，GPT4 为 1，如我们在 C-RLFT 论文中所述）。

C-RLFT 示例：

{"items":[{"role":"user","content":"什么是 C-RLFT？","weight":0.0},{"role":"assistant","content":"C-RLFT 是一种利用混合质量数据改进开源 LLM 的方法。","weight":1.0}],"condition":"GPT4","system":""}
{"items":[{"role":"user","content":"什么是 C-RLFT？","weight":0.0},{"role":"assistant","content":"我不知道。","weight":0.1}],"condition":"GPT3","system":""}

数据集的预分词

接下来，你需要使用以下命令对数据集进行预分词（请指定一个文件名作为 PRETOKENIZED_DATA_OUTPUT_PATH 来存储预分词后的数据集）：

python -m ochat.data.generate_dataset --model-type MODEL_TYPE --model-path BASE_REPO --in-files data.jsonl --out-prefix PRETOKENIZED_DATA_OUTPUT_PATH

启动 OpenChat 训练器

现在你可以使用下面的命令启动 OpenChat 训练器。

• 13B 模型需要八张配备 80GB 显存的 A/H100 显卡。
• 7B 模型可以使用四张配备 80GB 显存的 A/H100 显卡，或者八张配备 40GB 显存的 A/H100 显卡来训练。

对于超参数，我们建议首先将批大小设置为推荐值。如果出现显存不足（OOM）的情况，可以尝试将其调整为显存所能容纳的最大值，并且确保该值是 2048 的倍数。其他超参数已作为默认值精心选择。此外，学习率会根据 反平方根法则 自动确定。

NUM_GPUS=8

deepspeed --num_gpus=$NUM_GPUS --module ochat.training_deepspeed.train \
          --model_path BASE_REPO \
          --data_prefix PRETOKENIZED_DATA_OUTPUT_PATH \
          --save_path PATH_TO_SAVE_MODEL \
          --batch_max_len BATCH_SIZE \
          --epochs 5 \
          --save_every 1 \
          --deepspeed \
          --deepspeed_config ochat/training_deepspeed/deepspeed_config.json

你可以在 PATH_TO_SAVE_MODEL 中找到所有 epoch 的检查点。然后你可以评估每个 epoch，并选择表现最好的模型。

局限性

基础模型的局限性：尽管 OpenChat 具备先进的能力，但它仍然受到其基础模型固有局限性的约束。这些局限性可能会影响模型在以下方面的表现：

• 复杂推理
• 数学和算术任务
• 编程挑战

编造不存在的信息：OpenChat 有时可能会生成并不存在或不准确的信息，这也被称为“幻觉”。用户应意识到这种可能性，并对从模型获得的任何关键信息进行核实。

安全性：OpenChat 有时可能会生成有害、仇恨言论、带有偏见的回复，或者回答不安全的问题。在需要安全且经过审核的响应的应用场景中，务必采取额外的人工智能安全措施。

许可证

代码以 Apache License 2.0 协议发布。

引用

@article{wang2023openchat,
  title={OpenChat: Advancing Open-source Language Models with Mixed-Quality Data},
  author={Wang, Guan and Cheng, Sijie and Zhan, Xianyuan and Li, Xiangang and Song, Sen and Liu, Yang},
  journal={arXiv preprint arXiv:2309.11235},
  year={2023}
}

💌联系方式

项目负责人：

• Guan Wang [imonenext at gmail dot com]
• Alpay Ariyak [aariyak at wpi dot edu]

主要贡献者：

• Xianyuan Zhan（清华大学）
• Qiying Yu（清华大学）
• Changling Liu（GPT Desk Pte. Ltd.）
• LDJ
• AutoMeta（Alignment Lab AI）

赞助方：

• Sen Song（清华大学）
• Yang Liu（清华大学）
• 01.AI Company
• RunPod

特别感谢：

• Mistral
• Chain-of-Thought Hub
• Llama 2
• Self-Instruct
• FastChat (Vicuna)
• Alpaca
• StarCoder

OpenChat 快速上手指南

OpenChat 是一个创新的开源大语言模型库，采用 C-RLFT（受离线强化学习启发的策略）进行微调。它能够从混合质量数据中学习，无需偏好标签，即可在消费级显卡（如 RTX 3090）上运行，并达到媲美 ChatGPT 的性能。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐), macOS, 或 Windows (需通过 WSL2 运行)。
• 硬件:
  • NVIDIA GPU (支持 CUDA)。
  • 显存建议：运行 7B/8B 模型建议至少 16GB 显存 (如 RTX 3090/4090)。
  • 注：对于不支持 bfloat16 的旧款 GPU (如 20 系列)，启动时需指定 --dtype float16。
• 前置依赖:
  • PyTorch (需匹配您的 CUDA 版本)
  • CUDA Toolkit
  • Python 3.11 (推荐)

提示: 国内用户若遇到 PyTorch 下载慢的问题，建议使用清华源或阿里源安装 PyTorch。

2. 安装步骤

您可以选择使用 pip 直接安装，或使用 conda 创建隔离环境（推荐）。

方法一：使用 Conda (推荐)

# 创建名为 openchat 的虚拟环境，指定 Python 版本为 3.11
conda create -y --name openchat python=3.11
conda activate openchat

# 安装 ochat 包
# 国内用户如遇网络问题，可添加镜像源：pip3 install ochat -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install ochat

方法二：直接使用 Pip

pip3 install ochat

注意: 如果遇到包兼容性问题，请优先尝试上述 Conda 方法。

方法三：Windows (WSL) 用户

如果您在 Windows 上使用 WSL (Ubuntu 22.04)，请先安装基础构建工具：

sudo apt update
sudo apt install build-essential curl

# 下载并安装 Miniconda (如果尚未安装)
curl -o miniconda.sh https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash miniconda.sh

# 重启终端后执行以下命令
conda create -y --name openchat python=3.11
conda activate openchat
pip3 install ochat

3. 基本使用

OpenChat 提供了一个兼容 OpenAI API 协议的高性能 API 服务器，基于 vLLM 优化，支持动态批处理。

启动 API 服务器

单卡模式 (如 RTX 3090, 4090):

# 将 MODEL_REPO 替换为您想使用的模型仓库路径
# 例如：openchat/openchat-3.6-8b-20240522 或 openchat/openchat-3.5-0106
python -m ochat.serving.openai_api_server --model openchat/openchat-3.6-8b-20240522

多卡模式 (张量并行):

# N 为使用的 GPU 数量
python -m ochat.serving.openai_api_server --model openchat/openchat-3.6-8b-20240522 --engine-use-ray --worker-use-ray --tensor-parallel-size N

服务器默认监听 localhost:18888。

发送请求示例

服务器启动后，您可以使用 curl 或任何兼容 OpenAI SDK 的客户端进行调用。

场景 A：通用对话与代码生成 (默认模式)

此模式 (GPT4 Correct) 适用于聊天、代码编写及一般任务。

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openchat_3.6",
    "messages": [{"role": "user", "content": "You are a large language model named OpenChat. Write a poem to describe yourself"}]
  }'

场景 B：数学推理模式

此模式 (Math Correct) 专为解决数学问题优化。

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openchat_3.6",
    "condition": "Math Correct",
    "messages": [{"role": "user", "content": "10.3 − 7988.8133 = "}]
  }'

当前支持的模型

只需将启动命令和请求中的 --model 及 "model" 字段替换为对应的仓库名称即可切换模型。