ChatLLaMA

📢 基于 LLaMA 的开源 ChatGPT 实现，可在单张 GPU 上运行。训练速度比 ChatGPT 快 15 倍。

• 🔥 请查看 pyllama，了解 LLaMA 的安装及 单 GPU 推理 的设置。
• 🔥 如果想在 5 分钟内训练出一个 ChatGPT——试试 minichatgpt！

Meta 近日发布了 LLaMA，这是一系列基础大型语言模型的集合，参数规模从 70 亿到 650 亿不等。LLaMA 备受关注，因为它比 GPT-3 更小，但性能却更优。例如，LLaMA 的 130 亿参数架构尽管体积仅为 GPT-3 的十分之一，其表现却超越了后者。这一全新的基础模型系列为更快的推理性能、类 ChatGPT 的实时助手打开了大门，同时成本更低，且仅需单张 GPU 即可运行。

然而，LLaMA 并未通过基于人类反馈的强化学习（RLHF）训练来针对指令任务进行微调。

好消息是，我们推出了 ChatLLaMA，这是首个基于 RLHF 的 LLaMA 开源实现：

• 完整的开源实现，使您能够基于预训练的 LLaMA 模型构建类似 ChatGPT 的服务。
• 相较于原始的 ChatGPT，由于 LLaMA 架构更小，其训练过程和单 GPU 推理都更加迅速且经济。
• ChatLLaMA 内置对 DeepSpeed ZERO 的支持，以加速微调过程。
• 该库还支持所有 LLaMA 模型架构（7B、13B、33B、65B），因此您可以根据对训练时间和推理性能的需求选择合适的模型进行微调。

图片来自 OpenAI 官方博客。

安装

pip install chatllama

使用 ChatLLaMA 入门

:warning: 请注意，这段代码仅实现了 LLaMA 的 RLHF 训练算法，并不包含模型权重。要获取模型权重，您需要向 Meta 的 申请表 提交申请。

ChatLLaMA 让您能够以类似于 ChatGPT 的方式，利用 RLHF 轻松训练基于 LLaMA 的模型架构。例如，以下代码展示了如何启动 ChatLLaMA 7B 的训练过程。

from chatllama.rlhf.trainer import RLTrainer
from chatllama.rlhf.config import Config

path = "path_to_config_file.yaml"
config = Config(path=path)
trainer = RLTrainer(config.trainer)
trainer.distillate()
trainer.train()
trainer.training_stats.plot()

需要注意的是，在开始微调之前，您需要提供 Meta 的原始权重以及您自定义的数据集。此外，您也可以使用 LangChain 的智能体生成自己的数据集。

python generate_dataset.py

ChatLLaMA 快速上手指南

ChatLLaMA 是一个基于 LLaMA 模型的开源实现，支持通过人类反馈强化学习（RLHF）构建类似 ChatGPT 的对话服务。该项目针对单 GPU 环境进行了优化，训练速度显著快于原始 ChatGPT 方案，并内置 DeepSpeed ZERO 加速微调过程。

环境准备

在开始之前，请确保满足以下系统和依赖要求：

• 硬件要求：至少一张支持 CUDA 的 NVIDIA GPU（项目主打单卡运行，具体显存需求取决于选择的模型大小：7B/13B/33B/65B）。
• 前置依赖：
  • Python 环境。
  • LLaMA 基础环境：本项目不包含 LLaMA 的安装脚本，请先参考 pyllama 完成 LLaMA 的安装及单卡推理环境配置。
  • 模型权重：代码仅包含算法实现，不包含模型权重。您需要向 Meta 官方提交 申请表 获取原始权重文件。
  • 数据集：准备自定义指令数据集，或使用项目提供的脚本生成数据。

安装步骤

使用 pip 直接安装 ChatLLaMA 核心库：

pip install chatllama

提示：如果下载速度较慢，可尝试使用国内镜像源加速安装：

pip install chatllama -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是基于 ChatLLaMA 7B 模型启动 RLHF 训练的最小化示例。

1. 准备数据

在开始微调前，您需要准备数据集。您可以使用 LangChain 代理生成自己的数据集：

python generate_dataset.py

2. 启动训练

创建配置文件（config_file.yaml），然后使用以下 Python 代码加载配置并启动训练流程（包括蒸馏、训练及统计图表生成）：

from chatllama.rlhf.trainer import RLTrainer
from chatllama.rlhf.config import Config

path = "path_to_config_file.yaml"
config = Config(path=path)
trainer = RLTrainer(config.trainer)
trainer.distillate()
trainer.train()
trainer.training_stats.plot()

注意：请在配置文件中正确指向您从 Meta 获取的原始权重路径以及准备好的自定义数据集路径。