ChatGLM-Tuning

一种平价的chatgpt实现方案，基于清华的 ChatGLM-6B + LoRA 进行finetune.

数据集: alpaca

有colab的同学可以直接在colab上尝试：

官方ptuning代码

Demo

• 开源版的文心一言

S1 Finetune

准备

• 显卡: 显存 >= 16G (最好24G或者以上)
• 环境：
• • python>=3.8
• • cuda>=11.6, cupti, cuDNN, TensorRT等深度学习环境
• • pip3 install -r requirements.txt 其中requirements.txt中的安装包bitsandbytes 建议安装0.41.2.post2这个版本，以前的版本可能会提示报错： bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cget_col_row_stats

数据预处理

转化alpaca数据集为jsonl

python cover_alpaca2jsonl.py \
    --data_path data/alpaca_data.json \
    --save_path data/alpaca_data.jsonl \
    

tokenization

python tokenize_dataset_rows.py \
    --jsonl_path data/alpaca_data.jsonl \
    --save_path data/alpaca \
    --max_seq_length 200 \ 
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1                 
    

• --jsonl_path 微调的数据路径, 格式jsonl, 对每行的['context']和['target']字段进行encode
• --save_path 输出路径
• --max_seq_length 样本的最大长度
• --chatglm_path 导入模型的路径（可以选择chatglm或chatglm2的不同路径）
• --version 模型的版本（v1指chatglm,v2指chatglm2）

训练

python finetune.py \
    --dataset_path data/alpaca \
    --lora_rank 8 \
    --per_device_train_batch_size 6 \
    --gradient_accumulation_steps 1 \
    --max_steps 52000 \
    --save_steps 1000 \
    --save_total_limit 2 \
    --learning_rate 1e-4 \
    --fp16 \
    --remove_unused_columns false \
    --logging_steps 50 \
    --output_dir output
    --chatglm_path model_path/chat_glm

推理

参考 infer.ipynb

Finetune前后对比

利用Alpaca数据集合对ChatGLM-6B Finetune后，在Alpaca数据集上表现得更好:

• Answer: 是模型的输出
• #### Answer: 是原答案

S2. Reward Model

S3. PPO

LoRA

LoRA	Dataset
mymusise/chatglm-6b-alpaca-lora	Alpaca
mymusise/chatglm-6b-alpaca-zh-en-lora	Alpaca-zh-en
(on the way)	Alpaca-zh

使用预训练好的LoRA

参考 examples/infer_pretrain.ipynb

TODO:

• bs > 1 support
• 使用中文数据
• 加入RLHF

ChatGLM-Tuning 快速上手指南

ChatGLM-Tuning 是一个基于清华 ChatGLM-6B 模型和 LoRA 技术的低成本微调方案，旨在实现类似 ChatGPT 的对话能力。本指南将帮助你快速完成环境搭建、数据预处理及模型微调。

1. 环境准备

在开始之前，请确保你的开发环境满足以下硬件和软件要求：

• 硬件要求：
  • GPU 显存：≥ 16GB（推荐 24GB 或以上）。
• 软件依赖：
  • Python >= 3.8
  • CUDA >= 11.6
  • 需安装 cupti, cuDNN, TensorRT 等深度学习基础环境。

2. 安装步骤

2.1 安装依赖包

克隆项目后，进入目录并安装依赖：

pip3 install -r requirements.txt

重要提示：requirements.txt 中的 bitsandbytes 库建议强制安装 0.41.2.post2 版本。旧版本可能会报错 undefined symbol: cget_col_row_stats。 若自动安装失败，可手动执行：

pip install bitsandbytes==0.41.2.post2

2.2 准备模型

请下载 ChatGLM-6B 原始模型权重，并记录本地路径（例如：model_path/chatglm），后续步骤需引用该路径。

3. 基本使用

以下是基于 Alpaca 数据集进行微调的最简流程。

3.1 数据预处理

第一步：格式转换 将原始的 Alpaca JSON 数据集转换为 JSONL 格式：

python cover_alpaca2jsonl.py \
    --data_path data/alpaca_data.json \
    --save_path data/alpaca_data.jsonl

第二步：分词处理 (Tokenization) 对数据进行编码处理，生成训练所需的二进制文件：

python tokenize_dataset_rows.py \
    --jsonl_path data/alpaca_data.jsonl \
    --save_path data/alpaca \
    --max_seq_length 200 \
    --skip_overlength False \
    --chatglm_path model_path/chatglm \
    --version v1

• --chatglm_path: 替换为你本地的 ChatGLM 模型路径。
• --version: v1 对应 ChatGLM-6B，v2 对应 ChatGLM2。

3.2 开始训练 (Finetune)

使用 LoRA 技术启动微调训练：

python finetune.py \
    --dataset_path data/alpaca \
    --lora_rank 8 \
    --per_device_train_batch_size 6 \
    --gradient_accumulation_steps 1 \
    --max_steps 52000 \
    --save_steps 1000 \
    --save_total_limit 2 \
    --learning_rate 1e-4 \
    --fp16 \
    --remove_unused_columns false \
    --logging_steps 50 \
    --output_dir output \
    --chatglm_path model_path/chat_glm

• --chatglm_path: 再次确认指向正确的模型目录。
• --output_dir: 训练生成的 LoRA 权重将保存至此目录。

3.3 推理测试

训练完成后，参考项目中的 infer.ipynb 或 examples/infer_pretrain.ipynb 加载保存的 LoRA 权重进行对话测试。

云端体验：如果你没有本地 GPU 资源，可以直接在 Google Colab 上运行官方提供的 Notebook 进行尝试： 在 Colab 中打开微调示例