🌐 博客 • ⏬ 下载模型 • 🪧 演示 • ✉️ 电子邮件 • 📃 论文 [ICLR 2023]

💬 Google群组（更新）或 微信群或 Slack频道（讨论）

GLM-130B：一个开源的双语预训练模型

GLM-130B是一个拥有1300亿参数的开源双语（英语和中文）双向密集型模型，基于通用语言模型（GLM）算法进行预训练。它旨在支持在单台A100（40G * 8）或V100（32G * 8）服务器上以1300亿参数进行推理任务。通过INT4量化，硬件需求可以进一步降低到单台配备4张RTX 3090（24G）的服务器，且性能几乎无损失。截至2022年7月3日，GLM-130B已在超过4000亿个文本标记上进行了训练（中英文各2000亿），并具备以下独特特性：

• 双语支持： 同时支持英语和中文。
• 英文性能： 在LAMBADA任务上优于GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和BLOOM-176B（+13.0%）；在MMLU任务上略胜于GPT-3 175B（+0.9%）。
• 中文性能： 在7个零样本CLUE数据集上显著优于ERNIE TITAN 3.0 260B（+24.26%），在5个零样本FewCLUE数据集上也大幅领先（+12.75%）。
• 快速推理： 支持在SAT和FasterTransformer框架下进行快速推理（速度最高可提升2.5倍），仅需一台A100服务器。
• 可复现性： 所有结果（30多个任务）均可通过开源代码和模型检查点轻松复现。
• 跨平台支持： 支持在NVIDIA、海光DCU、昇腾910以及神威平台上进行训练和推理（即将发布）。

本仓库主要关注GLM-130B的评估工作。如果您认为我们的工作及开源努力有所帮助，请为该项目点赞⭐️，以鼓励我们继续开发！ :)

最新动态

• [2023.06.25] 发布ChatGLM2-6B，这是ChatGLM-6B的升级版本，引入了更强的性能（MMLU提升23%，CEval提升33%，GSM8K提升571%，BBH提升60%）、更长的上下文长度（从ChatGLM-6B的2K提升至32K，并在对话对齐过程中使用8K的上下文长度进行训练），以及更高效的推理（官方实现下速度提升42%；6GB显存支持的对话长度从1K增加到8K）。更多详情请参阅ChatGLM2-6B。
• [2023.06.14] 我们发布了研究项目WebGLM，该工具能够实现高效且准确的网页增强型问答。所有代码和数据均已公开！
• [2023.03.14] 我们很高兴推出ChatGLM，一款基于GLM-130B的双语对话语言模型，以及其开源版本ChatGLM-6B，后者仅需6GB显存即可运行！
• [2023.01.21] GLM-130B已被ICLR 2023接收！
• [2022.10.06] 我们关于GLM-130B的论文正式发表！
• [2022.08.24] 我们自豪地发布了GLM-130B的量化版本。在保持激活精度为FP16的同时，模型权重可被量化至INT4，且性能几乎无损，从而将GLM-130B的硬件需求进一步降低到单台配备4张RTX 3090（24G）的服务器！详细信息请参阅GLM-130B量化说明。

如需更小规模的模型，请参阅单语GLM（英语：10B/2B/515M/410M/335M/110M，中文：10B/335M）以及1B多语种GLM（104种语言）。

快速入门

环境搭建

硬件

建议使用 A100（40G × 8）服务器，因为报告的所有 GLM-130B 评估结果（约 30 个任务）都可以在一台 A100 服务器上轻松复现，耗时约半天。通过 INT8/INT4 量化，在单台配备 4 张 RTX 3090（24G）的服务器上即可实现高效推理，详情请参阅 GLM-130B 的量化。结合量化与权重卸载技术，GLM-130B 甚至可以在显存更小的服务器上进行推理，详情请参阅 低资源推理。

软件

GLM-130B 的代码构建于 SAT 之上。我们建议使用 Miniconda 来管理环境，并通过 pip install -r requirements.txt 安装额外依赖。以下是推荐的环境配置：

• Python 3.9+ / CUDA 11+ / PyTorch 1.10+ / DeepSpeed 0.6+ / Apex（需要安装 CUDA 和 C++ 扩展，请参阅 此处）
• 进行量化时需使用 SwissArmyTransformer≥0.2.11

模型权重

从这里下载 GLM-130B 的模型检查点，确保完整下载全部 60 个分块，然后使用以下命令将其合并为一个归档文件并解压：

cat glm-130b-sat.tar.part_* > glm-130b-sat.tar
tar xvf glm-130b-sat.tar

将 configs/model_glm_130b.sh 中的 CHECKPOINT_PATH 设置为解压后文件夹的路径。由于检查点文件大小可达 260G，建议使用 SSD 或 RAM 盘以缩短加载时间。我们发布的检查点采用 8 路张量并行，若需更改张量并行维度，还提供了转换脚本：

python tools/convert_tp.py \
    --input-folder <SRC_CKPT_PATH>  \
    --output-folder <DST_CKPT_PATH> \
    --target-tp <TARGET_TP>

从左到右生成 / 填空

bash scripts/generate.sh --input-source interactive

你也可以通过 --input-source input.txt 指定输入文件。

GLM-130B 使用两种不同的掩码标记：[MASK] 用于短文本填空，而 [gMASK] 则用于从左到右的长文本生成。当输入中不包含任何 MASK 标记时，[gMASK] 会自动附加到文本末尾。

评估

我们使用 YAML 文件来定义任务。具体来说，您可以一次性添加多个任务或文件夹进行评估，评估脚本会自动递归地收集这些文件夹下的所有 YAML 文件。

bash scripts/evaluate.sh task1.yaml task2.yaml dir1 dir2 ...

请从这里下载我们的评估数据集，并将 scripts/evaluate.sh 中的 DATA_PATH 设置为您本地的数据集目录。任务文件夹中包含了我们为 GLM-130B 评估的 30 多个任务的 YAML 文件。以 CoLA 任务为例，运行 bash scripts/evaluate.sh tasks/bloom/glue_cola.yaml，该命令会输出最佳提示下的准确率为 ~65%，而中位数准确率为 ~57%。

MultiChoiceTaskConfig(name='glue_cola', type=<TaskType.MULTICHOICE: 'mul'>, path='/thudm/LargeScale/data/zeroshot/bloom/glue_cola', module=None, metrics=['Accuracy'], use_task_mask=False, use_multitask_encoding=False, unidirectional=False, max_seq_length=2048, file_pattern={'validation': '**/validation.jsonl'}, micro_batch_size=8)
正在评估任务 glue_cola:
  正在评估组 validation:
      完成 Following_sentence_acceptable/mul/validation.jsonl，准确率 = 42.665
      完成 Make_sense_yes_no/mul/validation.jsonl，准确率 = 56.951
      完成 Previous_sentence_acceptable/mul/validation.jsonl，准确率 = 65.197
      完成 editing/mul/validation.jsonl，准确率 = 57.622
      完成 is_this_correct/mul/validation.jsonl，准确率 = 65.197
glue_cola 任务的评估结果：
  组 validation 准确率：最大值 = 65.197，中位数 = 57.622，平均值 = 57.526
glue_cola 任务已在 101.2 秒内完成。

多节点评估可以通过在 scripts/evaluate_multiple_node.sh 中设置 HOST_FILE_PATH（由 DeepSpeed 启动器 所需）来配置。设置 scripts/evaluate_multiple_node.sh 中的 DATA_PATH，然后运行以下命令以评估 ./task 目录中的所有任务：

bash scripts/evaluate_multiple_node.sh ./tasks

有关如何添加新任务的详细信息，请参阅 评估您自己的任务。

使用 FasterTransformer 实现 2.5 倍加速的推理

通过将 GLM-130B 模型适配到 NVIDIA 高度优化的 Transformer 模型库 FasterTransformer，我们在生成任务上实现了高达 2.5 倍的加速，详情请参阅 使用 FasterTransformer 进行推理。

许可证

本仓库采用 Apache-2.0 许可证。GLM-130B 模型权重的使用受 模型许可证约束。

引用

如果您认为我们的工作有用，请考虑引用 GLM-130B：

@article{zeng2022glm,
  title={Glm-130b: An open bilingual pre-trained model},
  author={Zeng, Aohan and Liu, Xiao and Du, Zhengxiao and Wang, Zihan and Lai, Hanyu and Ding, Ming and Yang, Zhuoyi and Xu, Yifan and Zheng, Wendi and Xia, Xiao and others},
  journal={arXiv preprint arXiv:2210.02414},
  year={2022}
}

您也可以在参考文献中提及 GLM 的原始工作：

@inproceedings{du2022glm,
  title={GLM: General Language Model Pretraining with Autoregressive Blank Infilling},
  author={Du, Zhengxiao and Qian, Yujie and Liu, Xiao and Ding, Ming and Qiu, Jiezhong and Yang, Zhilin and Tang, Jie},
  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
  pages={320--335},
  year={2022}
}

GLM-130B 快速上手指南

GLM-130B 是一个开源的双语（中文 & 英文）双向稠密预训练模型，拥有 1300 亿参数。它支持在单台服务器上进行推理，并通过量化技术大幅降低硬件门槛。

1. 环境准备

硬件要求

根据是否使用量化技术，硬件需求如下：

建议：推荐使用单台 8×A100 (40G) 服务器以获得最佳复现效果；若资源有限，可使用 4×RTX 3090 配合 INT4 量化进行高效推理。

软件依赖

• 系统: Linux
• Python: 3.9+
• CUDA: 11+
• PyTorch: 1.10+
• DeepSpeed: 0.6+
• Apex: 必须安装包含 CUDA 和 C++ 扩展的版本
• SwissArmyTransformer: >= 0.2.11 (量化功能必需)

2. 安装步骤

2.1 创建虚拟环境

推荐使用 Miniconda 管理环境：

conda create -n glm-130b python=3.9
conda activate glm-130b

2.2 安装依赖库

克隆代码库并安装依赖（国内用户可配置 pip 镜像源加速）：

# 配置清华镜像源 (可选，加速下载)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装基础依赖
pip install -r requirements.txt

# 安装 Apex (必须从源码编译以支持 CUDA)
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
cd ..

# 确保 SwissArmyTransformer 版本满足要求
pip install SwissArmyTransformer>=0.2.11

2.3 下载与合并模型权重

1. 填写 申请表 获取下载链接。
2. 下载全部 60 个分卷文件 (glm-130b-sat.tar.part_*)。
3. 合并并解压文件：

cat glm-130b-sat.tar.part_* > glm-130b-sat.tar
tar xvf glm-130b-sat.tar

4. 修改配置文件 configs/model_glm_130b.sh，将 CHECKPOINT_PATH 设置为解压后的文件夹路径。

   提示：模型检查点约 260GB，建议放置在 SSD 或 RAM disk 以加快加载速度。

(可选) 若需更改张量并行度，可使用以下命令转换权重：

python tools/convert_tp.py \
    --input-folder <SRC_CKPT_PATH>  \
    --output-folder <DST_CKPT_PATH> \
    --target-tp <TARGET_TP>

3. 基本使用

GLM-130B 支持两种主要模式：

• 从左到右生成 (Left-To-Right Generation)：用于长文本续写，自动追加 [gMASK]。
• 填空 (Blank Filling)：用于短文本补全，需手动插入 [MASK]。

3.1 交互式生成 (最简单用法)

运行以下脚本启动命令行交互界面：

bash scripts/generate.sh --input-source interactive

启动后，直接输入文本即可生成回复。若不包含掩码 token，模型默认执行续写任务。

3.2 文件输入生成

也可以指定输入文件进行批量处理：

bash scripts/generate.sh --input-source input.txt --output-path results/

3.3 使用示例

场景 A：长文本续写 (自动追加 [gMASK]) 输入:

问题：冬天，中国哪座城市最适合避寒？回答： [gMASK]

模型将自动续写后续内容。

场景 B：完形填空 (使用 [MASK]) 输入:

凯旋门位于意大利米兰市古城堡旁。1807 年为纪念 [MASK] 而建。

输出:

凯旋门位于意大利米兰市古城堡旁。1807 年为纪念拿破仑胜利而建。

常用参数说明

• --input-source: 输入来源，设为 interactive 进入交互模式，或指定文件路径。
• --output-path: 结果输出文件夹路径。
• --out-seq-length: 生成序列的最大长度（含上下文）。
• --sampling-strategy: 采样策略，可选 BaseStrategy 或 BeamSearchStrategy。
  • 若使用束搜索，可通过 --num-beams 设置束的数量。