大科学

大型语言模型研究工作坊 - 语言模型之夏21

目前我们有两个代码仓库：

1. https://github.com/bigscience-workshop/Megatron-DeepSpeed - 这是我们旗舰级的代码库
2. https://github.com/bigscience-workshop/bigscience - （此仓库）用于存放其他内容，包括文档、实验等。

当前，该仓库中最活跃的部分有：

• JZ - 包含大量关于我们工作环境的信息，有助于评估、规划和推进工作。
• Experiments - 正在进行许多实验。这里包含了实验文档、结果表格、脚本和日志等。
• Datasets info
• Train - 所有与当前训练相关的信息（详见下方的重要训练）。

我们为特定方面提供了 README 文件，例如：

• hub 集成

训练

虽然我们为一些主要训练保存了详细的实验记录和发现，但这里有一份文档总结了最重要的经验教训：Lessons learned

训练1 - 13B - 未修改的 Megatron gpt2 - 基线

• 完整规格及讨论
• 训练脚本
• 检查点和日志：
  • tensorboard
  • 日志
• 编年史

你可以通过运行以下类似 tail -f 的脚本来实时查看训练日志，该脚本会每隔一小时从远程日志文件中读取并同步到 hub：

perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~/content-length: (\d+)/; \
print qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \
https://huggingface.co/bigscience/tr1-13B-logs/resolve/main/main_log.txt

训练3

架构和规模基准运行：没有花哨的技巧，只是 GPT2。以下是相应 tensorboard 的链接：

| 规模 | 1B3 | 760M | 350M | 125M | |--------------------- |----- |------ |------ |------ | | C4 + 低预热 | a | b | c | | | OSCAR + 低预热 | f | | | | | C4 + 高预热 | e | | | | | OSCAR + 高预热 | d (当前基线) | g | h | i | | Pile + 高预热 | m | j | k | l |

训练8

104B - 未修改的 Megatron gpt2 - 使用超宽隐藏层大小，以学习如何应对训练中的不稳定性。

• 完整规格及讨论
• 训练脚本
• 检查点和日志：
  • tensorboard
  • 日志
• 编年史

你可以通过运行以下类似 tail -f 的脚本来实时查看训练日志，该脚本会每隔一小时从远程日志文件中读取并同步到 hub：

perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~/content-length: (\d+)/; \
print qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \
https://cdn-lfs.huggingface.co/bigscience/tr8-104B-logs/b2cc478d5ae7c9ec937ea2db1d2fe09de593fa2ec38c171d6cc5dca094cd79f9

训练11

这是当前的主要训练

tr11-176B-ml

• 完整规格及讨论
• 训练脚本
• 检查点和日志：
  • tensorboard
  • 日志
• 编年史前传
• 编年史

你可以通过运行以下类似 tail -f 的脚本来实时查看训练日志，该脚本会每隔一小时从远程日志文件中读取并同步到 hub：

perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -LsI $u]=~/2 200.*?content-length: (\d+)/s; \
print qx[curl -Lsr $b-$e $u] if $e>$b; $b=$e; sleep 300}' \
https://huggingface.co/bigscience/tr11-176B-ml-logs/resolve/main/logs/main/main_log.txt

BigScience 快速上手指南

BigScience 是一个专注于大型语言模型（LLM）研究的开源工作坊项目。其核心代码库基于 Megatron-DeepSpeed，旨在支持超大规模模型的训练与研究。本指南将帮助您快速了解项目结构并访问关键的训练资源。

环境准备

本项目主要包含文档、实验脚本和数据分析工具，核心训练代码位于独立的仓库中。

• 系统要求：推荐 Linux 环境（项目大量使用 Slurm 调度脚本）。
• 前置依赖：
  • Git
  • Python 3.8+
  • Perl（用于实时日志监控脚本）
  • Curl
• 核心代码库： 实际进行模型训练和推理需克隆旗舰代码库：

  git clone https://github.com/bigscience-workshop/Megatron-DeepSpeed.git
  

• 文档与实验库（本仓库）：

  git clone https://github.com/bigscience-workshop/bigscience.git
  cd bigscience
  

注意：目前 README 未提供特定的中国镜像源。由于仓库托管在 GitHub 和 Hugging Face，国内开发者若遇到连接问题，建议配置 GitHub 加速代理或使用 Hugging Face 国内镜像（如 hf-mirror.com）来下载模型权重和日志数据。

安装步骤

本仓库主要用于存放文档、实验记录和数据处理脚本，通常无需复杂的“安装”过程。只需克隆仓库即可开始查阅资料。

1. 克隆仓库：

   git clone https://github.com/bigscience-workshop/bigscience.git
   

2. 进入目录：

   cd bigscience
   

3. 查看关键目录结构：

   • train/：包含当前主要训练任务（如 176B 模型）的规格说明、脚本和记录。
   • experiments/：包含各类实验的文档、结果表格和日志。
   • data/：数据集相关信息。
   • jz/：关于工作环境（Jean Zay 超算）的配置与评估信息。

若需运行具体的训练任务，请参照 train/ 目录下对应子文件夹中的 .slurm 脚本，并在配置好 Megatron-DeepSpeed 环境的集群上提交任务。

基本使用

BigScience 项目的核心用途是复现大规模模型训练或研究其训练过程。以下是几种最常用的使用场景：

1. 查阅训练经验总结

在项目正式训练大规模模型前，建议先阅读经验总结文档，了解遇到的陷阱和解决方案：

# 查看主要训练任务的教训总结
cat train/lessons-learned.md

2. 实时监控训练日志

项目提供了 Perl 脚本，可以像本地 tail -f 一样实时查看同步到 Hugging Face Hub 的远程训练日志。

示例：监控 Train 11 (176B 模型) 的实时日志 这是当前的主训练任务，运行以下命令即可流式获取最新日志：

perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -LsI $u]=~/2 200.*?content-length: (\d+)/s; \
print qx[curl -Lsr $b-$e $u] if $e>$b; $b=$e; sleep 300}' \
https://huggingface.co/bigscience/tr11-176B-ml-logs/resolve/main/logs/main/main_log.txt

示例：监控 Train 1 (13B 基线模型) 的实时日志

perl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~/content-length: (\d+)/; \
print qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \
https://huggingface.co/bigscience/tr1-13B-logs/resolve/main/main_log.txt

3. 访问不同规模的实验看板 (TensorBoard)

项目进行了多组不同参数量（从 125M 到 1.3B）和不同数据集（C4, OSCAR, Pile）的基线测试。您可以直接访问以下链接查看训练曲线：

• 当前基线 (OSCAR + 高预热): 1.3B 模型看板
• Pile 数据集系列:
  • 1.3B | 760M | 350M | 125M

4. 获取训练脚本与规格

如需复现特定训练（例如 104B 宽隐藏层实验），可进入对应目录查看 Slurm 脚本和详细配置：

# 查看 Train 8 (104B) 的训练脚本
cat train/tr8-104B-wide/tr8-104B.slurm

# 查看完整规格讨论
cat train/tr8-104B-wide/chronicles.md