💫 StarCoder

论文 | 模型 | 体验平台 | VSCode 插件 | 聊天界面

这个项目是关于什么的？

💫 StarCoder 是一个基于源代码和自然语言文本训练的语言模型。其训练数据涵盖了 80 多种编程语言，以及从 GitHub 问题、提交记录和 Notebook 中提取的文本。本仓库展示了我们如何全面了解该语言模型的能力。

最新消息

• 2023年5月9日： 我们对 StarCoder 进行了微调，使其能够作为一位有用的编程助手 💬！请查看 chat/ 目录中的训练代码，并在此处与模型互动 这里。

免责声明

在使用该模型之前，请前往 hf.co/bigcode/starcoder 并接受相关协议。同时确保您已登录 Hugging Face Hub：

huggingface-cli login

目录

1. 快速入门
   • 安装
   • 使用 StarCoder 进行代码生成
   • 文本生成推理代码
2. 微调
   • 使用 Conda 的逐步安装指南
   • 数据集
     • Stack Exchange
   • 合并 PEFT Adapter 层
3. 评估
4. 推理硬件要求

快速入门

StarCoder 是在 GitHub 代码上训练的，因此它可以用于代码生成任务。具体来说，该模型可以完成函数的实现，或者推断出代码行中接下来的内容。这可以通过 🤗 的 transformers 库来实现。

安装

首先，我们需要安装 requirements.txt 文件中列出的所有库：

pip install -r requirements.txt

代码生成

代码生成流程如下：

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/starcoder"
device = "cuda" # 使用 GPU 或 "cpu" 使用 CPU

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 为节省显存，可考虑使用 fp16 或 bf16，例如指定 torch_dtype=torch.float16
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
# clean_up_tokenization_spaces=False 可防止分词器的一个边缘情况，即标点符号周围的空格被移除
print(tokenizer.decode(outputs[0], clean_up_tokenization_spaces=False))

或者

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
checkpoint = "bigcode/starcoder"

model = AutoModelForCausalLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
print( pipe("def hello():") )

有关硬件要求，请参阅 推理硬件要求 部分。

文本生成推理

docker run -p 8080:80 -v $PWD/data:/data -e HUGGING_FACE_HUB_TOKEN=<YOUR BIGCODE ENABLED TOKEN> -d  ghcr.io/huggingface/text-generation-inference:latest --model-id bigcode/starcoder --max-total-tokens 8192

更多详情请参见 这里。

微调

在这里，我们将展示如何针对特定下游任务对该语言模型进行微调。

使用 Conda 的逐步安装指南

创建一个新的 Conda 环境并激活它：

conda create -n env
conda activate env

根据您的 CUDA 版本安装兼容的 PyTorch 版本 这里，例如以下命令适用于 CUDA 11.6：

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

安装 transformers 和 peft：

conda install -c huggingface transformers 
pip install git+https://github.com/huggingface/peft.git

请注意，您也可以通过以下方式安装最新稳定版的 Transformers：

pip install git+https://github.com/huggingface/transformers

安装 datasets、accelerate 和 huggingface_hub：

conda install -c huggingface -c conda-forge datasets
conda install -c conda-forge accelerate
conda install -c conda-forge huggingface_hub

最后，安装 bitsandbytes 和 wandb：

pip install bitsandbytes
pip install wandb

要获取所有参数及其说明的完整列表，您可以在任何脚本上运行以下命令：

python scripts/some_script.py --help

在运行任何脚本之前，请确保您已登录并可以推送至 Hub：

huggingface-cli login

同时确保您已登录 wandb：

wandb login

现在一切准备就绪，您可以克隆仓库并进入相应的目录。

数据集

💫 StarCoder 可以被微调以完成多种下游任务。我们目前的兴趣在于微调 StarCoder，使其能够遵循指令。指令微调 近年来备受关注，因为它提供了一个简单的框架，教会语言模型将其输出与人类需求保持一致。这一过程需要高质量的指令数据集，其中包含多个“指令-答案”对。遗憾的是，这类数据集并不常见，但借助 Hugging Face 🤗 的 datasets 库，我们可以获得一些不错的替代数据集。为了经济高效地进行微调，我们使用 Hugging Face 🤗 的 PEFT 以及 Tim Dettmers 的 bitsandbytes。

Stack Exchange SE

Stack Exchange 是一个知名的问答网站网络，涵盖多个领域的主题。用户可以在这里提问，并从其他用户那里获得答案。这些答案会根据其质量进行评分和排序。Stack Exchange 指令数据集是通过爬取该网站而得到的问答对集合。随后，可以使用该数据集对语言模型进行微调，以提升其强大且多样化的问答能力。

要执行微调脚本，请运行以下命令：

python finetune/finetune.py \
  --model_path="bigcode/starcoder"\
  --dataset_name="ArmelR/stack-exchange-instruction"\
  --subset="data/finetune"\
  --split="train"\
  --size_valid_set 10000\
  --streaming\
  --seq_length 2048\
  --max_steps 1000\
  --batch_size 1\
  --input_column_name="question"\
  --output_column_name="response"\ 
  --gradient_accumulation_steps 16\
  --learning_rate 1e-4\
  --lr_scheduler_type="cosine"\
  --num_warmup_steps 100\
  --weight_decay 0.05\
  --output_dir="./checkpoints" \

使用流式处理时，SE 数据集的规模更容易管理。此外，还需要明确所使用的数据集划分。更多详细信息，请参阅 🤗 上的 数据集页面。同样地，我们也可以根据 GPU 的可用性调整命令：

python -m torch.distributed.launch \
  --nproc_per_node number_of_gpus finetune/finetune.py \
  --model_path="bigcode/starcoder"\
  --dataset_name="ArmelR/stack-exchange-instruction"\
  --subset="data/finetune"\
  --split="train"\
  --size_valid_set 10000\
  --streaming \
  --seq_length 2048\
  --max_steps 1000\
  --batch_size 1\
  --input_column_name="question"\
  --output_column_name="response"\ 
  --gradient_accumulation_steps 16\
  --learning_rate 1e-4\
  --lr_scheduler_type="cosine"\
  --num_warmup_steps 100\
  --weight_decay 0.05\
  --output_dir="./checkpoints" \

合并 PEFT 适配器层

如果你使用 PEFT 训练了一个模型，想要进行推理或评估时，就需要将适配器层与基础模型合并。为此，运行以下命令：

python finetune/merge_peft_adapters.py --base_model_name_or_path model_to_merge --peft_model_path model_checkpoint

# 将合并后的模型推送到 Hugging Face Hub
python finetune/merge_peft_adapters.py --base_model_name_or_path model_to_merge --peft_model_path model_checkpoint --push_to_hub

例如：

python finetune/merge_peft_adapters.py --model_name_or_path bigcode/starcoder --peft_model_path checkpoints/checkpoint-1000 --push_to_hub

评估

为了评估 StarCoder 及其衍生模型，你可以使用 BigCode-Evaluation-Harness 来评估代码大语言模型。

推理硬件要求

在 FP32 精度下，该模型需要超过 60GB 的内存；而在 FP16 或 BF16 精度下，则只需约 30GB 内存；若采用 8 位量化，甚至可以在不到 20GB 的内存下运行。具体方法如下：

# 确保已安装 accelerate 和 bitsandbytes
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bigcode/starcoder")
# 对于 FP16，将 `load_in_8bit=True` 替换为 `torch_dtype=torch.float16`
model = AutoModelForCausalLM.from_pretrained("bigcode/starcoder", device_map="auto", load_in_8bit=True)
print(f"内存占用：{model.get_memory_footprint() / 1e6:.2f} MB")

内存占用：15939.61 MB

你还可以尝试 starcoder.cpp，这是一个基于 ggml 库的 C++ 实现。

StarCoder 快速上手指南

StarCoder 是一个专为代码生成设计的开源大语言模型，支持超过 80 种编程语言。它基于 GitHub 代码、Issues、Commits 及 Notebook 数据训练而成，能够自动补全函数或生成代码片段。

环境准备

系统要求

• 操作系统：Linux (推荐), macOS, Windows
• GPU：NVIDIA GPU (推荐)，显存需求如下：
  • FP32 精度：> 60GB
  • FP16/BF16 精度：约 30GB
  • 8-bit 量化：< 20GB
• Python：3.8+
• CUDA：根据 PyTorch 版本匹配（如 11.6+）

前置依赖

在使用模型前，必须完成以下两步：

1. 访问 Hugging Face StarCoder 页面 并同意使用协议。
2. 在终端登录 Hugging Face Hub：

huggingface-cli login

安装步骤

方法一：基础安装 (推荐)

直接安装项目所需的依赖库：

pip install -r requirements.txt

注：若 requirements.txt 不存在，请确保已安装 transformers, accelerate, torch 等核心库。

方法二：Conda 分步安装 (适用于微调或特定环境)

如果你需要构建隔离环境或进行微调，建议使用 Conda：

1. 创建并激活环境

conda create -n starcoder-env python=3.9
conda activate starcoder-env

2. 安装 PyTorch (以 CUDA 11.6 为例) 国内用户可使用清华源加速：

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia
# 或使用清华镜像
# conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia --index-url https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 Hugging Face 生态库

pip install transformers peft datasets accelerate huggingface_hub bitsandbytes wandb
# 安装最新版 transformers (可选)
# pip install git+https://github.com/huggingface/transformers

基本使用

1. 代码生成 (Python 脚本)

以下是最简单的代码补全示例。为了节省显存，建议加载时使用 float16 或 load_in_8bit=True。

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/starcoder"
device = "cuda" # 若无 GPU 可改为 "cpu"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)

# 加载模型：推荐使用 float16 或 8-bit 量化以降低显存占用
model = AutoModelForCausalLM.from_pretrained(
    checkpoint, 
    device_map="auto", 
    torch_dtype=torch.float16, # 或者使用 load_in_8bit=True
).to(device)

# 输入提示词
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)

# 生成代码
outputs = model.generate(inputs)

# 解码输出 (clean_up_tokenization_spaces=False 防止标点周围空格丢失)
print(tokenizer.decode(outputs[0], clean_up_tokenization_spaces=False))

2. 使用 Pipeline 简化调用

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

checkpoint = "bigcode/starcoder"

model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
result = pipe("def hello():")
print(result)

3. 高性能推理 (Docker)

如需部署服务，可使用 text-generation-inference：

docker run -p 8080:80 -v $PWD/data:/data -e HUGGING_FACE_HUB_TOKEN=<YOUR_BIGCODE_TOKEN> -d ghcr.io/huggingface/text-generation-inference:latest --model-id bigcode/starcoder --max-total-tokens 8192

请将 <YOUR_BIGCODE_TOKEN> 替换为你的 Hugging Face Access Token。