:books: 论文  | :hugs: HuggingFace 专区  | :speech_balloon: 讨论页 

---

Granite 代码模型简介

我们推出了 Granite 系列仅解码器架构的代码生成模型，适用于各类代码生成任务（如修复 bug、解释代码、编写文档等），这些模型基于 116 种编程语言编写的代码进行训练。对 Granite 代码模型家族在多种任务上的全面评估表明，我们的模型在现有开源代码大模型中始终处于领先水平。

Granite 代码模型的主要优势包括：

• 多功能代码大模型：Granite 代码模型在不同类型的代码相关任务上均表现出竞争力或达到最先进水平，涵盖代码生成、解释、修复、编辑、翻译等多种场景，充分展示了其解决多样化编码问题的能力。
• 可信的企业级大模型：所有模型均使用符合许可要求的数据进行训练，数据收集严格遵循 IBM 的人工智能伦理原则，并在 IBM 公司法务团队的指导下确保模型可信赖地用于企业环境。我们以 Apache 2.0 许可证发布所有 Granite 代码模型，供研究和商业用途。

Granite 代码模型家族主要分为两种：

• Granite 代码基础模型：专为代码相关任务设计的基础模型，例如代码修复、代码解释和代码合成。
• Granite 代码指令微调模型：结合 Git 提交记录与人工指令，以及开源的合成代码指令数据集进行微调的指令跟随模型。

基础模型和指令微调模型均有 3B、8B、20B 和 34B 参数规模可供选择。

数据收集

我们准备代码预训练数据的过程包含多个阶段。首先，我们收集公开可用的数据集（如 GitHub Code Clean、Starcoder 数据）、公共代码仓库以及 GitHub 上的问题。其次，我们根据文件扩展名确定代码所属的编程语言，并据此筛选数据；同时，我们还会过滤掉代码质量较低的部分。第三，我们采用严格的去重策略，包括精确去重和模糊去重，以移除内容完全或高度相似的文档。最后，我们应用 HAP 内容过滤器，降低模型生成仇恨、辱骂或亵渎性语言的可能性。此外，我们还会通过替换个人身份信息（PII）内容（如姓名、电子邮件地址、密钥、密码）为相应标记（如⟨NAME⟩、⟨EMAIL⟩、⟨KEY⟩、⟨PASSWORD⟩）来保护隐私。我们还使用 ClamAV 扫描所有数据集，以识别并移除源代码中的恶意软件。除了收集用于模型训练的代码数据外，我们也整理了若干高质量的自然语言数据集，以提升模型的语言理解和数学推理能力。

预训练

Granite 代码基础模型基于 3–4T 个 token 的代码数据及与代码相关的自然语言数据进行训练。数据采用字节对编码（BPE）进行分词，使用的分词器与 StarCoder 相同。我们利用高质量数据，分两个阶段进行训练：

• 第一阶段（仅代码训练）：在这一阶段，3B 和 8B 模型分别使用 4 万亿个 token 的 116 种语言代码数据进行训练。20B 参数模型则使用 3 万亿个 token 的代码数据进行训练。而 34B 模型是在 20B 模型的 1.6T 检查点基础上进行深度扩展后，使用 1.4T 个 token 进行训练。
• 第二阶段（代码+语言混合训练）：在第二阶段，我们引入了来自技术、数学和网络文档等多个领域的高质量公开数据，以进一步提升模型性能。所有模型在这一阶段均使用 500B 个 token 进行训练（其中 80% 为代码，20% 为语言）。

指令微调

Granite 代码指令微调模型基于以下类型的指令数据进行微调：1) 来自 CommitPackFT 的代码提交记录；2) 高质量的数学数据集，特别是 MathInstruct 和 MetaMathQA；3) 代码指令数据集，如 Glaive-Code-Assistant-v3、Self-OSS-Instruct-SC2、Glaive-Function-Calling-v2、NL2SQL11 以及少量合成的 API 调用数据集；4) 高质量的语言指令数据集，如 HelpSteer 和经过开放许可过滤的 Platypus。

评估结果

我们对代码模型进行了广泛的评估，测试涵盖了 HumanEvalPack、MBPP 和 MBPP+ 等基准测试。这些基准测试覆盖了常用编程语言（如 Python、JavaScript、Java、Go、C++、Rust）中的各种编码任务。

评估结果显示，Granite 代码模型在不同参数规模下均优于其他强大的开源模型。下图展示了 Granite-8B-Code-Base 在三项编码任务中如何超越 Mistral-7B、LLama-3-8B 等开源模型。更多评估结果请参阅我们的 论文。

如何使用我们的模型？

要使用我们的任何模型，请从以下路径中选择合适的 model_path：

1. ibm-granite/granite-3b-code-base-2k
2. ibm-granite/granite-3b-code-instruct-2k
3. ibm-granite/granite-8b-code-base-4k
4. ibm-granite/granite-8b-code-instruct-4k
5. ibm-granite/granite-20b-code-base-8k
6. ibm-granite/granite-20b-code-instruct-8k
7. ibm-granite/granite-34b-code-base-8k
8. ibm-granite/granite-34b-code-instruct-8k

推理

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 或 "cpu"
model_path = "ibm-granite/granite-3b-code-base-2k" # 从上述列表中任选一个

tokenizer = AutoTokenizer.from_pretrained(model_path)

# 如果在 CPU 上运行，则无需设置 device_map
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

# 根据需要更改输入文本
input_text = "def generate():"
# 对文本进行分词
input_tokens = tokenizer(input_text, return_tensors="pt")

# 将分词后的输入转移到设备上
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)

# 生成输出标记
output = model.generate(**input_tokens)
# 将输出标记解码为文本
output = tokenizer.batch_decode(output)

# 遍历批次并打印，本示例中批次大小为1
for i in output:
    print(i)

微调

我们使用 Dolomite Engine 来对所有模型进行微调（或指令微调）。我们提供了用于微调 ibm-granite/granite-3b-code-base 的示例脚本。要微调这些模型，请按照以下步骤操作：

git clone https://github.com/IBM/dolomite-engine/
cd dolomite-engine

# 您可能需要修改 configs/granite-example/training.yml 文件
sh scripts/finetune.sh configs/granite-example/training.yml

# 模型训练完成后，将其转换为与 Hugging Face 兼容的 safetensors 格式
sh scripts/export.sh configs/granite-example/export.yml

[!提示] 如果您希望使用 无填充 Transformer 来减少训练过程中的内存占用和浮点运算次数，请参阅 Dolomite Engine 的 README，以获取更多详细信息。

如何参与本项目？

请查阅我们的 贡献指南 和 行为准则，以参与本项目的贡献。

模型卡片

每个模型变体的模型卡片都可在其对应的 Hugging Face 仓库中找到。请访问我们的合集 这里。

如何下载我们的模型？

您可以使用以下命令克隆所需的模型（本示例中为 granite-3b-code-base）：

git clone https://huggingface.co/ibm-granite/granite-3b-code-base-2k

许可证

所有 Granite 代码模型均采用 Apache 2.0 许可证进行发布。

您想提供反馈吗？

请通过访问我们的 合集，告诉我们您对我们代码模型系列的看法。选择您想要提供反馈的模型仓库，然后转到 社区 选项卡，点击 新建讨论。或者，您也可以在我们的 GitHub 讨论页面 上发表任何问题或评论。

Granite Code Models 快速上手指南

Granite Code Models 是 IBM 开源的一系列专注于代码生成任务（如修复漏洞、解释代码、文档生成等）的解码器-only 大语言模型。该系列支持 116 种编程语言，提供 Base（基础预训练）和 Instruct（指令微调）两种变体，参数量涵盖 3B、8B、20B 和 34B。所有模型均基于 Apache 2.0 协议发布，可自由用于研究和商业用途。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2。
• Python: 版本 3.9 或更高。
• GPU (可选但推荐): 如需运行 8B 及以上模型或进行微调，建议配备 NVIDIA GPU 并安装 CUDA。
  • 3B 模型：显存建议 ≥ 6GB
  • 8B 模型：显存建议 ≥ 16GB
  • 20B/34B 模型：需多卡或多机部署，或使用量化版本。
• 前置依赖:
  • transformers (Hugging Face)
  • torch (PyTorch)
  • accelerate (可选，用于加速推理)

安装基础依赖命令：

pip install torch transformers accelerate

提示：国内开发者若下载 Hugging Face 模型受阻，建议配置镜像源或使用 hf-mirror。

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

Granite Code Models 托管在 Hugging Face 上，无需复杂编译，直接通过 transformers 库加载即可。若需进行微调，则需额外安装 Dolomite Engine。

1. 拉取模型（推理用）

模型将自动从 Hugging Face 下载。您可以选择以下任一模型路径：

• ibm-granite/granite-3b-code-base-2k
• ibm-granite/granite-3b-code-instruct-2k
• ibm-granite/granite-8b-code-base-4k
• ibm-granite/granite-8b-code-instruct-4k
• ibm-granite/granite-20b-code-base-8k
• ibm-granite/granite-20b-code-instruct-8k
• ibm-granite/granite-34b-code-base-8k
• ibm-granite/granite-34b-code-instruct-8k

(注：Base 模型适合继续预训练或特定任务微调；Instruct 模型适合直接对话和遵循指令)

2. 安装微调框架（可选）

如果您计划对模型进行指令微调，官方推荐使用 Dolomite Engine：

git clone https://github.com/IBM/dolomite-engine/
cd dolomite-engine
pip install -e .

基本使用

以下是最简单的 Python 推理示例，展示如何加载模型并生成代码。

代码生成示例

from transformers import AutoModelForCausalLM, AutoTokenizer

# 设置设备：如果有 GPU 使用 "cuda"，否则使用 "cpu"
device = "cuda" 

# 选择模型路径 (此处以 3B Base 模型为例，可替换为上述列表中的任意模型)
model_path = "ibm-granite/granite-3b-code-base-2k"

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_path)

# 加载模型 (若在 CPU 运行，请移除 device_map 参数)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

# 输入提示词 (例如：定义一个函数)
input_text = "def generate():"

# 分词
input_tokens = tokenizer(input_text, return_tensors="pt")

# 将输入转移到指定设备
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)

# 生成输出
output = model.generate(**input_tokens)

# 解码并打印结果
output_text = tokenizer.batch_decode(output)

for i in output_text:
    print(i)

微调示例 (基于 Dolomite Engine)

若需微调 granite-3b-code-base，请执行以下脚本：

# 克隆引擎后进入目录
cd dolomite-engine

# (可选) 修改配置文件 configs/granite-example/training.yml 以适应您的数据集

# 启动微调
sh scripts/finetune.sh configs/granite-example/training.yml

# 训练完成后，转换为 HuggingFace 兼容格式
sh scripts/export.sh configs/granite-example/export.yml

性能优化提示：若希望在训练过程中节省显存和计算量，可参考 Dolomite Engine 文档启用 padding-free transformers 技术。