OpenCoder

⚡ 面向顶尖代码大语言模型的开源配方库 ⚡

🏠首页   |   🤗模型   |   📊数据集   |   📄论文  ｜ 🚀演示  

新闻

• 🔥🔥🔥 2024年12月8日 我们发布了预训练数据清洗流水线：opc_data_filtering。请尝试使用该流水线构建您自己的高质量代码预训练语料库！
• 🔥 2024年11月19日 我们发布了预训练阶段的中间检查点：🤗 OpenCoder-1.5B-Base-Checkpoints 和 🤗 OpenCoder-8B-Base-Checkpoints。
• 🔥 2024年11月15日 我们发布了 RefineCode 的元数据 📊 RefineCode-code-corpus-meta。您可以参考该数据集收集属于自己的 RefineCode 数据！
• 🔥 2024年11月12日 我们发布了高效的 CodeLLM 评估框架：OpenCodeEval。
• 🔥 2024年11月12日 我们发布了高质量的退火数据 📊 opc-annealing-corpus，其中包括算法相关语料及对应的合成数据。
• 🔥 2024年11月11日 我们从 Fineweb 回收了 550 亿条网页数据，包括 📊 fineweb-code-corpus 和 📊 fineweb-math-corpus。
• 🔥 2024年11月9日 我们发布了 450 万条后训练数据：📊 数据集。
• 🔥 2024年11月8日 我们发布了模型！请从 🤗 模型 下载。
• 🔥 2024年11月7日 我们在 Arxiv 上发表了论文：📄 OpenCoder：面向顶尖代码大语言模型的开源配方库。

发布内容

• 数据清洗流水线
• RefineCode：代码相关网络数据
• RefineCode：原始代码数据的元数据
• 中间检查点
• CodeLLM 评估框架：OpenCodeEval
• 高质量退火数据
• 后训练数据
• 最终模型权重
• 论文

我们正全力以赴发布所有这些资源！💪

简介

OpenCoder 是一个开放且可复现的代码大语言模型系列，包含 15 亿和 80 亿参数的基础模型及对话模型，支持英语和中文两种语言。OpenCoder 从零开始训练，在由 90% 原始代码和 10% 代码相关网络数据组成的 2.5 万亿 tokens 数据集上进行预训练，并在超过 450 万高质量 SFT 示例上进行监督微调，最终达到了顶尖代码大语言模型的性能水平。我们不仅提供模型权重和推理代码，还提供了可复现的训练数据、完整的数据处理流水线、严谨的实验消融结果以及详细的训练协议。OpenCoder 致力于赋能研究人员进行构建与创新，是您推动代码人工智能发展的开放基础。

• 完全开源：OpenCoder 通过发布不仅是模型权重和即将推出的推理代码，还包括用于训练的完整数据清洗代码，确保了完全透明。此次发布还包括高质量的合成数据、丰富的检查点集合以及包含超过 450 万条监督微调（SFT）数据的数据集，使 OpenCoder 成为目前最全面开源的模型之一。
• 全面的实验分析：OpenCoder 经过对各种数据清洗策略和训练流程的广泛消融研究测试，包括文件级和仓库级去重实验，确保对模型性能进行了彻底的探索和验证。
• 高质量合成数据：OpenCoder 提供了完善的合成数据生成流程和超过 450 万条 SFT 数据，为模型的训练和评估奠定了坚实的数据基础。
• 卓越性能：OpenCoder 在多个语言模型基准测试中均表现出色，使其成为领先的开源代码模型之一。

模型

模型	序列长度	HuggingFace	wisemodel
OpenCoder-1.5B-Base	4K	🤗HuggingFace
OpenCoder-8B-Base	8K	🤗HuggingFace
OpenCoder-1.5B-Instruct	4K	🤗HuggingFace
OpenCoder-8B-Instruct	8K	🤗HuggingFace

数据集

预训练

数据集	大小	下载
fineweb-code-corpus	148 GB	🤗HuggingFace
fineweb-math-corpus	10 GB	🤗HuggingFace
opc-annealing-corpus	24 GB	🤗HuggingFace

微调

数据集	数量	下载
opc-sft-stage1	4.21 M	🤗HuggingFace
opc-sft-stage2	375 K	🤗HuggingFace

这并不是终点；我们正在整理剩余的数据，并会逐步上传。

性能

开始使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "infly/OpenCoder-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name,
                                             torch_dtype=torch.bfloat16,
                                             device_map="auto",
                                             trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

messages=[
    { 'role': 'user', 'content': "用Python编写一个快速排序算法。"}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)

result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)
print(result)

引用

如果您觉得我们的工作有帮助，请随时引用我们 :-)

@inproceedings{Huang2024OpenCoderTO,
  title={OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models},
  author={Siming Huang and Tianhao Cheng and Jason Klein Liu and Jiaran Hao and Liuyihan Song and Yang Xu and J. Yang and J. H. Liu and Chenchen Zhang and Linzheng Chai and Ruifeng Yuan and Zhaoxiang Zhang and Jie Fu and Qian Liu and Ge Zhang and Zili Wang and Yuan Qi and Yinghui Xu and Wei Chu},
  year={2024},
  url={https://arxiv.org/pdf/2411.04905}
}

星标历史

OpenCoder 快速上手指南

OpenCoder 是一个开源且可复现的代码大语言模型家族，包含 1.5B 和 8B 两种规模的基座（Base）与指令微调（Instruct）模型，支持中英文双语。本项目不仅提供模型权重，还开源了完整的数据清洗管道、训练数据及评估框架。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.8 及以上版本
• GPU: 推荐使用 NVIDIA GPU (显存要求视模型大小而定，8B 模型建议 16GB+ 显存以运行 bf16 精度)
• 前置依赖:
  • torch (建议 2.0+)
  • transformers (建议 4.37+)
  • accelerate

国内加速建议： 由于模型和数据托管在 Hugging Face，国内用户访问可能较慢。建议配置镜像源或使用国内镜像站（如 wisemodel.cn）。

• 设置环境变量使用镜像：

  export HF_ENDPOINT=https://hf-mirror.com
  

• 国内模型源：部分模型已同步至 wisemodel (始智 AI)，下载速度更快。

安装步骤

使用 pip 安装必要的 Python 库：

pip install torch transformers accelerate

如果您需要从源码获取最新的数据处理工具或评估框架，可以克隆仓库：

git clone https://github.com/OpenCoder-llm/OpenCoder-llm.git
cd OpenCoder-llm

基本使用

以下是最简单的使用示例，展示如何加载 OpenCoder-8B-Instruct 模型并进行代码生成。该脚本会自动从 Hugging Face（或配置的镜像源）下载模型。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 指定模型名称，也可替换为本地路径或其他镜像源地址
model_name = "infly/OpenCoder-8B-Instruct"

# 加载模型
model = AutoModelForCausalLM.from_pretrained(model_name,
                                             torch_dtype=torch.bfloat16,
                                             device_map="auto",
                                             trust_remote_code=True)

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 构建对话消息
messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]

# 应用聊天模板
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

# 生成回复
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)

# 解码并打印结果
result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)
print(result)

可用模型列表：

模型名称	上下文长度	HuggingFace 地址	国内镜像 (wisemodel)
OpenCoder-1.5B-Base	4K	链接	链接
OpenCoder-8B-Base	8K	链接	链接
OpenCoder-1.5B-Instruct	4K	链接	链接
OpenCoder-8B-Instruct	8K	链接	链接

只需将上述代码中的 model_name 替换为表格中对应的模型名称即可切换不同规格的模型。