GPT-Code-Clippy (GPT-CC)

请参阅我们的新 GitHub Wiki，其中详细记录了我们创建 GitHub Copilot 开源版本的努力过程。

感谢超棒的 Aimee Trevett！

简介

GPT-Code-Clippy (GPT-CC) 是 GitHub Copilot 的开源版本，它基于 GPT-3 构建的语言模型——名为 GPT-Codex——并在 GitHub 上公开可用的代码上进行了微调。

数据集

用于训练 GPT-CC 的数据集来自 SEART GitHub Search，筛选标准如下：

• 超过 10 颗 GitHub 星标
• 超过 2 次提交
• 必须有许可证
• 排除分支
• 文件大小小于 70708 字节

随后，这些仓库与 The Pile 中包含的所有 GitHub 仓库合并在一起。

接着，对仓库中的重复文件进行过滤。过滤方法是通过正则表达式提取每个仓库中每个文件的“变量”列表（仅由字母数字字符组成的标记），然后移除包含相同“变量”序列的文件。去重脚本可在 这里 获取。

最终的数据集可在此处获取：链接。未经过滤掉重复项的数据集也可在此处获取：链接。

有关数据集构建、使用及局限性的更详细说明文档可在 这里 找到。我们希望它能尽快正式加入 Hugging Face 的数据集库 此处！

问题：数据集中文件名错误

我们最近发现了一个在数据集抓取过程中出现的 bug。原来文件名已经过时或具有误导性。请参阅此问题。感谢 Naman 指出了这个问题。

这可能会带来两个影响：

• 由于训练数据集的过滤是基于文件扩展名进行的，我们在训练时可能包含了错误的数据点，并且可能遗漏了许多属于目标语言的正确数据点。

一个临时的解决方法是使用 lib-magic 等工具来根据文件内容确定扩展名，从而进行过滤。更详细的步骤可在 这里 查看。

模型

GPT-CC 模型是 GPT-2 和 GPT-Neo 的微调版本。

可用的模型可在 这里 查看。

表现相对较好的模型（除了特定于 APPS 的模型外，其他模型均未优于标准的 GPT-Neo 125M 模型）：

• https://huggingface.co/flax-community/gpt-code-clippy-125M-apps-alldata
• https://huggingface.co/flax-community/gpt-code-clippy-1.3B-apps-alldata-2
• https://huggingface.co/flax-community/gpt-code-clippy-1.3B-apps-alldata
• https://huggingface.co/flax-community/gpt-code-clippy-1.3B-apps
• https://huggingface.co/flax-community/gpt-neo-125M-code-clippy
• https://huggingface.co/flax-community/gpt-neo-125M-code-clippy-dedup-filtered-no-resize-2048bs
• https://huggingface.co/flax-community/gpt-neo-125M-code-clippy-dedup-2048

待办事项：推荐使用哪个模型？

训练

训练使用位于 这里 的训练脚本进行。

对于在 CodeClippy 数据集上微调 GPTNeo-125M，我们使用了 AdamW 优化器（beta1=0.9，beta2=0.95），并采用了类似 GPT3 的学习率调度方案（先进行 4000 步的预热，从 0 加速至 5e-5，随后进行 50000 步的余弦退火，降至 5e-6），权重衰减为 0.1，批量大小为 1024，序列长度为 2048。选择较大的批量和较低的学习率以及较长的预热期，是为了避免过于激进的更新，从而保留预训练 GPTNeo 权重中所包含的知识。

对于在 APPS 数据集上微调 GPTNe0-125M，我们使用了 AdamW 优化器（beta1=0.9，beta2=0.98），并采用了线性学习率调度方案（先进行 800 步的预热，从 0 加速至峰值学习率，随后线性下降至 0，峰值学习率范围为 [1e-5; 1e-4]），权重衰减为 0.1，批量大小为 256，序列长度为 1024。我们训练了 5 个 epoch，并根据验证损失选择了最佳检查点。针对 APPS 数据集的语言建模目标被修改为仅对对应于代码解决方案的标记反向传播损失（更多详情请参阅 Hendrycks 等人 的研究）。

对于在 APPS 数据集上微调 GPTNe0-1.3B，我们使用了 Adafactor 优化器，并采用了线性学习率调度方案（先进行 5000 步的预热，从 0 加速至 2e-5，随后线性下降至 0），权重衰减为 0.1，批量大小为 24，序列长度为 1024。1.3B 模型的超参数选择部分受到硬件限制的影响。我们同样训练了 5 个 epoch，并根据验证损失选择了最佳检查点。

待办事项：推荐的 GPT-CC 训练方式是什么？

评估

这些模型也在 APPS 和 HumanEval 数据集上进行了评估。

Human Eval 结果

模型	pass@1	pass@2	pass@5	pass@10
EleutherAI/gpt-neo	0.12%	0.24%	0.61%	1.22%
gpt-neo-125M-apps	0.06%	0.12%	0.30%	0.61%
dedup-filtered-no-resize-2048bs	0.00%	0.00%	0.00%	0.00%
1024-filtered	0.00%	0.00%	0.00%	0.00%
dedup-2048	0.00%	0.00%	0.00%	0.00%

APPS 评估结果

即将发布……

演示

一个使用 HuggingFace 推理 API 的 Visual Studio Code 插件已经发布，你可以在这里找到它：https://github.com/CodedotAl/code-clippy-vscode。

我们还有一个 Huggingface Space 演示，你可以在其中以编程竞赛题目的格式输入问题。

待办事项：完成后将提供更多相关信息。

延伸阅读

如需了解更多关于 GPT-CC、GitHub Copilot 等的信息，请参阅：

• https://github.blog/2021-06-29-introducing-github-copilot-ai-pair-programmer/

待办事项：添加更多延伸阅读内容。

致谢

特别感谢我们的贡献者！！

• https://github.com/arampacha
• https://github.com/ncoop57
• https://github.com/bentrevett
• https://github.com/arunraja-hub
• https://github.com/reshinthadithyan
• https://github.com/shpotes
• https://github.com/taisazero
• https://github.com/neubig
• https://github.com/Mrinal18
• 以及所有为该项目提供帮助的其他朋友！

GPT-Code-Clippy 快速上手指南

GPT-Code-Clippy (GPT-CC) 是一个开源的 GitHub Copilot 替代方案，基于 GPT-3/GPT-Codex 架构，使用 GitHub 公开代码进行微调，旨在辅助代码生成。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)
• Python: 版本 3.8 或更高
• 依赖库:
  • transformers (Hugging Face)
  • torch (PyTorch)
  • datasets
• 硬件建议: 运行较大模型（如 1.3B）建议使用 GPU；125M 模型可在 CPU 上运行但速度较慢。

安装前置依赖：

pip install torch transformers datasets accelerate

提示：国内开发者可使用清华源加速安装： pip install torch transformers datasets accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

GPT-Code-Clippy 的核心是预训练模型，托管在 Hugging Face Model Hub 上。您可以直接通过代码加载模型，无需克隆整个仓库即可开始使用。

1. 选择模型 根据性能表现，推荐使用以下经过微调的模型之一：

   • 通用推荐 (125M): flax-community/gpt-neo-125M-code-clippy
   • 算法竞赛专用 (1.3B): flax-community/gpt-code-clippy-1.3B-apps-alldata

2. 验证安装 创建一个 Python 脚本，尝试加载模型以确认环境配置正确。

基本使用

以下是最简单的使用示例，展示如何加载模型并生成代码补全建议。

代码生成示例

创建一个名为 quick_start.py 的文件，填入以下内容：

from transformers import AutoTokenizer, AutoModelForCausalLM

# 1. 指定模型名称 (推荐使用 125M 版本作为起步)
model_name = "flax-community/gpt-neo-125M-code-clippy"

# 2. 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 3. 准备输入提示 (Prompt)
# 尝试让模型补全一个 Python 函数
prompt_text = "def fibonacci(n):\n    """

# 4. 编码输入
inputs = tokenizer.encode(prompt_text, return_tensors="pt")

# 5. 生成代码
# max_length: 生成文本的最大长度
# num_return_sequences: 返回几个不同的生成结果
outputs = model.generate(
    inputs, 
    max_length=inputs.shape[1] + 50, 
    num_return_sequences=1,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id
)

# 6. 解码并打印结果
generated_code = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_code)

运行脚本

在终端执行：

python quick_start.py

预期输出示例： 模型将根据提示补全类似以下的代码逻辑：

def fibonacci(n):
    if n <= 1:
        return n
    else:
        return fibonacci(n-1) + fibonacci(n-2)

VS Code 插件体验 (可选)

如果您希望在编辑器中直接使用，该项目提供了一个基于 Hugging Face Inference API 的 VS Code 插件：

1. 访问插件仓库：code-clippy-vscode
2. 按照该仓库说明安装 .vsix 文件或在 VS Code 中手动加载扩展。
3. 配置插件指向上述 Hugging Face 模型端点即可享受类似 Copilot 的行内补全体验。