godot-dodo

godot-dodo 项目提供了一条流水线，用于在 GitHub 上获取的人类编写的特定于语言的代码基础上微调开源语言模型。在此案例中，目标语言是 GDScript，但相同的方法也可应用于其他语言。

该仓库包含以下内容：

• 用于构建微调数据集的脚本
• 预先组装好的原始数据集（最多 6 万行）
• 用于微调模型的脚本
• 模型权重链接
• 对比微调后模型性能的报告

性能

有关所用方法的详细说明及完整的结果列表，请参阅此处的完整性能报告 models/。

简而言之，在生成准确的 GDScript 语法方面，godot_dodo 模型的连贯性显著优于 gpt-4 和 gpt-3.5-turbo；而基于代码专用基础模型训练的变体，甚至能在处理复杂指令时超越它们。

这种方法目前的主要不足在于生成方法时的表达不够充分。由于人类编写的示例通常会引用在当前方法作用域之外初始化的对象，模型也会学习这种写法，从而导致在某些情况下，与指令相关的功能被假定已经实现。这一问题很可能通过更精细的数据集设计得到显著改善。

概念

如何实现？

与其他类似的模型微调方法（如 stanford-alpaca）不同，本方法并未使用现有的大型语言模型来生成微调数据集的输出值。所有使用的代码均由人类编写。语言模型仅用于对每个代码片段进行标注。

因此，我们可以按照 CodeSearchNet 的风格，构建 注释:代码 数据对，并利用强大的现有模型为高质量的人类编写的代码添加注释。

为什么？

一些现有的语言模型，例如 gpt-4，在编码方面表现出色。然而，它们的能力主要集中在最流行的语言上，如 Python 或 JavaScript。

相比之下，使用较少的语言在训练数据中代表性不足，性能会大幅下降，模型常常会混淆语法或“幻觉”出不存在的语言特性。

本项目旨在提供更加健壮的语言特定模型，以可靠地生成首次即可成功编译的代码。

演示

要试用预训练模型，可以使用 inference_demo.ipynb 笔记本。若要在 Google Colab 中运行该笔记本，请访问此链接。

数据集生成

由于本方法依赖于人类编写的数据，我们使用 GitHub 搜索 API 来抓取 GitHub 仓库。通过搜索 language:gdscript，我们获取包含 GDScript 代码的仓库列表。同时，我们还使用 license:mit 来筛选合适的仓库。仅使用 MIT 许可证的代码进行训练！

随后，我们会克隆每个仓库并执行以下逻辑：

• 查找 project.godot 文件
• 判断项目是针对 Godot 引擎的 3.x 还是 4.x 版本
• 遍历仓库中所有的 .gd 文件
• 将每个文件拆分为单独的函数
• 对每个找到的函数，使用现有的 LLM (gpt-3.5-turbo) 请求一段详细描述其用途的注释
• 将 instruction:response 数据对添加到数据集中

需要注意的是，位于代码块上方的现有人工注释不会作为 instruction 值使用。我们关注的是注释的一致性和详尽性，而非试图保留可能质量更高的现有注释。

不过，代码块内的原有注释会被保留。

运行

若要自行构建数据集，请按照以下步骤操作：

• 运行 python data/generate_unlabeled_dataset.py
• 运行 python data/label_dataset.py

请注意，您需要 GitHub 和 OpenAI 的 API 密钥才能使用这些脚本。

预组装数据集

本仓库包含的预组装数据集如下：

• godot_dodo_4x_60k
  • 使用 4.x 版本的 Godot 项目组装而成，约 6 万行

未来可能会添加更多数据集（尤其是关于 3.x 的数据）。

微调

微调流程与 stanford_alpaca 提出的流程非常相似。要复现一个微调后的 LLaMA 版本，请按照以下步骤操作。

硬件要求

为了有效微调 llama-7b 或 llama-13b 模型，强烈建议至少使用两块 A100 80GB 显卡。否则可能会遇到内存不足的错误，或者训练时间过长，届时需要调整训练参数。

在微调 godot_dodo_4x_60k_llama_13b 时，使用了八块 A100 80GB 显卡。

另一个重要考虑因素是 GPU 之间的通信协议。建议使用 NVLink 而不是 PCIe。

如果您只能使用 PCIe 配置，请在 torchrun 命令中将 full-shard 替换为 shard_grad_op。这可能会显著加快训练速度，但同时也会增加内存消耗。

设置

在开始微调之前，请确保安装所有必要的依赖项：

pip install -r requirements.txt

运行

有关微调模型的具体命令，请参阅各个模型页面：

• models/godot_dodo_4x_60k_llama_7b
• models/godot_dodo_4x_60k_llama_13b

推理

要测试您的微调模型，可以使用 eval.py 脚本。只需运行：

python finetune/eval.py --model_name_or_path PATH_TO_FINETUNED_MODEL/

发布到 Hugging Face

要轻松将微调后的模型上传到 Hugging Face，可以使用：

python finetune/push_to_hub.py --model_name_or_path PATH_TO_FINETUNED_MODEL/ --push_name HF_MODEL_NAME --auth_token HF_ACCESS_TOKEN

微调模型权重

托管在 Hugging Face 上的模型权重链接已在相应模型页面中提供：

• models/godot_dodo_4x_60k_llama_7b
• models/godot_dodo_4x_60k_llama_13b

成本

以下是构建每个可用数据集以及微调每个模型的大致费用。

数据集

• godot_dodo_4x_60k
  • 30 美元（gpt-3.5-turbo API 费用）

微调模型

• models/godot_dodo_4x_60k_llama_7b
  • 24 美元（8 块 A100 80GB 实例费用）
• models/godot_dodo_4x_60k_llama_13b
  • 84 美元（8 块 A100 80GB 实例费用）

与 godot-copilot 搭配使用

未来可能会支持将微调后的模型与 godot-copilot 配合使用，实现在编辑器内、完全本地化的代码生成功能。

致谢

感谢所有采用 MIT 许可证的 Godot 项目！没有你们，这一切都不可能实现。

在构建所包含的微调数据集过程中被爬取的所有项目，均已列于 data 目录下的相应数据集文件夹中。

此外，还要特别感谢 fluidstack.io，他们提供的可靠且经济实惠的 GPU 实例为这些模型的微调工作提供了重要支持。

引用

如果您希望引用本项目，请使用以下格式：

@misc{godot-dodo,
  author = {Markus Sobkowski},
  title = {Godot-Dodo：用于 GDScript 生成的微调语言模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/minosvasilias/godot-dodo}},
}

同时，也请引用 原始的 LLaMA 论文以及 stanford-alpaca。

Godot-Dodo 快速上手指南

Godot-Dodo 是一个专注于微调开源大语言模型以生成高质量 GDScript 代码的项目。该项目利用 GitHub 上人类编写的 MIT 许可代码构建数据集，旨在解决通用模型在 GDScript 语法准确性上的不足，提供比 GPT-4 更一致的代码生成能力。

环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2。
• GPU:
  • 推理/测试: 任意支持 CUDA 的 GPU。
  • 微调训练: 强烈建议至少使用 2 张 A100 80GB GPU（针对 LLaMA-7B/13B 模型）。若资源有限，需调整训练参数或使用 shard_grad_op 模式，但显存占用会显著增加。
• Python: 3.8 或更高版本。

前置依赖

你需要准备以下 API Key 用于数据集生成（如果直接使用预组装数据集可跳过此步）：

• GitHub Token: 用于搜索和克隆仓库。
• OpenAI API Key: 用于调用 gpt-3.5-turbo 为代码片段生成注释标签。

安装步骤

1. 克隆项目

   git clone https://github.com/minosvasilias/godot-dodo.git
   cd godot-dodo
   

2. 安装依赖 建议使用虚拟环境安装所需 Python 包：

   pip install -r requirements.txt
   

   (注：国内用户若遇下载慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数)

基本使用

本项目主要提供三种使用方式：直接使用预训练模型进行推理、自行构建数据集、或重新微调模型。以下是最简单的推理测试流程。

1. 体验预训练模型 (推荐)

项目提供了基于 LLaMA 微调好的模型权重，可直接通过 Jupyter Notebook 进行体验。

• 本地运行: 确保已安装 Jupyter，然后运行演示脚本：

  jupyter notebook demo/inference_demo.ipynb
  

  在 Notebook 中加载 Hugging Face 上的预训练模型权重进行对话测试。

• Google Colab 在线运行 (无需本地显卡): 点击以下链接直接在云端运行： 在 Google Colab 中打开 inference_demo.ipynb

2. 评估微调后的模型

如果你已经下载或微调了模型，可以使用 eval.py 脚本进行测试：

python finetune/eval.py --model_name_or_path PATH_TO_FINETUNED_MODEL/

将 PATH_TO_FINETUNED_MODEL/ 替换为你本地的模型文件夹路径。

3. (进阶) 自行构建数据集

若需生成自定义数据集，请确保配置好环境变量 GITHUB_TOKEN 和 OPENAI_API_KEY，然后执行：

# 1. 抓取并整理未标记的代码数据
python data/generate_unlabeled_dataset.py

# 2. 调用 LLM 为代码生成注释标签
python data/label_dataset.py

注意：此过程会产生 OpenAI API 费用（约 $30 生成 60k 条数据），且仅抓取 MIT 许可的仓库。

4. (进阶) 开始微调

微调流程参考 Stanford Alpaca。以复现 LLaMA-7B 版本为例，具体命令请参考 models/ 目录下对应模型的说明文档。训练完成后，可推送到 Hugging Face：

python finetune/push_to_hub.py --model_name_or_path PATH_TO_FINETUNED_MODEL/ --push_name HF_MODEL_NAME --auth_token HF_ACCESS_TOKEN