gpt-llm-trainer

新增：Claude 3 -> LLaMA 2 7B 微调版本：

LLaMA 2 7B 微调版本：

GPT-3.5 微调版本：

概述

训练模型是一件很困难的事情。你需要收集数据集、清洗数据、将其转换为合适的格式，选择一个模型，编写训练代码并进行训练。而这还只是最理想的情况。

本项目的目的是探索一种全新的实验性流程，以训练出高性能的任务特定模型。我们试图将所有复杂性抽象化，让从想法到最终性能优越的完整训练模型的过程尽可能简单。

只需输入你的任务描述，系统便会从零开始生成数据集，将其解析为正确格式，并为你微调一个 LLaMA 2 或 GPT-3.5 模型。

功能

• 数据集生成：借助 Claude 3 或 GPT-4，gpt-llm-trainer 将根据你提供的用例生成多种提示和响应。

• 系统提示生成：gpt-llm-trainer 会为你的模型生成一个有效的系统提示。

• 微调：数据集生成完成后，系统会自动将其划分为训练集和验证集，为你微调模型，并使其准备好用于推理。

设置

1. 在 Google Colab 中打开笔记本（链接）或在本地 Jupyter 笔记本中打开。

2. 如果你在使用 Colab，请切换到最佳可用 GPU（前往“运行时”->“更改运行时类型”）。

3. 将你的 OpenAI API 密钥添加到 openai.api_key = "YOUR KEY HERE" 这一行。

使用方法

1. 定义你的 prompt。prompt 是对你希望训练后的 AI 执行的任务的描述。越详细、越清晰越好。此外，还需设置我们将用于生成数据集的温度（高=创造性，低=精确）以及你希望生成的示例数量（100 个是一个不错的起点）。

例如：

prompt = "一个能够接收英文的谜题式、重逻辑推理问题，并用西班牙语给出条理清晰、逐步推导的回答的模型。"
temperature = .4
number_of_examples = 100

2. 运行所有单元格（如果使用 LLaMA 2 版本，则在 合并模型并存储到 Google Drive 处停止）。

这需要一些时间（从 10 分钟到几个小时不等，具体取决于你生成的示例数量），但很快，你就会拥有自己微调好的模型！

3. 模型训练完成后，你可以使用 LLaMA 2 版本中的 运行推理 单元格，或 GPT-3.5 版本中的 让我们试一试！ 单元格来测试模型；下方的单元格则允许你将模型保存到 Google Drive 或从中加载，以便日后使用（仅适用于 LLaMA 版本）。如果你使用的是 OpenAI 版本，你的模型将可以通过 API 或 OpenAI Playground 直接使用。

欢迎贡献！以下是一些想法：

• 改进示例生成流程，以提高效率并降低成本（例如使用 n= 参数）；
• 添加更多示例生成提示，以创建更丰富的示例；
• 增加示例修剪功能，移除过于相似的示例以提升性能；
• 使用 GPT-4 根据少量示例和数据集的高层次信息（如示例数量）自动选择训练超参数，甚至可能自动选择要微调的模型；
• 训练多个模型变体，并选择评估损失最低的那个。

特别鸣谢 Maxime Labonne，感谢他为本项目提供的训练代码！

许可证

本项目采用 MIT 许可证。

联系方式

Matt Shumer - @mattshumer_

最后，如果你想尝试比这个更酷的东西，可以注册 Personal Assistant（我大部分时间都花在这个项目上）。它本质上是一个能够操作你的浏览器帮你完成任务的 AI。

欢迎访问 ShumerPrompt，我的“提示 GitHub”！

gpt-llm-trainer 快速上手指南

gpt-llm-trainer 是一个实验性项目，旨在简化大语言模型（LLM）的微调流程。只需输入任务描述，系统即可自动生成数据集、构建系统提示词，并自动微调 LLaMA 2 或 GPT-3.5 模型。

环境准备

本项目主要基于 Google Colab 运行，无需在本地配置复杂的深度学习环境。

• 运行平台：推荐使用 Google Colab（需具备网络访问条件）。也可在本地 Jupyter Notebook 运行，但需自行配置 GPU 环境。
• 硬件要求：
  • 若使用 Colab：请在菜单栏点击 运行时 (Runtime) -> 更改运行时类型 (Change runtime type)，选择 T4 GPU 或更高性能的 GPU。
  • 若本地运行：需要配备支持 CUDA 的 NVIDIA GPU。
• 前置依赖：
  • API Key：需要准备 OpenAI API Key（用于生成数据集和微调 GPT-3.5）或 Anthropic API Key（若使用 Claude 版本）。
  • Google 账号：用于保存微调后的模型文件（LLaMA 版本）。

安装步骤

本项目无需传统的 pip install 安装过程，直接通过云端笔记本启动即可。

1. 打开 Notebook 根据需求选择以下任一链接在浏览器中打开：

   • LLaMA 2 7B 微调版（推荐本地部署用户）: Open LLaMA Version In Colab
   • GPT-3.5 微调版（推荐 API 调用用户）: Open GPT-3.5 Version In Colab
   • Claude 3 -> LLaMA 2 版: Open Claude -> LLaMA Version In Colab

2. 配置 API Key 在代码单元格中找到以下行，并将 "YOUR KEY HERE" 替换为你的实际密钥：

   openai.api_key = "YOUR KEY HERE"
   

3. 切换 GPU（仅限 Colab） 确保已按照“环境准备”中的步骤，将运行时类型更改为 GPU。

基本使用

以下是使用 LLaMA 2 或 GPT-3.5 版本进行微调的最简流程：

1. 定义任务参数

在对应的代码单元格中，设置你的任务描述、生成数据的温度值（创造性）以及示例数量。

prompt = "A model that takes in a puzzle-like reasoning-heavy question in English, and responds with a well-reasoned, step-by-step thought out response in Spanish."
temperature = .4
number_of_examples = 100

• prompt: 清晰描述你希望训练后的 AI 完成什么任务。
• temperature: 控制数据生成的多样性（高=更有创意，低=更精准）。
• number_of_examples: 生成训练样本的数量（建议从 100 开始）。

2. 执行训练

依次运行 Notebook 中的所有代码单元格。

• 注意：如果是 LLaMA 2 版本，运行到 Merge the model and store in Google Drive 这一步时停止即可。
• 耗时：根据生成的示例数量，整个过程可能需要 10 分钟到数小时不等。

3. 测试与使用

训练完成后，根据版本不同进行测试：

• LLaMA 2 版本： 运行 Run Inference 单元格直接在当前环境测试模型。 后续可通过提供的代码将模型保存至 Google Drive 或从 Drive 加载，以便离线使用。

• GPT-3.5 版本： 运行 Let's try it out! 单元格进行测试。 微调后的模型将通过 OpenAI API 可用，你也可以在 OpenAI Playground 中选择该模型进行交互。