虚幻引擎5 羊驼LoRA

目录

• 项目描述
• 如何复现
• 结果与示例
• 局限性与未来改进
• 许可证
• 致谢

项目描述

这是一个利用自然语言处理（NLP）创建文档助手的概念验证项目，该助手能够智能地响应用户查询。具体来说，我将虚幻引擎5.1的所有文档抓取并整合到一个单独的文本文件中，用作数据集，以微调Meta的llama-7b模型，使用oobabooga的文本生成WebUI。我认为，本地部署和训练的LoRA模型有望成为一种有趣的替代方案，取代OpenAI API调用和向量数据库，从而构建具备上下文感知能力的助手，帮助完成特定领域的任务和信息查询。

如何复现

你需要先设置好oobabooga的文本生成WebUI，这是一款非常优秀的工具，旨在成为本地运行和训练大型语言模型领域的“Stable Diffusion WebUI”版本。当然，你也可以通过其他方式训练LoRA，但我采用的就是这种方法。如果你使用的是Windows系统，新版的一键安装程序会非常有帮助。安装完成后，你需要选择一个基础模型。我使用的是以8位模式加载的Llama-7b，但其他模型也应该可以工作。从本仓库下载unreal_docs.txt文件，并将其放入text-generation-webui/training/datasets目录下。然后切换到WebUI中的训练选项卡，配置相关设置：

这些只是我使用的设置，我无法确定它们是否是最优配置，未来我还计划继续尝试不同的参数组合。正如你所见，我在3090ti显卡上进行训练大约耗时8小时。

训练数据

损失	学习率

结果与示例

我原本预计第一次尝试会产生完全无意义的内容，但结果的质量却让我感到惊喜：

基础Llama7b	ue5-llama-lora	ChatGPT

显然，基础Llama 7b对当前情况一无所知，无法提供关于虚幻引擎5及其新功能的信息。然而，当它结合了ue5-llama-lora后，便能生成高质量的回答，这些回答明显源自于虚幻引擎5.1的最新文档。尽管虚幻引擎5是在ChatGPT的训练截止日期之后发布的，但它对Nanite技术却表现出惊人的熟悉度，因为Nanite早在2021年9月之前就已经被宣布过了。不过，ChatGPT未能识别虚幻引擎中的大规模避障功能，因为这是引擎中一项更新的实验性功能。

局限性与未来改进

作为一款语言模型，ue5-llama-lora容易产生幻觉，可能会编造细节或给出错误信息。不过，目前这仍处于早期阶段，输出结果还有许多可以改进和完善的地方。显而易见的是，直接使用WebUI默认的聊天助手来进行提示并不明智。如果能够生成一个专为虚幻引擎定制的角色配置文件，我预计可以稍微减少幻觉现象，并更好地控制回复的长度和细节程度。此外，数据集本身也有改进的空间。特别是如果数据集能够按照斯坦福Alpaca那样的指令-响应JSON格式进行组织，我就能通过提示词获得更多的控制权。最后，我也在仓库中附上了网页抓取脚本，但其实现效果较差，解析文档需要耗费大量时间。我不太建议使用这个脚本，当时我过于谨慎地使用Selenium来尝试捕获动态加载的内容。等到我意识到可以用另一种更高效的方式重写脚本时，我已经疲惫不堪，索性让它整夜运行了。

许可证

本项目采用MIT许可证授权。

致谢

如果没有oobabooga的文本生成WebUI和斯坦福Alpaca研究，我根本不会想到这个想法。特别感谢mcmonkey4eva，他为text-generation-webui贡献了训练选项卡的代码。

ue5-llama-lora 快速上手指南

本项目是一个概念验证（PoC），旨在通过微调 Meta 的 Llama-7b 模型，创建一个能够智能回答 Unreal Engine 5 (UE5) 相关问题的文档助手。本指南将帮助你复现该 LoRA 模型的训练过程。

环境准备

系统要求

• 操作系统：推荐 Windows（支持一键安装器）或 Linux。
• 硬件配置：
  • GPU：建议 NVIDIA GPU，显存至少 24GB（作者使用 RTX 3090 Ti，训练耗时约 8 小时）。
  • 内存：建议 32GB RAM 或更高。
• 基础模型：Llama-7b（需自行获取权重文件）。

前置依赖

• oobabooga/text-generation-webui：这是核心的运行和训练框架。请确保已正确安装并可以正常启动。

安装步骤

1. 部署 WebUI 如果你使用的是 Windows，推荐使用官方提供的“一键安装器”（one-click installer）来快速搭建 text-generation-webui 环境。

   # 克隆仓库并运行安装脚本（以 Windows 为例，具体请参考 oobabooga 官方文档）
   git clone https://github.com/oobabooga/text-generation-webui.git
   cd text-generation-webui
   start_windows.bat
   

2. 准备数据集

   • 从本仓库下载 unreal_docs.txt 文件。
   • 将该文件放置在 text-generation-webui/training/datasets 目录下。

3. 加载基础模型

   • 启动 WebUI。
   • 在 "Model" 选项卡中加载 Llama-7b 模型。
   • 注意：建议启用 8-bit mode 以节省显存，其他兼容模型也可尝试，但 Llama-7b 为基准测试模型。

4. 配置训练参数

   • 切换到 WebUI 的 "Training" 选项卡。
   • 选择你的数据集 (unreal_docs.txt)。
   • 参考以下配置进行设置（基于作者实验数据，可根据硬件调整）：
     • Base Model: Llama-7b (8-bit)
     • LoRA Rank: 默认或根据显存调整
     • Learning Rate: 参考项目中提供的学习率曲线图进行调整
     • Epochs/Batch Size: 根据训练时长需求设定

   (注：具体参数截图请参考原项目 README 中的 assets/TrainingSettings.PNG)

5. 开始训练

   • 点击 "Start Training"。
   • 在 RTX 3090 Ti 上，完整训练过程大约需要 8 小时。请监控 Loss 曲线以确保收敛。

基本使用

训练完成后，生成的 LoRA 适配器可用于增强 Llama-7b 对 UE5 文档的理解能力。

1. 加载 LoRA

   • 在 WebUI 的 "Model" 选项卡中，确保基础模型 Llama-7b 已加载。
   • 在 "LoRA" 部分，选择你刚刚训练好的 ue5-llama-lora 适配器并加载。

2. 进行测试对话

   • 切换到 "Chat" 选项卡。
   • 输入关于 UE5 的问题，例如：

     什么是 Nanite？
     如何在 UE5 中使用 Mass Avoidance？
     

   • 预期结果：相比未微调的基础 Llama-7b，加载 LoRA 后的模型应能生成基于 UE5.1 文档的高质量、准确的回答，甚至能识别 ChatGPT 训练截止后发布的某些新特性（如 Mass Avoidance）。

3. 优化建议

   • 为了减少幻觉并控制回答长度，建议创建专门的 UE5 角色 YAML 配置文件（Character YAML），而不是直接使用默认的聊天助手提示词。
   • 未来可尝试将数据集格式化为类似 Stanford Alpaca 的 instruction > response JSON 格式，以获得更好的指令遵循能力。