[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-mshumer--gpt-llm-trainer":3,"tool-mshumer--gpt-llm-trainer":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":65,"owner_avatar_url":73,"owner_bio":65,"owner_company":65,"owner_location":65,"owner_email":65,"owner_twitter":65,"owner_website":65,"owner_url":74,"languages":75,"stars":80,"forks":81,"last_commit_at":82,"license":83,"difficulty_score":32,"env_os":84,"env_gpu":85,"env_ram":86,"env_deps":87,"category_tags":96,"github_topics":65,"view_count":32,"oss_zip_url":65,"oss_zip_packed_at":65,"status":17,"created_at":97,"updated_at":98,"faqs":99,"releases":127},4591,"mshumer\u002Fgpt-llm-trainer","gpt-llm-trainer",null,"gpt-llm-trainer 是一个旨在降低大模型训练门槛的开源项目，它让开发者无需繁琐的数据准备和代码编写，即可快速获得针对特定任务优化的高质量模型。\n\n传统的大模型微调过程往往充满挑战：用户需要自行收集数据、清洗格式、选择架构并编写复杂的训练脚本。gpt-llm-trainer 通过一套实验性流程解决了这些痛点。用户只需输入一段清晰的任务描述（例如“将英语逻辑谜题转化为西班牙语的分步解答”），系统便会自动调用 Claude 3 或 GPT-4 等强大模型，从零生成多样化的训练数据集和高效的系统提示词。随后，工具会自动划分数据集，并完成对 LLaMA 2 7B 或 GPT-3.5 的微调训练，最终输出可直接用于推理的模型。\n\n其核心亮点在于高度自动化与“想法即模型”的理念，将原本耗时数周的工作压缩至几十分钟到几小时。该项目特别适合希望快速验证创意原型、缺乏大规模标注数据的开发者及 AI 研究人员使用。通过在 Google Colab 上提供开箱即用的笔记本，gpt-llm-trainer 让定制专属大模型变得像填写一个简单的提示词一样轻松。","# gpt-llm-trainer\n[![Twitter Follow](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fmattshumer_?style=social)](https:\u002F\u002Ftwitter.com\u002Fmattshumer_)\n\nNEW: Claude 3 -> LLaMA 2 7B Fine-Tuning version: [![Open Claude -> LLaMA Version In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1eLe0t8Alu997w5Ewnw9mE96dtaC-qEho?usp=sharing)\n\nLLaMA 2 7B Fine-Tuning version: [![Open LLaMA Version In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1mV9sAY4QBKLmS58dpFGHgwCXQKRASR31?usp=sharing)\n\nGPT-3.5 Fine-Tuning version: [![Open GPT-3.5 Version In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1NLqxHHCv3kFyw45t8k_CUfNlcepMdeDW?usp=sharing)\n\n## Overview\n\nTraining models is hard. You have to collect a dataset, clean it, get it in the right format, select a model, write the training code and train it. And that's the best-case scenario.\n\nThe goal of this project is to explore an experimental new pipeline to train a high-performing task-specific model. We try to abstract away all the complexity, so it's as easy as possible to go from idea -> performant fully-trained model.\n\n**Simply input a description of your task, and the system will generate a dataset from scratch, parse it into the right format, and fine-tune a LLaMA 2 or GPT-3.5 model for you.**\n\n## Features\n\n- **Dataset Generation**: Using Claude 3 or GPT-4, `gpt-llm-trainer` will generate a variety of prompts and responses based on the provided use-case.\n\n- **System Message Generation**: `gpt-llm-trainer` will generate an effective system prompt for your model.\n\n- **Fine-Tuning**: After your dataset has been generated, the system will automatically split it into training and validation sets, fine-tune a model for you, and get it ready for inference.\n\n## Setup\n1. [Open the notebook in Google Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1mV9sAY4QBKLmS58dpFGHgwCXQKRASR31?usp=sharing) or in a local Jupyter notebook.\n\n2. If you're using Colab, switch to the best GPU available (go to Runtime -> change runtime type).\n\n3. Add your OpenAI API key to the line `openai.api_key = \"YOUR KEY HERE\"`.\n\n## How to Use\n\n1. Define your `prompt`. The `prompt` is a description of what you want the trained AI to do. The more descriptive and clear you can be, the better. Additionally, set the temperature we will use to generate your dataset (high=creative, low=precise), and the number of examples you want to generate (100 is a good starting point).\n\nFor example:\n```\nprompt = \"A model that takes in a puzzle-like reasoning-heavy question in English, and responds with a well-reasoned, step-by-step thought out response in Spanish.\"\ntemperature = .4\nnumber_of_examples = 100\n```\n\n2. Run all the cells (stop at `Merge the model and store in Google Drive` if using the LLaMA 2 version).\n\n*It'll take some time (from 10 minutes to a couple of hours, depending on how many examples you generate), but soon, you'll have your fine-tuned model!*\n\n3. After your model is trained, you can use the `Run Inference` cell (on the LLaMA 2 version) or the `Let's try it out!` cell (on the GPT-3.5 version) to test the model, and the cells below that allow you to save and load the model to and from Google Drive for later use if you are using the LLaMA version. If you're using the OpenAI version, your model will be available for use via the API or in the OpenAI Playground.\n\n## Contributions are welcome! Some ideas:\n- improve the example generation pipeline for efficiency\u002Fcost reduction (using n=)\n- add additional example generation prompts to create more diverse examples\n- add example pruning, removing very similar examples to improve performance\n- use GPT-4 to automatically choose the training hyperparameters (and potentially, even the model to fine-tune!) based on a few examples + high-level dataset details (i.e. number of examples)\n- train multiple model variants and choose the one with the lowest eval loss\n\n## Huge shoutout to [Maxime Labonne](https:\u002F\u002Ftwitter.com\u002Fmaximelabonne) for the training code that was used in this repo!\n\n## License\n\nThis project is [MIT](https:\u002F\u002Fgithub.com\u002Fmshumer\u002Fgpt-llm-trainer\u002Fblob\u002Fmaster\u002FLICENSE) licensed.\n\n## Contact\n\nMatt Shumer - [@mattshumer_](https:\u002F\u002Ftwitter.com\u002Fmattshumer_)\n\nLastly, if you want to try something even cooler than this, sign up for [Personal Assistant](https:\u002F\u002Fwww.hyperwriteai.com\u002Fpersonal-assistant) (most of my time is spent on this). It's basically an AI that can operate your web browser to complete tasks for you.\n\nHead to [ShumerPrompt](https:\u002F\u002Fshumerprompt.com), my \"Github for Prompts\"!\n","# gpt-llm-trainer\n[![Twitter 关注](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fmattshumer_?style=social)](https:\u002F\u002Ftwitter.com\u002Fmattshumer_)\n\n新增：Claude 3 -> LLaMA 2 7B 微调版本：[![在 Colab 中打开 Claude -> LLaMA 版本](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1eLe0t8Alu997w5Ewnw9mE96dtaC-qEho?usp=sharing)\n\nLLaMA 2 7B 微调版本：[![在 Colab 中打开 LLaMA 版本](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1mV9sAY4QBKLmS58dpFGHgwCXQKRASR31?usp=sharing)\n\nGPT-3.5 微调版本：[![在 Colab 中打开 GPT-3.5 版本](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1NLqxHHCv3kFyw45t8k_CUfNlcepMdeDW?usp=sharing)\n\n## 概述\n\n训练模型是一件很困难的事情。你需要收集数据集、清洗数据、将其转换为合适的格式，选择一个模型，编写训练代码并进行训练。而这还只是最理想的情况。\n\n本项目的目的是探索一种全新的实验性流程，以训练出高性能的任务特定模型。我们试图将所有复杂性抽象化，让从想法到最终性能优越的完整训练模型的过程尽可能简单。\n\n**只需输入你的任务描述，系统便会从零开始生成数据集，将其解析为正确格式，并为你微调一个 LLaMA 2 或 GPT-3.5 模型。**\n\n## 功能\n\n- **数据集生成**：借助 Claude 3 或 GPT-4，`gpt-llm-trainer` 将根据你提供的用例生成多种提示和响应。\n  \n- **系统提示生成**：`gpt-llm-trainer` 会为你的模型生成一个有效的系统提示。\n\n- **微调**：数据集生成完成后，系统会自动将其划分为训练集和验证集，为你微调模型，并使其准备好用于推理。\n\n## 设置\n1. 在 Google Colab 中打开笔记本（[链接](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1mV9sAY4QBKLmS58dpFGHgwCXQKRASR31?usp=sharing)）或在本地 Jupyter 笔记本中打开。\n\n2. 如果你在使用 Colab，请切换到最佳可用 GPU（前往“运行时”->“更改运行时类型”）。\n\n3. 将你的 OpenAI API 密钥添加到 `openai.api_key = \"YOUR KEY HERE\"` 这一行。\n\n## 使用方法\n\n1. 定义你的 `prompt`。`prompt` 是对你希望训练后的 AI 执行的任务的描述。越详细、越清晰越好。此外，还需设置我们将用于生成数据集的温度（高=创造性，低=精确）以及你希望生成的示例数量（100 个是一个不错的起点）。\n\n例如：\n```\nprompt = \"一个能够接收英文的谜题式、重逻辑推理问题，并用西班牙语给出条理清晰、逐步推导的回答的模型。\"\ntemperature = .4\nnumber_of_examples = 100\n```\n\n2. 运行所有单元格（如果使用 LLaMA 2 版本，则在 `合并模型并存储到 Google Drive` 处停止）。\n\n*这需要一些时间（从 10 分钟到几个小时不等，具体取决于你生成的示例数量），但很快，你就会拥有自己微调好的模型！*\n\n3. 模型训练完成后，你可以使用 LLaMA 2 版本中的 `运行推理` 单元格，或 GPT-3.5 版本中的 `让我们试一试！` 单元格来测试模型；下方的单元格则允许你将模型保存到 Google Drive 或从中加载，以便日后使用（仅适用于 LLaMA 版本）。如果你使用的是 OpenAI 版本，你的模型将可以通过 API 或 OpenAI Playground 直接使用。\n\n## 欢迎贡献！以下是一些想法：\n- 改进示例生成流程，以提高效率并降低成本（例如使用 n= 参数）；\n- 添加更多示例生成提示，以创建更丰富的示例；\n- 增加示例修剪功能，移除过于相似的示例以提升性能；\n- 使用 GPT-4 根据少量示例和数据集的高层次信息（如示例数量）自动选择训练超参数，甚至可能自动选择要微调的模型；\n- 训练多个模型变体，并选择评估损失最低的那个。\n\n## 特别鸣谢 [Maxime Labonne](https:\u002F\u002Ftwitter.com\u002Fmaximelabonne)，感谢他为本项目提供的训练代码！\n\n## 许可证\n\n本项目采用 [MIT 许可证](https:\u002F\u002Fgithub.com\u002Fmshumer\u002Fgpt-llm-trainer\u002Fblob\u002Fmaster\u002FLICENSE)。\n\n## 联系方式\n\nMatt Shumer - [@mattshumer_](https:\u002F\u002Ftwitter.com\u002Fmattshumer_)\n\n最后，如果你想尝试比这个更酷的东西，可以注册 [Personal Assistant](https:\u002F\u002Fwww.hyperwriteai.com\u002Fpersonal-assistant)（我大部分时间都花在这个项目上）。它本质上是一个能够操作你的浏览器帮你完成任务的 AI。\n\n欢迎访问 [ShumerPrompt](https:\u002F\u002Fshumerprompt.com)，我的“提示 GitHub”！","# gpt-llm-trainer 快速上手指南\n\n`gpt-llm-trainer` 是一个实验性项目，旨在简化大语言模型（LLM）的微调流程。只需输入任务描述，系统即可自动生成数据集、构建系统提示词，并自动微调 LLaMA 2 或 GPT-3.5 模型。\n\n## 环境准备\n\n本项目主要基于 **Google Colab** 运行，无需在本地配置复杂的深度学习环境。\n\n*   **运行平台**：推荐使用 Google Colab（需具备网络访问条件）。也可在本地 Jupyter Notebook 运行，但需自行配置 GPU 环境。\n*   **硬件要求**：\n    *   若使用 Colab：请在菜单栏点击 `运行时 (Runtime)` -> `更改运行时类型 (Change runtime type)`，选择 **T4 GPU** 或更高性能的 GPU。\n    *   若本地运行：需要配备支持 CUDA 的 NVIDIA GPU。\n*   **前置依赖**：\n    *   **API Key**：需要准备 OpenAI API Key（用于生成数据集和微调 GPT-3.5）或 Anthropic API Key（若使用 Claude 版本）。\n    *   **Google 账号**：用于保存微调后的模型文件（LLaMA 版本）。\n\n## 安装步骤\n\n本项目无需传统的 `pip install` 安装过程，直接通过云端笔记本启动即可。\n\n1.  **打开 Notebook**\n    根据需求选择以下任一链接在浏览器中打开：\n    *   **LLaMA 2 7B 微调版**（推荐本地部署用户）:\n        [Open LLaMA Version In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1mV9sAY4QBKLmS58dpFGHgwCXQKRASR31?usp=sharing)\n    *   **GPT-3.5 微调版**（推荐 API 调用用户）:\n        [Open GPT-3.5 Version In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1NLqxHHCv3kFyw45t8k_CUfNlcepMdeDW?usp=sharing)\n    *   **Claude 3 -> LLaMA 2 版**:\n        [Open Claude -> LLaMA Version In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1eLe0t8Alu997w5Ewnw9mE96dtaC-qEho?usp=sharing)\n\n2.  **配置 API Key**\n    在代码单元格中找到以下行，并将 `\"YOUR KEY HERE\"` 替换为你的实际密钥：\n    ```python\n    openai.api_key = \"YOUR KEY HERE\"\n    ```\n\n3.  **切换 GPU（仅限 Colab）**\n    确保已按照“环境准备”中的步骤，将运行时类型更改为 GPU。\n\n## 基本使用\n\n以下是使用 LLaMA 2 或 GPT-3.5 版本进行微调的最简流程：\n\n### 1. 定义任务参数\n在对应的代码单元格中，设置你的任务描述、生成数据的温度值（创造性）以及示例数量。\n\n```python\nprompt = \"A model that takes in a puzzle-like reasoning-heavy question in English, and responds with a well-reasoned, step-by-step thought out response in Spanish.\"\ntemperature = .4\nnumber_of_examples = 100\n```\n*   `prompt`: 清晰描述你希望训练后的 AI 完成什么任务。\n*   `temperature`: 控制数据生成的多样性（高=更有创意，低=更精准）。\n*   `number_of_examples`: 生成训练样本的数量（建议从 100 开始）。\n\n### 2. 执行训练\n依次运行 Notebook 中的所有代码单元格。\n*   **注意**：如果是 LLaMA 2 版本，运行到 `Merge the model and store in Google Drive` 这一步时停止即可。\n*   **耗时**：根据生成的示例数量，整个过程可能需要 10 分钟到数小时不等。\n\n### 3. 测试与使用\n训练完成后，根据版本不同进行测试：\n\n*   **LLaMA 2 版本**：\n    运行 `Run Inference` 单元格直接在当前环境测试模型。\n    后续可通过提供的代码将模型保存至 Google Drive 或从 Drive 加载，以便离线使用。\n\n*   **GPT-3.5 版本**：\n    运行 `Let's try it out!` 单元格进行测试。\n    微调后的模型将通过 OpenAI API 可用，你也可以在 OpenAI Playground 中选择该模型进行交互。","一家初创教育科技公司希望快速推出一个能针对英文逻辑谜题进行西班牙语分步推理讲解的 AI 辅导功能，但团队缺乏专门的机器学习工程师。\n\n### 没有 gpt-llm-trainer 时\n- **数据构建耗时**：团队需手动收集或编写数百组高质量的“英文谜题 - 西班牙语推理”配对数据，清洗和格式化过程极其繁琐且容易出错。\n- **技术门槛过高**：开发人员必须自行研究 LLaMA 2 的微调代码、配置训练超参数并处理复杂的分布式训练环境，试错成本极高。\n- **提示词工程困难**：难以凭经验设计出能让模型稳定输出“逐步推理”风格的系统提示词（System Message），导致模型回答往往过于简略。\n- **迭代周期漫长**：从构思想法到获得第一个可测试的微调模型，通常需要数周时间，严重拖慢产品验证节奏。\n\n### 使用 gpt-llm-trainer 后\n- **自动化数据生成**：只需输入任务描述，gpt-llm-trainer 即可调用大模型自动生成 100+ 条格式标准、内容多样的训练样本，瞬间完成数据集构建。\n- **全流程一键微调**：工具自动分割训练\u002F验证集并执行微调脚本，开发者无需编写底层训练代码，直接在 Colab 中运行即可获得专属模型。\n- **智能系统提示优化**：gpt-llm-trainer 会自动生成最优的系统提示词，确保模型严格遵循“分步推理”的回答模式，显著提升输出质量。\n- **极速原型验证**：从想法提出到拥有可推理的西班牙语辅导模型，全过程缩短至几十分钟，让团队能当天完成产品概念验证。\n\ngpt-llm-trainer 将原本需要专业团队数周完成的模型定制工作，转化为普通人几分钟即可完成的自动化流程，极大降低了垂直领域 AI 应用的落地门槛。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmshumer_gpt-llm-trainer_31da343f.png","mshumer","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmshumer_b4fba166.png","https:\u002F\u002Fgithub.com\u002Fmshumer",[76],{"name":77,"color":78,"percentage":79},"Jupyter Notebook","#DA5B0B",100,4168,553,"2026-04-06T13:11:18","MIT","未说明","必需。建议使用 Google Colab 提供的最佳可用 GPU（通常为 NVIDIA T4, V100 或 A100），具体显存和 CUDA 版本取决于 Colab 运行时环境配置，本地运行需自行配置兼容的 NVIDIA GPU。","未说明（取决于 Colab 实例或本地环境）",{"notes":88,"python":84,"dependencies":89},"该项目主要通过 Google Colab 笔记本运行，无需复杂的本地环境搭建。用户需提供 OpenAI API Key 用于数据集生成。若使用 LLaMA 2 版本进行微调，需注意模型权重存储及 Google Drive 的挂载。训练时间根据生成的示例数量从 10 分钟到数小时不等。",[90,91,92,93,94,95],"openai","transformers","datasets","peft","accelerate","bitsandbytes",[35,14,16],"2026-03-27T02:49:30.150509","2026-04-07T04:00:27.977127",[100,105,109,114,119,123],{"id":101,"question_zh":102,"answer_zh":103,"source_url":104},20873,"如何修改代码以使用 GPT-3.5 或其他开源模型（如 Llama-2）代替 GPT-4？","由于大多数用户无法访问 GPT-4，您可以修改代码使用其他模型。例如，使用 Llama-2-7b-chat-hf 模型的配置代码如下：\n\n1. 设置模型名称：`model_name = \"meta-llama\u002FLlama-2-7b-chat-hf\"`\n2. 准备 Hugging Face 访问令牌：`access_token = \"hf_YOUR_TOKEN_HERE\"`\n3. 加载模型时使用量化配置和设备映射：\n```python\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_name,\n    use_auth_token=access_token,\n    quantization_config=bnb_config,\n    device_map=device_map\n)\n```\n如果遇到权限错误，请确保传递了具有仓库访问权限的 token 或使用 `huggingface-cli login` 登录。","https:\u002F\u002Fgithub.com\u002Fmshumer\u002Fgpt-llm-trainer\u002Fissues\u002F9",{"id":106,"question_zh":107,"answer_zh":108,"source_url":104},20874,"遇到 OSError 提示模型不是本地文件夹或无效标识符（如 NousResearch\u002Fllama-2-7b-chat-hf）该怎么办？","该错误通常是因为模型是私有仓库或未正确认证。解决方法如下：\n1. 确保您拥有该模型的访问权限。\n2. 在代码中传递具有权限的 token：`use_auth_token=\"your_token\"`。\n3. 或者先在命令行登录：`huggingface-cli login`，然后在代码中设置 `use_auth_token=True`。\n如果是自定义分片模型报错，请检查模型路径和配置文件是否完整。",{"id":110,"question_zh":111,"answer_zh":112,"source_url":113},20875,"如何使用 GPT-2 进行文本生成？原始代码使用 torch.argmax 效果不佳，有推荐的实现方式吗？","建议使用 Hugging Face Transformers 库自带的 `generate` 方法，而不是手动循环使用 `torch.argmax`。以下是推荐代码：\n\n```python\npip install torch\npip install transformers\n\nimport torch\nfrom transformers import GPT2Tokenizer, GPT2LMHeadModel\n\ntokenizer = GPT2Tokenizer.from_pretrained(\"gpt2\")\nmodel = GPT2LMHeadModel.from_pretrained(\"gpt2\")\ngenerated = tokenizer.encode(\"The Manhattan bridge\", return_tensors='pt')\n\noutput_sequences = model.generate(\n    input_ids=generated,\n    max_length=150,\n    num_return_sequences=1,\n    no_repeat_ngram_size=2,\n    temperature=0.7,\n    top_k=50,\n    top_p=0.95,\n    pad_token_id=tokenizer.eos_token_id\n)\n\ntext = tokenizer.decode(output_sequences[0], skip_special_tokens=True)\nprint(text)\n```\n注意：您可以调整 `temperature` 等参数以获得更好的生成效果。","https:\u002F\u002Fgithub.com\u002Fmshumer\u002Fgpt-llm-trainer\u002Fissues\u002F26",{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},20876,"运行代码时提示 \"InvalidRequestError: The model `gpt-4` does not exist or you do not have access to it\" 如何解决？","此错误表示您的 OpenAI 账户尚未获得 GPT-4 的访问权限，或者 API 密钥配置有误。解决方法：\n1. 确认您的 OpenAI 账户已获批使用 GPT-4（需查看官方帮助文档：https:\u002F\u002Fhelp.openai.com\u002Fen\u002Farticles\u002F7102672-how-can-i-access-gpt-4）。\n2. 如果暂无权限，可考虑降级使用 GPT-3.5-turbo 模型，或在代码中替换为本地开源模型（如 Llama-2、GPT-2 等）。\n3. 检查环境变量或代码中的 API Key 是否正确设置。","https:\u002F\u002Fgithub.com\u002Fmshumer\u002Fgpt-llm-trainer\u002Fissues\u002F10",{"id":120,"question_zh":121,"answer_zh":122,"source_url":104},20877,"在没有 GPT-4 访问权限的情况下，如何通过增加示例数量来平衡模型能力差异？","虽然无法直接提升小模型的能力上限，但可以通过“少样本学习”（Few-Shot Learning）策略，在提示词（Prompt）中提供双倍的示例（examples）来引导模型输出更高质量的结果。具体做法是在输入给模型的上下文中，将原本的单组示例扩展为两组或多组结构相似的示范数据，帮助模型更好地理解任务模式。结合使用较小的温度值（temperature \u003C 0.7）可进一步提高稳定性。",{"id":124,"question_zh":125,"answer_zh":126,"source_url":113},20878,"安装依赖时需要注意哪些事项以确保文本生成代码正常运行？","确保已安装以下核心依赖包：\n```bash\npip install torch\npip install transformers\n```\n此外，若使用量化加载大模型（如 Llama-2），还需安装 `bitsandbytes` 并配置 GPU 环境。对于 Hugging Face 私有模型，务必提前执行 `huggingface-cli login` 或在代码中传入有效的 `use_auth_token`。",[]]