[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-rasbt--LLM-workshop-2024":3,"tool-rasbt--LLM-workshop-2024":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",152630,2,"2026-04-12T23:33:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":72,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":92,"env_deps":94,"category_tags":99,"github_topics":100,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":104,"updated_at":105,"faqs":106,"releases":117},7076,"rasbt\u002FLLM-workshop-2024","LLM-workshop-2024","A 4-hour coding workshop to understand how LLMs are implemented and used","LLM-workshop-2024 是一个专为开发者设计的 4 小时实战编程工作坊，旨在帮助大家从零开始深入理解大语言模型（LLM）的内部原理与实现细节。它解决了当前许多技术人员仅会调用 API 却不懂模型底层架构的痛点，通过手把手教学，让用户亲自编写代码构建一个类 GPT 模型。\n\n该资源非常适合希望掌握 LLM 核心技术的程序员、AI 工程师及研究人员。内容涵盖从数据输入管道（分词器与 DataLoader）、核心架构组件组装，到模型预训练及加载开源权重（如 Llama、Mistral 等）的全流程。其独特亮点在于结合了作者 Sebastian Raschka 的《从头构建大语言模型》一书理论与 Lightning AI 的 LitGPT 开源库，既保证了教学的系统性，又提供了可实际运行的高效代码。\n\n此外，LLM-workshop-2024 提供了配置完善的云端开发环境，用户无需在本地繁琐配置即可直接利用 GPU 运行预训练和微调实验。通过六个循序渐进的模块，学习者不仅能明白模型如何工作，还能掌握使用现代工具链对模型进行指令微调的实用技能，是通往大模型深度开发的优质入门路径。","# Pretraining and Finetuning LLMs from the Ground Up\n\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002Fquh7z1q7-uc?si=74AUYaVAgjumTHGM\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Frasbt_LLM-workshop-2024_readme_1e4e558c41d9.jpg\" width=500>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n## Overview\n\nThis tutorial is aimed at coders interested in understanding the building blocks of large language models (LLMs), how LLMs work, and how to code them from the ground up in PyTorch. We will kick off this tutorial with an introduction to LLMs, recent milestones, and their use cases. Then, we will code a small GPT-like LLM, including its data input pipeline, core architecture components, and pretraining code ourselves. After understanding how everything fits together and how to pretrain an LLM, we will learn how to load pretrained weights and finetune LLMs using open-source libraries.\n\n\n**The code material is based on my [Build a Large Language Model From Scratch](http:\u002F\u002Fmng.bz\u002ForYv) book and also uses the [LitGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt) library.**\n\n\u003Cbr>\n\n## Setup instructions\n\nA ready-to-go cloud environment, complete with all code examples and dependencies installed, is available [here](https:\u002F\u002Flightning.ai\u002Flightning-ai\u002Fstudios\u002Fllms-from-the-ground-up-workshop?section=recent&view=public). This enables participants to run all code, particularly in the pretraining and finetuning sections, on a GPU.\n\n\n\u003Cdiv align=\"center\">\n\u003Cbr>\n\n\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Flightning.ai\u002Flightning-ai\u002Fstudios\u002Fllms-from-the-ground-up-workshop\">\n  \u003Cimg src=\"https:\u002F\u002Fpl-bolts-doc-images.s3.us-east-2.amazonaws.com\u002Fapp-2\u002Fstudio-badge.svg\" alt=\"Open In Studio\"\u002F>\n\u003C\u002Fa>\n\n\u003Cbr>\n\u003Cbr>\n\u003Cbr>\n\n\u003C\u002Fdiv>\n\nIn addition, see the instructions in the [setup](.\u002Fsetup) folder to set up your computer to run the code locally.\n\n## Outline\n\n|      | Title                        | Description                                                  | Folder                               |\n| ---- | ---------------------------- | ------------------------------------------------------------ | ------------------------------------ |\n| 1    | Introduction to LLMs         | An introduction to the workshop introducing LLMs, the topics being covered in this workshop, and setup instructions. | [01_intro](01_intro)                 |\n| 2    | Understanding LLM Input Data | In this section, we are coding the text input pipeline by implementing a text tokenizer and a custom PyTorch DataLoader for our LLM | [02_data](02_data)                   |\n| 3    | Coding an LLM architecture   | In this section, we will go over the individual building blocks of LLMs and assemble them in code. We will not cover all modules in meticulous detail but will focus on the bigger picture and how to assemble them into a GPT-like model. | [03_architecture](03_architecture)   |\n| 4    | Pretraining LLMs             | In part 4, we will cover the pretraining process of LLMs and implement the code to pretrain the model architecture we implemented previously. Since pretraining is expensive, we will only pretrain it on a small text sample available in the public domain so that the LLM is capable of generating some basic sentences. | [04_pretraining](04_pretraining)     |\n| 5    | Loading pretrained weights   | Since pretraining is a long and expensive process, we will now load pretrained weights into our self-implemented architecture. Then, we will introduce the LitGPT open-source library, which provides more sophisticated (but still readable) code for training and finetuning LLMs. We will learn how to load weights of pretrained LLMs (Llama, Phi, Gemma, Mistral) in LitGPT. | [05_weightloading](05_weightloading) |\n| 6    | Finetuning LLMs              | This section will introduce LLM finetuning techniques, and we will prepare a small dataset for instruction finetuning, which we will then use to finetune an LLM in LitGPT. | [06_finetuning](06_finetuning)       |\n\n(The code material is based on my [Build a Large Language Model From Scratch](http:\u002F\u002Fmng.bz\u002ForYv) book and also uses the [LitGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt) library.)\n\n","# 从头开始预训练和微调大型语言模型\n\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002Fquh7z1q7-uc?si=74AUYaVAgjumTHGM\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Frasbt_LLM-workshop-2024_readme_1e4e558c41d9.jpg\" width=500>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n## 概述\n\n本教程面向对大型语言模型（LLMs）的构建模块、工作原理以及如何使用 PyTorch 从头开始实现它们感兴趣的开发者。我们将从介绍 LLM、近期的重要里程碑及其应用场景入手，随后亲手编写一个小型的类 GPT 模型，包括数据输入管道、核心架构组件以及预训练代码。在理解了各个部分的协作方式及如何进行 LLM 的预训练后，我们还将学习如何加载预训练权重，并利用开源库对 LLM 进行微调。\n\n\n**本教程中的代码基于我的著作《从零构建大型语言模型》（http:\u002F\u002Fmng.bz\u002ForYv），并结合了 LitGPT 库。**\n\n\u003Cbr>\n\n## 设置说明\n\n一个开箱即用的云端环境，其中包含了所有代码示例及依赖项，现已上线[此处](https:\u002F\u002Flightning.ai\u002Flightning-ai\u002Fstudios\u002Fllms-from-the-ground-up-workshop?section=recent&view=public)。该环境配备了 GPU，使参与者能够顺利运行所有代码，尤其是在预训练和微调部分。\n\n\u003Cdiv align=\"center\">\n\u003Cbr>\n\n\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Flightning.ai\u002Flightning-ai\u002Fstudios\u002Fllms-from-the-ground-up-workshop\">\n  \u003Cimg src=\"https:\u002F\u002Fpl-bolts-doc-images.s3.us-east-2.amazonaws.com\u002Fapp-2\u002Fstudio-badge.svg\" alt=\"在 Studio 中打开\"\u002F>\n\u003C\u002Fa>\n\n\u003Cbr>\n\u003Cbr>\n\u003Cbr>\n\n\u003C\u002Fdiv>\n\n此外，请参阅 [setup](.\u002Fsetup) 文件夹中的说明，以在本地计算机上设置运行代码的环境。\n\n## 大纲\n\n|      | 标题                        | 描述                                                  | 文件夹                               |\n| ---- | ---------------------------- | ------------------------------------------------------------ | ------------------------------------ |\n| 1    | LLM 简介         | 本节介绍研讨会内容，包括 LLM 的概述、本次研讨会涵盖的主题以及设置说明。 | [01_intro](01_intro)                 |\n| 2    | 理解 LLM 输入数据 | 在这一部分，我们将通过实现文本分词器和自定义 PyTorch DataLoader 来构建 LLM 的文本输入管道。 | [02_data](02_data)                   |\n| 3    | 编写 LLM 架构   | 本节将逐一讲解 LLM 的各个组成部分，并将其整合为代码实现。我们不会对每个模块进行过于细致的剖析，而是着眼于整体架构，以及如何将其组装成一个类 GPT 的模型。 | [03_architecture](03_architecture)   |\n| 4    | 预训练 LLMs             | 第四部分将介绍 LLM 的预训练流程，并实现用于预训练先前搭建的模型架构的代码。由于预训练成本较高，我们仅会在公开可用的小规模文本数据集上进行预训练，以便让模型能够生成一些基础句子。 | [04_pretraining](04_pretraining)     |\n| 5    | 加载预训练权重   | 由于预训练过程耗时且昂贵，我们将在此步骤中把预训练好的权重加载到自己实现的架构中。接着，我们会介绍 LitGPT 开源库，它提供了更为复杂但仍然易于理解的代码来训练和微调 LLM。我们将学习如何在 LitGPT 中加载 Llama、Phi、Gemma 和 Mistral 等预训练模型的权重。 | [05_weightloading](05_weightloading) |\n| 6    | 微调 LLMs              | 本节将介绍 LLM 的微调技术，并准备一份用于指令微调的小型数据集，随后使用 LitGPT 对 LLM 进行微调。 | [06_finetuning](06_finetuning)       |\n\n（本教程中的代码基于我的著作《从零构建大型语言模型》（http:\u002F\u002Fmng.bz\u002ForYv），并结合了 LitGPT 库。）","# LLM-workshop-2024 快速上手指南\n\n本指南旨在帮助开发者从零开始理解大语言模型（LLM）的构建模块、工作原理，并使用 PyTorch 亲手代码实现。内容涵盖从数据管道、架构搭建、预训练到使用 LitGPT 库进行权重加载和微调的全流程。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**：Linux, macOS, 或 Windows (推荐 WSL2)\n- **硬件**：\n  - **本地运行**：建议使用配备 NVIDIA GPU 的机器以加速预训练和微调过程（CPU 亦可运行小型示例，但速度较慢）。\n  - **云端运行**：若无本地 GPU，可直接使用提供的云端环境（无需本地配置）。\n- **软件依赖**：\n  - Python 3.8+\n  - PyTorch (支持 CUDA)\n  - Git\n\n### 前置依赖\n确保已安装以下基础工具：\n- `git`\n- `python3`\n- `pip`\n\n## 安装步骤\n\n你可以选择**云端一键启动**或**本地手动安装**。\n\n### 方案一：云端环境（推荐，无需配置）\n该项目提供了配置好所有依赖和代码的 Lightning Studio 环境，可直接在浏览器中运行 GPU 代码。\n\n1. 点击以下链接打开环境：\n   [Open in Lightning Studio](https:\u002F\u002Flightning.ai\u002Flightning-ai\u002Fstudios\u002Fllms-from-the-ground-up-workshop)\n2. 登录\u002F注册 Lightning AI 账号。\n3. 点击 \"Run\" 启动工作室，所有依赖已自动安装完毕。\n\n### 方案二：本地安装\n若需在本地运行，请按照以下步骤操作：\n\n1. **克隆仓库**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FLightning-AI\u002FLLM-workshop-2024.git\n   cd LLM-workshop-2024\n   ```\n\n2. **创建虚拟环境**\n   ```bash\n   python3 -m venv venv\n   source venv\u002Fbin\u002Factivate  # Windows 用户请使用: venv\\Scripts\\activate\n   ```\n\n3. **安装依赖**\n   进入 `setup` 目录并执行安装脚本（参考项目内的具体指令）：\n   ```bash\n   pip install -r requirements.txt\n   ```\n   *注：若下载速度慢，可临时使用国内镜像源加速：*\n   ```bash\n   pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n\n4. **验证安装**\n   确保 PyTorch 能识别 GPU（可选）：\n   ```python\n   python -c \"import torch; print(torch.cuda.is_available())\"\n   ```\n\n## 基本使用\n\n本教程按模块顺序进行，建议依次执行各文件夹中的 Notebook 或脚本。\n\n### 1. 入门与数据准备 (01_intro & 02_data)\n首先了解 LLM 基础并构建文本输入管道（分词器与 DataLoader）。\n```bash\n# 进入对应目录运行示例 (以 Jupyter 或 Python 脚本为例)\ncd 02_data\npython create_dataloader.py\n```\n\n### 2. 构建 LLM 架构 (03_architecture)\n手动实现 GPT -like 模型的核心组件。\n```bash\ncd ..\u002F03_architecture\npython model.py\n```\n\n### 3. 模型预训练 (04_pretraining)\n在小规模公开文本数据上预训练你刚刚构建的模型。\n```bash\ncd ..\u002F04_pretraining\npython train.py\n```\n*注意：此处仅用于演示原理，训练数据量很小，生成的句子较为基础。*\n\n### 4. 加载预训练权重与微调 (05_weightloading & 06_finetuning)\n学习如何加载开源模型（如 Llama, Mistral 等）的权重，并使用 LitGPT 库进行指令微调。\n\n**加载权重示例：**\n```bash\ncd ..\u002F05_weightloading\npython load_weights.py\n```\n\n**指令微调示例：**\n准备数据集并启动微调流程：\n```bash\ncd ..\u002F06_finetuning\npython finetune_lora.py\n```\n\n通过以上步骤，你将完整经历从“手写一个迷你 LLM\"到“利用工业级库微调大模型”的全过程。详细代码逻辑请参阅各文件夹内的注释及配套书籍《Build a Large Language Model From Scratch》。","某初创公司的算法工程师团队急需定制一款垂直领域的客服大模型，但团队成员虽熟悉 PyTorch 却对 LLM 内部构造和微调流程缺乏系统性实战经验。\n\n### 没有 LLM-workshop-2024 时\n- 团队成员只能零散地阅读论文或调用黑盒 API，无法理解 Tokenizer、注意力机制等核心组件的代码实现细节。\n- 尝试从头预训练模型时，因缺乏标准数据管道和架构参考，导致代码报错频发且难以定位底层逻辑错误。\n- 面对昂贵的预训练成本束手无策，不知道如何高效加载 Llama 或 Mistral 等开源模型的权重进行迁移学习。\n- 在指令微调阶段，因不熟悉数据处理格式和微调策略，花费数周时间摸索仍无法让模型准确响应业务指令。\n- 过度依赖外部封装库，一旦遇到显存溢出或收敛困难等问题，缺乏从底层原理出发进行调试和优化的能力。\n\n### 使用 LLM-workshop-2024 后\n- 通过亲手编写从分词到 DataLoader 的全流程代码，团队彻底掌握了 LLM 输入数据的处理机制与架构组装逻辑。\n- 依据工作坊提供的标准预训练代码，在小样本上成功跑通了自研 GPT 类模型的训练闭环，验证了架构正确性。\n- 学会了利用 LitGPT 库快速加载主流 pretrained 权重，将原本需要数月的预训练过程跳过，直接进入适配阶段。\n- 掌握了构建指令数据集的标准方法，并在 4 小时内完成了针对客服场景的模型微调，显著提升了回答准确率。\n- 具备了从底层源码级排查问题的能力，能够独立解决训练过程中的技术瓶颈，不再盲目依赖外部支持。\n\nLLM-workshop-2024 将抽象的大模型理论转化为可执行的代码实战，帮助开发者在极短时间内建立起从“从零构建”到“高效微调”的完整工程能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Frasbt_LLM-workshop-2024_1e4e558c.jpg","rasbt","Sebastian Raschka","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Frasbt_4eb76c31.jpg","AI Research Engineer working on LLMs.",null,"https:\u002F\u002Fsebastianraschka.com","https:\u002F\u002Fgithub.com\u002Frasbt",[80,84],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",75.7,{"name":85,"color":86,"percentage":87},"Python","#3572A5",24.3,1082,381,"2026-04-12T14:09:24","Apache-2.0","未说明","预训练和微调部分需要 GPU（推荐在云端环境运行），具体型号、显存大小及 CUDA 版本未在文中明确说明",{"notes":95,"python":92,"dependencies":96},"本项目提供基于 Lightning AI Studio 的云端就绪环境，包含所有代码示例和已安装的依赖项，可直接在 GPU 上运行。若需在本地运行，请参考项目根目录下 'setup' 文件夹中的具体安装指令。代码内容基于《Build a Large Language Model From Scratch》一书。",[97,98],"PyTorch","LitGPT",[14,35],[101,102,103],"large-language-models","llm","pytorch","2026-03-27T02:49:30.150509","2026-04-13T17:42:54.979456",[107,112],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},31838,"为什么在 GPU 环境下运行代码时会报\"Expected all tensors to be on the same device\"错误？","这是因为模型已加载到 GPU，但输入的 token ID 仍在 CPU 上，导致设备不匹配。解决方法是在将 token ID 传入模型前，显式将其移动到指定设备。请将相关代码修改为：\n\nidx = text_to_token_ids(start_context, tokenizer).to(device)\n\n这样可以确保张量都在同一设备（如 cuda:0）上。","https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLM-workshop-2024\u002Fissues\u002F6",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},31839,"如何正确打印词汇表中的 token 及其对应的真实 ID？","建议使用直接解包字典项的方式遍历，而不是使用 enumerate()，因为后者返回的是索引而非真实的 token ID。推荐代码如下：\n\nfor token, id in vocab.items():\n    print(token, id)\n    if id > 50:\n        break\n\n注意：虽然这种方法更准确，但为了与视频教程中的代码保持一致以避免混淆，项目维护者可能选择保留原写法。如需修正，可自行调整或关注项目的勘误分支。","https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLM-workshop-2024\u002Fissues\u002F5",[]]