[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-VikParuchuri--zero_to_gpt":3,"tool-VikParuchuri--zero_to_gpt":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":73,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":32,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":103,"github_topics":104,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":109,"updated_at":110,"faqs":111,"releases":112},4606,"VikParuchuri\u002Fzero_to_gpt","zero_to_gpt","Go from no deep learning knowledge to implementing GPT.","zero_to_gpt 是一门专为零基础学习者设计的深度学习实战课程，旨在引导用户从完全不懂深度学习开始，逐步掌握并亲手实现自己的 GPT 模型。它解决了人工智能领域理论与应用脱节的痛点，通过平衡数学原理与代码实践，帮助学习者真正理解而非仅仅调用现成库。\n\n该项目非常适合具备基础 Python 编程能力（熟悉循环、函数和类）的开发者、学生或希望转型 AI 的技术人员。如果你渴望深入理解大语言模型背后的机制，而不仅仅是使用 API，那么 zero_to_gpt 是理想的入门路径。\n\n其独特亮点在于“从零构建”的教学理念：课程不依赖黑盒框架起步，而是带领用户用 NumPy 手写梯度下降、反向传播、全连接网络乃至循环神经网络（RNN），甚至迷你版 PyTorch 计算图，从而透彻理解模型训练的本质。在此基础上，再进阶到 Transformer 架构、GPU 编程和分布式训练等前沿主题。课程内容涵盖天气预测、机器翻译等真实场景问题，确保所学即所用。通过循序渐进的章节设计与可选视频辅助，zero_to_gpt 让复杂的深度学习变得可触达、可复现，为培养能独立训练和部署模型的实用型 AI 人才打下","zero_to_gpt 是一门专为零基础学习者设计的深度学习实战课程，旨在引导用户从完全不懂深度学习开始，逐步掌握并亲手实现自己的 GPT 模型。它解决了人工智能领域理论与应用脱节的痛点，通过平衡数学原理与代码实践，帮助学习者真正理解而非仅仅调用现成库。\n\n该项目非常适合具备基础 Python 编程能力（熟悉循环、函数和类）的开发者、学生或希望转型 AI 的技术人员。如果你渴望深入理解大语言模型背后的机制，而不仅仅是使用 API，那么 zero_to_gpt 是理想的入门路径。\n\n其独特亮点在于“从零构建”的教学理念：课程不依赖黑盒框架起步，而是带领用户用 NumPy 手写梯度下降、反向传播、全连接网络乃至循环神经网络（RNN），甚至迷你版 PyTorch 计算图，从而透彻理解模型训练的本质。在此基础上，再进阶到 Transformer 架构、GPU 编程和分布式训练等前沿主题。课程内容涵盖天气预测、机器翻译等真实场景问题，确保所学即所用。通过循序渐进的章节设计与可选视频辅助，zero_to_gpt 让复杂的深度学习变得可触达、可复现，为培养能独立训练和部署模型的实用型 AI 人才打下坚实基础。","# Zero to GPT\n\nThis course will take you from no knowledge of deep learning to training your own GPT model.  As AI moves out of the research lab, the world needs more people who can understand and apply it.  If you want to be one of them, this course is for you.\n\nThis course balances theory and application.  We’ll solve real problems, like predicting the weather and translating languages.  As we do so, we'll extensively cover theoretical building blocks like gradient descent and backpropagation.  This will prepare you to successfully train and use models in the real world.\n\nWe’ll start with the fundamentals - neural network architectures and training methods. Later in the course, we'll move to complex topics like transformers, GPU programming, and distributed training.\n\nYou'll need to understand Python to take this course, including for loops, functions, and classes.  The first part of [this Dataquest path](https:\u002F\u002Fwww.dataquest.io\u002Fpath\u002Fdata-scientist\u002F) will teach you what you need.\n\nTo use this course, go through each chapter sequentially.  Read the lessons or watch the optional videos - they have the same information.  Look through the implementations to solidify your understanding, and recreate them on your own.\n\n## Course Outline\n\n**0. Introduction**\n\nAn overview of the course and topics we'll cover.\n\n- [Course intro](explanations\u002Fintro.ipynb)\n- [Video](https:\u002F\u002Fyoutu.be\u002FC9FORlAlByo) (optional)\n\n**1. Math and NumPy fundamentals**\n\nThis is an optional lesson with a basic refresher on linear algebra and calculus for deep learning.  We'll use NumPy to apply the concepts.  If you're already familiar with these topics, you can skip this lesson.\n\n- [Lesson](explanations\u002Flinalg.ipynb)\n- [Video](https:\u002F\u002Fyoutu.be\u002F5zbTnOd_53g) (optional)\n\n**2. Gradient descent**\n\nGradient descent is how neural networks train their parameters to match the data.  It's the \"learning\" part of deep learning.\n\n- [Lesson](explanations\u002Flinreg.ipynb) \n- [Video](https:\u002F\u002Fyoutu.be\u002F-cs5D91eBLE) (optional)\n- [Implementation](notebooks\u002Flinreg\u002Flinreg.ipynb)\n\n**3. Dense networks**\n\nDense networks are the basic form of a neural network, where every input is connected to an output.  These can also be called fully connected networks.\n\n- [Lesson](explanations\u002Fdense.ipynb)\n- [Video](https:\u002F\u002Fyoutu.be\u002FMQzG1hfhow4) (optional)\n- [Implementation](notebooks\u002Fdense\u002Fdense.ipynb)\n\n**4. Classification with neural networks**\n\nClassification is how we get neural networks to categorize data for us.  Classification is used by language models like GPT to predict the next word in a sequence.\n\n- [Lesson](explanations\u002Fclassification.ipynb)\n- [Video](https:\u002F\u002Fyoutu.be\u002F71GtdWmznok) (optional)\n\n**5. Recurrent networks**\n\nRecurrent neural networks (RNNs) are optimized to process sequences of data.  They're used for tasks like translation and text classification.\n\n- [Lesson](explanations\u002Frnn.ipynb)\n- [Video](https:\u002F\u002Fyoutu.be\u002F4wuIOcD1LLI) (optional)\n- [Implementation](notebooks\u002Frnn\u002Frnn.ipynb)\n\n**6. Backpropagation in depth**\n\nSo far, we've taken a loose look at backpropagation to let us focus on understanding neural network architecture.  We'll build a miniature version of PyTorch, and use it to understand backpropagation better.\n\n- [Lesson](explanations\u002Fcomp_graph.ipynb)\n- [Video](https:\u002F\u002Fyoutu.be\u002FRyKrG8rTGUY) (optional)\n\n**7. Optimizers**\n\nWe've used SGD to update model parameters so far.  We'll learn about other optimizers that have better convergence properties.\n\n- [Lesson](explanations\u002Foptimizers.ipynb)\n- Video coming soon\n\n**8. Regularization**\n\nRegularization prevents overfitting to the training set.  This means that the network can generalize well to new data.\n\n- [Lesson](explanations\u002Fregularization.ipynb)\n- Video coming soon\n\n**9. PyTorch**\n\nPyTorch is a framework for deep learning that automatically differentiates functions.  It's widely used to create cutting-edge models.\n\n- [Lesson](explanations\u002Fpytorch.ipynb)\n- Video coming soon\n\n**10. Working with Text**\n\nGPT models are trained on text.  We'll learn how to process text data for use in deep learning.\n\n- [Lesson](explanations\u002Ftext.ipynb)\n- Video coming soon\n\n**11. Transformers**\n\nTransformers fix the problem of vanishing\u002Fexploding gradients in RNNs by using attention.  Attention allows the network to process the whole sequence at once, instead of iteratively.\n\n- Lesson coming soon\n- [Implementation](notebooks\u002Ftransformer\u002Ftransformer.ipynb)\n\n**12. Cleaning Text Data**\n\nIf you want to train a deep learning model, you need data.  Gigabytes of it.  We'll discuss how you can get this data and process it.\n\n- Lesson coming soon\n\n**13. Distributed Training**\n\nTo train large models, we need to use multiple GPUs.\n\n- Lesson coming soon\n\n**14. GPT-2**\n\nWe'll train a version of the popular GPT-2 model.\n\n- Lesson coming soon\n\n**15. GPU kernels**\n\nPyTorch can automatically use GPUs for training, but not all operators are fused and optimized.  For example, [flash attention](https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fflash-attention) can speed up transformers by 2x or more.  We'll use [OpenAI Triton](https:\u002F\u002Fgithub.com\u002Fopenai\u002Ftriton) to implement GPU kernels.\n\n- Lesson coming soon\n- Implementation coming soon\n\n**16. Efficient Transformers**\n\nGPT models take a long time to train.  We can reduce that time by using more GPUs, but we don't all have access to GPU clusters.  To reduce training time, we'll incorporate some recent advances to make the transformer model more efficient.\n\n- Lesson coming soon\n- [Implementation](notebooks\u002Feff_transformer\u002Feff_transformer.ipynb)\n\n**17. Training GPT-X**\n\nWe'll train GPT-X, a version of a GPT model with some optimizations and improvements.\n\n- Lesson coming soon\n- Implementation coming soon\n\n### More Chapters Coming Soon\n\n## Optional Chapters\n\n**Convolutional networks**\n\nConvolutional neural networks are used for working with images and time series.\n\n- Implementation: [Notebook](notebooks\u002Fcnn\u002Fcnn.ipynb) and [class](nnets\u002Fconv.py)\n\n**Gated recurrent networks**\n\nGated recurrent networks help RNNs process long sequences by helping networks forget irrelevant information.  LSTM and GRU are two popular types of gated networks.\n\n- [Implementation](notebooks\u002Fgru\u002Fgru.ipynb)\n\n**Encoders and decoders**\n\nEncoder\u002Fdecoders are used for NLP tasks when the output isn't the same length as the input.  For example, if you want to use questions\u002Fanswers as training data, the answers may be a different length than the question.\n\n- [Implementation](notebooks\u002Frnnencoder\u002Fencoder.ipynb)\n\n## Installation\n\nIf you want to run these notebooks locally, you'll need to install some Python packages.\n\n- Make sure you have Python 3.8 or higher installed.\n- Clone this repository.\n- Run `pip install -r requirements.txt`\n\n## License\n\nYou can use and adapt this material for your own courses, but not commercially.  You must provide attribution to `Vik Paruchuri, Dataquest` if you use this material.\n\n\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002F\">\u003Cimg alt=\"Creative Commons License\" style=\"border-width:0\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVikParuchuri_zero_to_gpt_readme_1f8182c1eb00.png\" \u002F>\u003C\u002Fa>\u003Cbr \u002F>This work is licensed under a \u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002F\">Creative Commons Attribution-NonCommercial 4.0 International License\u003C\u002Fa>.","# 从零开始构建GPT\n\n本课程将带你从零基础的深度学习知识，逐步掌握训练属于你自己的GPT模型。随着人工智能逐渐走出科研实验室，社会对能够理解并应用这一技术的人才需求日益增长。如果你希望成为这样的人，那么这门课程正是为你量身定制的。\n\n本课程注重理论与实践的平衡。我们将通过解决实际问题，例如天气预测和语言翻译，来深入理解相关技术。在解决问题的过程中，我们会详细讲解梯度下降、反向传播等核心理论知识，帮助你为在真实场景中成功训练和使用模型打下坚实的基础。\n\n课程将从神经网络的基本架构和训练方法开始，随后逐步深入到更复杂的主题，如Transformer模型、GPU编程以及分布式训练等。\n\n参加本课程需要具备Python基础知识，包括for循环、函数和类的使用。你可以通过[Dataquest的学习路径](https:\u002F\u002Fwww.dataquest.io\u002Fpath\u002Fdata-scientist\u002F)的第一部分来掌握这些内容。\n\n为了更好地学习本课程，请按照章节顺序依次进行。你可以阅读课程内容或观看可选的视频教程——两者包含相同的信息。仔细研究代码实现以巩固理解，并尝试自行复现这些示例。\n\n## 课程大纲\n\n**0. 引言**\n\n本节概述课程内容及我们将要探讨的主题。\n\n- [课程介绍](explanations\u002Fintro.ipynb)\n- [视频](https:\u002F\u002Fyoutu.be\u002FC9FORlAlByo)（可选）\n\n**1. 数学与NumPy基础**\n\n本节为可选内容，旨在对深度学习所需的线性代数和微积分进行简单回顾。我们将使用NumPy来实践这些概念。如果你已经熟悉这些内容，可以跳过本节。\n\n- [课程](explanations\u002Flinalg.ipynb)\n- [视频](https:\u002F\u002Fyoutu.be\u002F5zbTnOd_53g)（可选）\n\n**2. 梯度下降**\n\n梯度下降是神经网络调整参数以拟合数据的核心算法，也是深度学习中“学习”过程的关键所在。\n\n- [课程](explanations\u002Flinreg.ipynb)\n- [视频](https:\u002F\u002Fyoutu.be\u002F-cs5D91eBLE)（可选）\n- [实现](notebooks\u002Flinreg\u002Flinreg.ipynb)\n\n**3. 全连接网络**\n\n全连接网络是最基本的神经网络形式，其中每个输入都与输出相连，也称为密集层网络。\n\n- [课程](explanations\u002Fdense.ipynb)\n- [视频](https:\u002F\u002Fyoutu.be\u002FMQzG1hfhow4)（可选）\n- [实现](notebooks\u002Fdense\u002Fdense.ipynb)\n\n**4. 基于神经网络的分类**\n\n分类任务是让神经网络为我们对数据进行分组和归类的过程。像GPT这样的语言模型就是通过分类来预测序列中的下一个词。\n\n- [课程](explanations\u002Fclassification.ipynb)\n- [视频](https:\u002F\u002Fyoutu.be\u002F71GtdWmznok)（可选）\n\n**5. 循环神经网络**\n\n循环神经网络（RNN）专为处理序列数据而设计，广泛应用于翻译和文本分类等任务。\n\n- [课程](explanations\u002Frnn.ipynb)\n- [视频](https:\u002F\u002Fyoutu.be\u002F4wuIOcD1LLI)（可选）\n- [实现](notebooks\u002Frnn\u002Frnn.ipynb)\n\n**6. 反向传播详解**\n\n此前我们对反向传播的讲解较为简略，以便集中精力理解神经网络架构。接下来，我们将构建一个迷你版的PyTorch框架，借此更深入地理解反向传播机制。\n\n- [课程](explanations\u002Fcomp_graph.ipynb)\n- [视频](https:\u002F\u002Fyoutu.be\u002FRyKrG8rTGUY)（可选）\n\n**7. 优化器**\n\n到目前为止，我们一直使用随机梯度下降法（SGD）来更新模型参数。现在我们将学习其他具有更好收敛性能的优化器。\n\n- [课程](explanations\u002Foptimizers.ipynb)\n- 视频即将发布\n\n**8. 正则化**\n\n正则化用于防止模型过拟合训练数据，从而提升其泛化能力，使其能更好地适应新数据。\n\n- [课程](explanations\u002Fregularization.ipynb)\n- 视频即将发布\n\n**9. PyTorch框架**\n\nPyTorch是一个强大的深度学习框架，支持自动求导，被广泛用于构建前沿模型。\n\n- [课程](explanations\u002Fpytorch.ipynb)\n- 视频即将发布\n\n**10. 文本处理**\n\nGPT模型通常以文本数据进行训练。本节将介绍如何预处理文本数据，以便将其用于深度学习。\n\n- [课程](explanations\u002Ftext.ipynb)\n- 视频即将发布\n\n**11. Transformer模型**\n\nTransformer通过引入注意力机制，有效解决了RNN中梯度消失或爆炸的问题。注意力机制使网络能够一次性处理整个序列，而非逐个迭代。\n\n- 课程即将发布\n- [实现](notebooks\u002Ftransformer\u002Ftransformer.ipynb)\n\n**12. 文本数据清洗**\n\n训练深度学习模型需要大量的数据，往往以GB为单位。本节将讨论如何获取和处理这些数据。\n\n- 课程即将发布\n\n**13. 分布式训练**\n\n训练大型模型通常需要多块GPU协同工作。\n\n- 课程即将发布\n\n**14. GPT-2模型**\n\n我们将训练一个流行的GPT-2模型版本。\n\n- 课程即将发布\n\n**15. GPU内核优化**\n\n虽然PyTorch可以自动利用GPU加速训练，但并非所有操作都能得到充分优化。例如，[Flash Attention](https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fflash-attention)可以将Transformer的训练速度提升2倍以上。我们将使用[OpenAI Triton](https:\u002F\u002Fgithub.com\u002Fopenai\u002Ftriton)来实现自定义的GPU内核。\n\n- 课程即将发布\n- 实现即将发布\n\n**16. 高效Transformer模型**\n\n训练GPT模型通常耗时较长。虽然可以通过增加GPU数量来缩短时间，但并非所有人都能访问大规模GPU集群。因此，我们将结合最新的研究成果，进一步优化Transformer模型的效率。\n\n- 课程即将发布\n- [实现](notebooks\u002Feff_transformer\u002Feff_transformer.ipynb)\n\n**17. 训练GPT-X模型**\n\n我们将训练一个经过优化和改进的GPT模型版本。\n\n- 课程即将发布\n- 实现即将发布\n\n### 更多章节即将推出\n\n## 可选章节\n\n**卷积神经网络**\n\n卷积神经网络常用于图像和时间序列数据的处理。\n\n- 实现：[笔记本](notebooks\u002Fcnn\u002Fcnn.ipynb) 和 [类](nnets\u002Fconv.py)\n\n**门控循环神经网络**\n\n门控循环神经网络通过帮助网络遗忘无关信息，从而更好地处理长序列数据。LSTM和GRU是两种常见的门控网络类型。\n\n- [实现](notebooks\u002Fgru\u002Fgru.ipynb)\n\n**编码器与解码器**\n\n编码器\u002F解码器主要用于自然语言处理任务，当输入和输出长度不一致时尤为有用。例如，在使用问答对作为训练数据时，答案的长度可能与问题不同。\n\n- [实现](notebooks\u002Frnnencoder\u002Fencoder.ipynb)\n\n## 安装说明\n\n如果你想在本地运行这些笔记本，需要安装一些Python依赖包。\n\n- 确保已安装Python 3.8或更高版本。\n- 克隆本仓库。\n- 运行 `pip install -r requirements.txt`\n\n## 许可\n\n您可以将本材料用于自己的课程并进行改编，但不得用于商业目的。如果您使用本材料，必须注明出处：`Vik Paruchuri, Dataquest`。\n\n\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002F\">\u003Cimg alt=\"知识共享许可协议\" style=\"border-width:0\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVikParuchuri_zero_to_gpt_readme_1f8182c1eb00.png\" \u002F>\u003C\u002Fa>\u003Cbr \u002F>本作品依据\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002F\">知识共享署名-非商业性使用4.0国际许可协议\u003C\u002Fa>授权。","# Zero to GPT 快速上手指南\n\n本指南旨在帮助开发者从零开始，通过实战掌握深度学习核心原理并训练自己的 GPT 模型。课程涵盖从基础数学、梯度下降、神经网络架构到 Transformer、分布式训练及 GPU 内核优化的完整路径。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux、macOS 或 Windows（推荐 Linux 以获得最佳兼容性）。\n*   **Python 版本**：Python 3.8 或更高版本。\n*   **前置知识**：具备基础的 Python 编程能力（熟悉循环、函数和类）。\n*   **硬件建议**：虽然基础章节可在 CPU 上运行，但后续涉及 Transformer 训练和 GPU 内核优化的章节建议使用配备 NVIDIA GPU 的环境。\n\n## 安装步骤\n\n1.  **克隆项目仓库**\n    将源代码下载到本地：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fdataquestio\u002Fzero_to_gpt.git\n    cd zero_to_gpt\n    ```\n\n2.  **安装依赖包**\n    使用 pip 安装项目所需的 Python 库。\n    *注：国内用户若遇到下载速度慢的问题，可临时指定清华或阿里镜像源加速安装。*\n    \n    **标准安装命令：**\n    ```bash\n    pip install -r requirements.txt\n    ```\n    \n    **国内加速安装命令（推荐）：**\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n## 基本使用\n\n本课程采用“理论讲解 + 代码复现”的模式。请按照章节顺序依次学习，阅读教程笔记（Lesson）并动手复现代码实现（Implementation）。\n\n### 1. 启动学习流程\n课程内容由 Jupyter Notebook (`.ipynb`) 组成。您可以使用 Jupyter Lab 或 Jupyter Notebook 启动本地服务：\n\n```bash\njupyter lab\n```\n或者\n```bash\njupyter notebook\n```\n\n### 2. 最简单的入门示例\n建议从 **第 0 章：引言** 开始，了解课程概览。\n\n*   **阅读理论**：打开 `explanations\u002Fintro.ipynb`，了解课程目标和涵盖的主题。\n*   **观看视频（可选）**：配合观看对应的介绍视频以加深理解。\n\n接下来进入 **第 1 章：数学与 NumPy 基础**（若已熟悉线性代数和微积分可跳过）：\n*   打开 `explanations\u002Flinalg.ipynb` 复习深度学习所需的数学基础。\n*   在 Notebook 中运行代码单元格，观察 NumPy 如何应用这些数学概念。\n\n### 3. 核心学习模式\n对于后续每个章节（如梯度下降、稠密网络、RNN 等），请遵循以下步骤：\n1.  **阅读教程**：在 `explanations\u002F` 目录下打开对应的 `.ipynb` 文件，学习理论推导。\n2.  **查看实现**：在 `notebooks\u002F` 目录下找到对应的实现代码。\n3.  **动手复现**：**不要直接运行现成代码**。尝试新建一个 Notebook，根据教程中的原理，从头编写并实现该算法，以此巩固理解。\n\n随着课程深入，您将逐步构建自己的微型 PyTorch 框架，处理文本数据，最终完成 GPT 模型的训练与优化。","一位具备 Python 基础的数据分析师希望从零构建专属的行业文档摘要模型，却对深度学习原理一无所知。\n\n### 没有 zero_to_gpt 时\n- 面对梯度下降、反向传播等核心数学概念感到无从下手，只能机械调用黑盒库，无法理解模型为何训练失败。\n- 在处理文本序列任务时，盲目尝试各类现成架构，因缺乏对 RNN 和 Transformer 底层逻辑的认知而频繁遭遇过拟合。\n- 想要手动实现一个简单的 PyTorch 算子或调试分布式训练错误时，因不懂计算图机制和 GPU 编程原理而束手无策。\n- 学习路径支离破碎，需要在无数篇学术论文和碎片化教程间跳跃，耗费数月仍无法独立跑通一个完整的 GPT 训练流程。\n\n### 使用 zero_to_gpt 后\n- 通过从线性回归到神经网络的渐进式代码实战，彻底吃透了梯度下降与反向传播的数学本质，能精准定位训练震荡的根源。\n- 顺着课程从全连接网络自然过渡到循环神经网络再到 Transformer，清晰掌握了处理序列数据的架构演进，成功构建了高泛化能力的摘要模型。\n- 亲手从零编写了一个微型深度学习框架并深入理解自动微分机制，现在能自信地修改 PyTorch 底层逻辑以适配特殊的硬件加速需求。\n- 跟随结构化的章节顺序，将理论与天气预测、语言翻译等真实问题结合，仅用数周就完成了从入门到独立训练自有 GPT 模型的跨越。\n\nzero_to_gpt 通过“理论 + 手写实现”的双重驱动，让开发者不再做算法的搬运工，而是成为真正懂原理、能落地的 AI 构建者。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVikParuchuri_zero_to_gpt_05142e76.png","VikParuchuri","Vik Paruchuri","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FVikParuchuri_be9d1b95.jpg",null,"Brooklyn, NY","github@vikas.sh","https:\u002F\u002Fwww.vikas.sh","https:\u002F\u002Fgithub.com\u002FVikParuchuri",[82,86],{"name":83,"color":84,"percentage":85},"Jupyter Notebook","#DA5B0B",98.4,{"name":87,"color":88,"percentage":89},"Python","#3572A5",1.6,1291,222,"2026-03-31T07:34:26","NOASSERTION","未说明","课程涵盖 GPU 编程、分布式训练及 Triton 内核编写，暗示需要 NVIDIA GPU，但 README 未明确具体型号、显存大小或 CUDA 版本要求。",{"notes":97,"python":98,"dependencies":99},"本课程旨在从零开始训练 GPT 模型，内容涵盖从基础数学到分布式训练和自定义 GPU 内核。虽然安装部分仅提及运行 'pip install -r requirements.txt'，但高级章节（如分布式训练、Flash Attention）隐含了对多 GPU 环境的需求。用户需具备 Python 基础（循环、函数、类）。部分章节内容（如优化器、正则化、GPT-2 训练等）的视频或教程标记为 'coming soon'。","3.8+",[100,101,102],"numpy","torch (PyTorch)","triton (OpenAI Triton)",[14],[105,106,107,108],"deep-learning","python","pytorch","tutorial","2026-03-27T02:49:30.150509","2026-04-07T06:15:01.080649",[],[]]