[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-saurabhaloneai--History-of-Deep-Learning":3,"tool-saurabhaloneai--History-of-Deep-Learning":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160784,2,"2026-04-19T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":77,"owner_website":76,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":76,"difficulty_score":91,"env_os":92,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":97,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":99,"updated_at":100,"faqs":101,"releases":102},9859,"saurabhaloneai\u002FHistory-of-Deep-Learning","History-of-Deep-Learning","learningggggggg 🐳","History-of-Deep-Learning 是一个专注于深度学习核心论文复现与整理的开源学习项目。它系统性地收录了从 1987 年反向传播算法到 2019 年 RoBERTa 等约 60 篇里程碑式的研究论文，涵盖基础神经网络、优化正则化技术、序列建模及语言模型四大关键领域。\n\n面对深度学习领域论文浩如烟海、理论复杂且难以动手实践的痛点，该项目提供了从零开始的代码实现（Scratch Implementations）。通过亲手复现经典算法，用户能够更直观地理解模型演进的内在逻辑与核心数学原理，而非仅仅停留在调用现成库的层面。虽然项目声明其代码主要用于学习参考，可能存在简化，但这恰恰降低了入门门槛，帮助学习者厘清细节。\n\n这款资源特别适合希望深入夯实基础的 AI 开发者、研究生以及算法研究人员。对于想要透彻理解 CNN、Transformer、BERT 等架构底层机制，或者需要系统性梳理技术发展脉络的学习者而言，History-of-Deep-Learning 提供了一条结构清晰、理论与实践并重的进阶路径，是探索深度学习历史与未来的优质指南。","# Deep Learning Research Paper Collection \n\n## Overview\n\nThis repository is a collection of IMPORTANT deep learning research papers, organized by research area and implementation. The goal is to provide a structured approach to understanding the evolution and core concepts of deep learning.\n\n## Disclaimer\n\n> [!IMPORTANT]\n> This is a personal learning project. The implementations and notes may contain errors or simplifications. Use with caution and always refer to the original papers.\n\n## Inspiration and Credits\n\nInspired by [adam-maj](https:\u002F\u002Fgithub.com\u002Fadam-maj) and expanded with additional research papers and implementations.\n\n## Project Goals\n\n- Implement approximately 60 important deep learning papers\n- Provide scratch implementations for learning and understanding\n- Create a comprehensive resource for deep learning research\n\n## Contents\n\n### 1. Foundational Deep Neural Networks\n\n#### Papers\n- **DNN** (1987): Learning Internal Representations by Error Propagation [pdf](https:\u002F\u002Fwww.iro.umontreal.ca\u002F~vincentp\u002Fift3395\u002Flectures\u002Fbackprop_old.pdf)\n- **CNN** (1989): Backpropagation Applied to Handwritten Zip Code Recognition [pdf](http:\u002F\u002Fyann.lecun.com\u002Fexdb\u002Fpublis\u002Fpdf\u002Flecun-89e.pdf)\n- **LeNet** (1998): Gradient-Based Learning Applied to Document Recognition [pdf](http:\u002F\u002Fvision.stanford.edu\u002Fcs598_spring07\u002Fpapers\u002FLecun98.pdf)\n- **AlexNet** (2012): ImageNet Classification with Deep Convolutional Networks [pdf](https:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F2012\u002Ffile\u002Fc399862d3b9d6b76c8436e924a68c45b-Paper.pdf)\n- **U-Net** (2015): Convolutional Networks for Biomedical Image Segmentation [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1505.04597.pdf)\n\n### 2. Optimization and Regularization Techniques\n\n#### Papers\n- **Weight Decay** (1991): A Simple Weight Decay Can Improve Generalization [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002Fnips93.pdf)\n- **ReLU** (2011): Deep Sparse Rectified Neural Networks [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002FreluICML.pdf)\n- **Residuals** (2015): Deep Residual Learning for Image Recognition [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1512.03385.pdf)\n- **Dropout** (2014): Preventing Neural Networks from Overfitting [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002FJMLRdropout.pdf)\n- **BatchNorm** (2015): Accelerating Deep Network Training [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1502.03167.pdf)\n- **LayerNorm** (2016): Layer Normalization [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1607.06450.pdf)\n- **GELU** (2016): Gaussian Error Linear Units [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1606.08415.pdf)\n- **Adam** (2014): Stochastic Optimization Method [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1412.6980.pdf)\n\n### 3. Sequence Modeling\n\n#### Papers\n- **RNN** (1989): Continually Running Fully Recurrent Neural Networks [pdf](https:\u002F\u002Fwww.bioinf.jku.at\u002Fpublications\u002Folder\u002F2604.pdf)\n- **LSTM** (1997): Long-Short Term Memory [pdf](https:\u002F\u002Fwww.bioinf.jku.at\u002Fpublications\u002Folder\u002F2308.pdf)\n- **Learning to Forget** (2000): Continual Prediction with LSTM [pdf](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F221601044_Learning_to_Forget_Continual_Prediction_with_LSTM)\n- **Word2Vec** (2013): Word Representations in Vector Space [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1301.3781.pdf)\n- **Phrase2Vec** (2013): Distributed Representations of Words and Phrases [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1310.4546.pdf)\n- **Encoder-Decoder** (2014): RNN Encoder-Decoder for Machine Translation [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1406.1078.pdf)\n- **Seq2Seq** (2014): Sequence to Sequence Learning [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1409.3215.pdf)\n- **Attention** (2014): Neural Machine Translation with Alignment [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1409.0473.pdf)\n- **Mixture of Experts** (2017): Sparsely-Gated Neural Networks [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1701.06538.pdf)\n\n### 4. Language Modeling\n\n#### Papers\n- **Transformer** (2017): Attention Is All You Need [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1706.03762.pdf)\n- **BERT** (2018): Bidirectional Transformers for Language Understanding [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1810.04805.pdf)\n- **RoBERTa** (2019): Robustly Optimized BERT Pretraining [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1907.11692.pdf)\n- **T5** (2019): Unified Text-to-Text Transformer [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.10683.pdf)\n- **GPT Series**:\n  - GPT (2018): Generative Pre-Training [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1810.04805.pdf)\n  - GPT-2 (2018): Unsupervised Multitask Learning [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.01082.pdf)\n  - GPT-3 (2020): Few-Shot Learning [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2005.14165.pdf)\n  - GPT-4 (2023): Advanced Language Model [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.08774.pdf)\n- **LoRA** (2021): Low-Rank Adaptation of Large Language Models [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.09685.pdf)\n- **RLHF** (2019): Fine-Tuning from Human Preferences [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.08593.pdf)\n- **InstructGPT** (2022): Following Instructions with Human Feedback [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.02155.pdf)\n- **Vision Transformer** (2020): Image Recognition with Transformers [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2010.11929.pdf)\n- **ELECTRA** (2020): Discriminative Pre-training [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2003.10555.pdf)\n\n### 5. Image Generative Modeling\n\n#### Papers\n- **GAN** (2014): Generative Adversarial Networks [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1406.2661.pdf)\n- **VAE** (2013): Auto-Encoding Variational Bayes [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1312.6114.pdf)\n- **VQ VAE** (2017): Neural Discrete Representation Learning [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1711.00937.pdf)\n- **Diffusion Models**:\n  - Initial Diffusion (2015): Nonequilibrium Thermodynamics [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1503.03585.pdf)\n  - Denoising Diffusion (2020): Probabilistic Models [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2006.11239.pdf)\n  - Improved Denoising Diffusion (2021) [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.09672.pdf)\n- **CLIP** (2021): Visual Models from Natural Language Supervision [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.00020.pdf)\n- **DALL-E** (2021-2022): Text-to-Image Generation [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.12092.pdf)\n- **SimCLR** (2020): Contrastive Learning of Visual Representations [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2002.05709.pdf)\n\n### 6. Deep Reinforcement Learning\n\n#### Papers\n- **Deep Reinforcement Learning** (2017): Mastering Chess and Shogi [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1712.01815.pdf)\n- **Deep Q-Learning** (2013): Playing Atari Games [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~vmnih\u002Fdocs\u002Fdqn.pdf)\n- **AlphaGo** (2016): Mastering the Game of Go [pdf](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fnature16961.pdf)\n- **AlphaFold** (2021): Protein Structure Prediction [pdf](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fs41586-021-03819-2.pdf)\n\n### 7. Additional Influential Papers\n\n- **Deep Learning Survey** (2015): By LeCun, Bengio, and Hinton [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002FNatureDeepReview.pdf)\n- **BigGAN** (2018): Large Scale GAN Training [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1809.11096.pdf)\n- **WaveNet** (2016): Generative Model for Raw Audio [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1609.03499.pdf)\n- **BERTology** (2020): Survey of BERT Use Cases [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2002.10063.pdf)\n\n#### Scaling and Model Optimization\n- **Scaling Laws for Neural Language Models** (2020): Predicting Model Performance [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2001.08361.pdf)\n- **Chinchilla** (2022): Training Compute-Optimal Large Language Models [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.15556.pdf)\n- **Gopher** (2022): Scaling Language Models with Massive Compute [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.11446.pdf)\n\n#### Fine-tuning and Adaptation\n- **P-Tuning** (2021): Prompt Tuning with Soft Prompts [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.10385.pdf)\n- **Prefix-Tuning** (2021): Optimizing Continuous Prompts [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2101.00190.pdf)\n- **AdaLoRA** (2023): Adaptive Low-Rank Adaptation [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.10512.pdf)\n- **QLoRA** (2023): Efficient Fine-Tuning of Quantized Models [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14314.pdf)\n\n#### Inference and Optimization Techniques\n- **FlashAttention** (2022): Fast and Memory-Efficient Attention [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.14135.pdf)\n- **FlashAttention-2** (2023): Faster Attention Mechanism [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.08691.pdf)\n- **Direct Preference Optimization (DPO)** (2023): Aligning Language Models with Human Preferences [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.18046.pdf)\n- **LoRA** (2021): Low-Rank Adaptation of Large Language Models [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.09685.pdf)\n\n#### Pre-training and Model Architecture\n- **Mixture of Experts (MoE)** (2022): Scaling Language Models with Sparse Experts [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.05596.pdf)\n- **GLaM** (2021): Efficient Scaling with Mixture of Experts [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.06905.pdf)\n- **Switch Transformers** (2022): Scaling to Trillion Parameter Models [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2101.03961.pdf)\n\n#### Reasoning and Capabilities\n- **Chain of Thought Prompting** (2022): Reasoning with Language Models [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.11903.pdf)\n- **Self-Consistency** (2022): Improving Language Model Reasoning [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.11171.pdf)\n- **Tree of Thoughts** (2023): Deliberate Problem Solving [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.10601.pdf)\n\n#### Efficiency and Compression\n- **DistilBERT** (2019): Distilled Version of BERT [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.01108.pdf)\n- **Knowledge Distillation** (2022): Comprehensive Survey [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2006.05525.pdf)\n- **Pruning and Quantization Techniques** (2022): Model Compression Survey [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.06322.pdf)","# 深度学习研究论文集\n\n## 概述\n\n本仓库收录了重要的深度学习研究论文，按研究领域和实现方式分类整理。其目标是提供一种结构化的学习路径，帮助理解深度学习的发展历程及核心概念。\n\n## 免责声明\n\n> [!IMPORTANT]\n> 本项目为个人学习用途，其中的实现代码和笔记可能存在错误或简化之处。请谨慎使用，并始终参考原始论文。\n\n## 灵感与致谢\n\n受[adam-maj](https:\u002F\u002Fgithub.com\u002Fadam-maj)的启发，并在此基础上增加了更多研究论文和实现代码。\n\n## 项目目标\n\n- 实现约60篇重要的深度学习论文\n- 提供从零开始的实现代码，便于学习和理解\n- 打造一份全面的深度学习研究资源\n\n## 目录\n\n### 1. 基础深度神经网络\n\n#### 论文\n- **DNN** (1987)：通过误差反向传播学习内部表示 [pdf](https:\u002F\u002Fwww.iro.umontreal.ca\u002F~vincentp\u002Fift3395\u002Flectures\u002Fbackprop_old.pdf)\n- **CNN** (1989)：反向传播算法在手写邮政编码识别中的应用 [pdf](http:\u002F\u002Fyann.lecun.com\u002Fexdb\u002Fpublis\u002Fpdf\u002Flecun-89e.pdf)\n- **LeNet** (1998)：基于梯度的学习在文档识别中的应用 [pdf](http:\u002F\u002Fvision.stanford.edu\u002Fcs598_spring07\u002Fpapers\u002FLecun98.pdf)\n- **AlexNet** (2012)：深度卷积网络在ImageNet图像分类中的应用 [pdf](https:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F2012\u002Ffile\u002Fc399862d3b9d6b76c8436e924a68c45b-Paper.pdf)\n- **U-Net** (2015)：用于生物医学图像分割的卷积网络 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1505.04597.pdf)\n\n### 2. 优化与正则化技术\n\n#### 论文\n- **权重衰减** (1991)：简单的权重衰减可提升泛化能力 [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002Fnips93.pdf)\n- **ReLU** (2011)：深度稀疏修正神经网络 [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002FreluICML.pdf)\n- **残差连接** (2015)：深度残差学习在图像识别中的应用 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1512.03385.pdf)\n- **Dropout** (2014)：防止神经网络过拟合 [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002FJMLRdropout.pdf)\n- **批归一化** (2015)：加速深度网络训练 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1502.03167.pdf)\n- **层归一化** (2016)：层归一化 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1607.06450.pdf)\n- **GELU** (2016)：高斯误差线性单元 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1606.08415.pdf)\n- **Adam** (2014)：一种随机优化方法 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1412.6980.pdf)\n\n### 3. 序列建模\n\n#### 论文\n- **RNN** (1989)：持续运行的全循环神经网络 [pdf](https:\u002F\u002Fwww.bioinf.jku.at\u002Fpublications\u002Folder\u002F2604.pdf)\n- **LSTM** (1997)：长短期记忆网络 [pdf](https:\u002F\u002Fwww.bioinf.jku.at\u002Fpublications\u002Folder\u002F2308.pdf)\n- **学会遗忘** (2000)：利用LSTM进行持续预测 [pdf](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F221601044_Learning_to_Forget_Continual_Prediction_with_LSTM)\n- **Word2Vec** (2013)：词向量表示 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1301.3781.pdf)\n- **Phrase2Vec** (2013)：词和短语的分布式表示 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1310.4546.pdf)\n- **编码器-解码器** (2014)：用于机器翻译的RNN编码器-解码器 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1406.1078.pdf)\n- **Seq2Seq** (2014)：序列到序列学习 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1409.3215.pdf)\n- **注意力机制** (2014)：基于对齐的神经机器翻译 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1409.0473.pdf)\n- **专家混合模型** (2017)：稀疏门控神经网络 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1701.06538.pdf)\n\n### 4. 语言建模\n\n#### 论文\n- **Transformer** (2017)：注意力就是你所需要的 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1706.03762.pdf)\n- **BERT** (2018)：用于语言理解的双向Transformer [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1810.04805.pdf)\n- **RoBERTa** (2019)：鲁棒优化的BERT预训练 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1907.11692.pdf)\n- **T5** (2019)：统一的文本到文本Transformer [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.10683.pdf)\n- **GPT系列**：\n  - GPT (2018)：生成式预训练 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1810.04805.pdf)\n  - GPT-2 (2018)：无监督多任务学习 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.01082.pdf)\n  - GPT-3 (2020)：少样本学习 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2005.14165.pdf)\n  - GPT-4 (2023)：先进语言模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.08774.pdf)\n- **LoRA** (2021)：大型语言模型的低秩适应 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.09685.pdf)\n- **RLHF** (2019)：基于人类偏好的微调 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.08593.pdf)\n- **InstructGPT** (2022)：结合人类反馈的指令遵循 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.02155.pdf)\n- **视觉Transformer** (2020)：基于Transformer的图像识别 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2010.11929.pdf)\n- **ELECTRA** (2020)：判别式预训练 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2003.10555.pdf)\n\n### 5. 图像生成建模\n\n#### 论文\n- **GAN** (2014)：生成对抗网络 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1406.2661.pdf)\n- **VAE** (2013)：变分自编码器 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1312.6114.pdf)\n- **VQ VAE** (2017)：神经离散表示学习 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1711.00937.pdf)\n- **扩散模型**：\n  - 初始扩散 (2015)：非平衡热力学 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1503.03585.pdf)\n  - 去噪扩散 (2020)：概率模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2006.11239.pdf)\n  - 改进型去噪扩散 (2021) [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.09672.pdf)\n- **CLIP** (2021)：基于自然语言监督的视觉模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.00020.pdf)\n- **DALL-E** (2021-2022)：文本到图像生成 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.12092.pdf)\n- **SimCLR** (2020)：视觉表征的对比学习 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2002.05709.pdf)\n\n### 6. 深度强化学习\n\n#### 论文\n- **深度强化学习** (2017)：掌握国际象棋和将棋 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1712.01815.pdf)\n- **深度Q学习** (2013)：玩Atari游戏 [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~vmnih\u002Fdocs\u002Fdqn.pdf)\n- **AlphaGo** (2016)：掌握围棋 [pdf](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fnature16961.pdf)\n- **AlphaFold** (2021)：蛋白质结构预测 [pdf](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fs41586-021-03819-2.pdf)\n\n### 7. 其他具有影响力的论文\n\n- **深度学习综述**（2015）：由LeCun、Bengio和Hinton撰写 [pdf](https:\u002F\u002Fwww.cs.toronto.edu\u002F~hinton\u002Fabsps\u002FNatureDeepReview.pdf)\n- **BigGAN**（2018）：大规模生成对抗网络训练 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1809.11096.pdf)\n- **WaveNet**（2016）：原始音频的生成模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1609.03499.pdf)\n- **BERTology**（2020）：BERT应用场景综述 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2002.10063.pdf)\n\n#### 扩展与模型优化\n- **神经语言模型的扩展规律**（2020）：预测模型性能 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2001.08361.pdf)\n- **Chinchilla**（2022）：训练计算最优的大规模语言模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.15556.pdf)\n- **Gopher**（2022）：利用海量计算资源扩展语言模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.11446.pdf)\n\n#### 微调与适应\n- **P-Tuning**（2021）：基于软提示的提示调优 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.10385.pdf)\n- **Prefix-Tuning**（2021）：优化连续提示 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2101.00190.pdf)\n- **AdaLoRA**（2023）：自适应低秩适配 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.10512.pdf)\n- **QLoRA**（2023）：量化模型的高效微调 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14314.pdf)\n\n#### 推理与优化技术\n- **FlashAttention**（2022）：快速且内存高效的注意力机制 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.14135.pdf)\n- **FlashAttention-2**（2023）：更快速的注意力机制 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.08691.pdf)\n- **直接偏好优化（DPO）**（2023）：使语言模型与人类偏好对齐 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.18046.pdf)\n- **LoRA**（2021）：大型语言模型的低秩适配 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.09685.pdf)\n\n#### 预训练与模型架构\n- **专家混合（MoE）**（2022）：通过稀疏专家扩展语言模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.05596.pdf)\n- **GLaM**（2021）：利用专家混合实现高效扩展 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.06905.pdf)\n- **Switch Transformer**（2022）：扩展至万亿参数模型 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2101.03961.pdf)\n\n#### 推理与能力\n- **思维链提示**（2022）：利用语言模型进行推理 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.11903.pdf)\n- **自我一致性**（2022）：提升语言模型的推理能力 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.11171.pdf)\n- **思维树**（2023）：深思熟虑的问题解决方法 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.10601.pdf)\n\n#### 效率与压缩\n- **DistilBERT**（2019）：BERT的蒸馏版本 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.01108.pdf)\n- **知识蒸馏**（2022）：全面综述 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2006.05525.pdf)\n- **剪枝与量化技术**（2022）：模型压缩综述 [pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.06322.pdf)","# History-of-Deep-Learning 快速上手指南\n\n本指南旨在帮助开发者快速搭建环境并理解该项目的核心用途。**注意**：本项目主要是一个深度学习经典论文的**代码复现与学习集合**，而非一个直接调用的 Python 库（PyPI 包）。其核心价值在于通过阅读和运行“从零实现”的代码来理解算法原理。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux (推荐), macOS, 或 Windows (需配置 WSL2)\n*   **Python 版本**：建议 Python 3.8 - 3.10\n*   **核心依赖**：\n    *   `PyTorch` (项目主要基于 PyTorch 实现)\n    *   `NumPy`, `Matplotlib` (用于数据处理和可视化)\n    *   `Jupyter Notebook` (推荐用于交互式学习论文代码)\n*   **硬件建议**：部分模型（如 Transformer, GANs, Diffusion）训练需要 GPU 支持。若无 GPU，可仅运行小型网络（如 LeNet, MLP）或加载预训练权重进行推理。\n\n### 国内加速方案\n推荐使用国内镜像源安装依赖，以提升下载速度：\n*   **PyTorch**: 访问 [https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F) 获取命令，或使用清华源。\n*   **pip 源**: 使用清华大学开源软件镜像站 (`-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`)。\n\n## 2. 安装步骤\n\n由于该项目是源码集合，需要通过克隆仓库的方式获取代码，并手动安装依赖。\n\n### 第一步：克隆项目\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fadam-maj\u002FHistory-of-Deep-Learning.git\ncd History-of-Deep-Learning\n```\n*(注：如果访问 GitHub 缓慢，可使用国内镜像站如 Gitee 的同步仓库，或配置 Git 代理)*\n\n### 第二步：创建虚拟环境并安装依赖\n建议使用 `conda` 或 `venv` 隔离环境。\n\n**使用 Conda (推荐):**\n```bash\nconda create -n dl_history python=3.9\nconda activate dl_history\n```\n\n**安装 PyTorch (以 CUDA 11.8 为例，其他版本请参考官网):**\n```bash\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n# 若仅需 CPU 版本:\n# pip install torch torchvision torchaudio\n```\n\n**安装其他通用依赖:**\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n*(注意：如果根目录下没有 `requirements.txt` 文件，请根据具体子文件夹中的 `requirements.txt` 或 `setup.py` 进行安装，或直接安装常用库：)*\n```bash\npip install numpy matplotlib tqdm scikit-learn jupyter -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 3. 基本使用\n\n本项目按研究领域分类（如基础网络、优化技术、序列建模等）。使用方式通常是进入特定论文对应的文件夹，运行其训练或演示脚本。\n\n### 示例：运行一个简单的 CNN (LeNet) 实现\n\n假设我们要学习 1998 年的 **LeNet** 论文实现（路径可能在 `Foundational_Deep_Neural_Networks\u002FLeNet` 或类似目录，具体视仓库实际结构而定）：\n\n1.  **进入对应目录**：\n    ```bash\n    cd Foundational_Deep_Neural_Networks\u002FLeNet\n    ```\n\n2.  **查看文件结构**：\n    通常包含 `model.py` (模型定义), `train.py` (训练脚本), `README.md` (该论文的具体说明)。\n\n3.  **运行训练脚本**：\n    ```bash\n    python train.py --epochs 5 --batch_size 64\n    ```\n    *如果是 Jupyter Notebook 形式：*\n    ```bash\n    jupyter notebook lenet_implementation.ipynb\n    ```\n    然后在浏览器中逐个单元格运行代码，观察损失曲线和识别结果。\n\n### 示例：探索注意力机制 (Attention)\n\n1.  **进入序列建模目录**：\n    ```bash\n    cd Sequence_Modeling\u002FAttention\n    ```\n\n2.  **运行演示**：\n    ```bash\n    python demo_attention.py\n    ```\n    这将可视化注意力权重的分布，帮助理解 \"Neural Machine Translation with Alignment\" 的核心概念。\n\n### 学习建议\n*   **阅读顺序**：建议按照仓库目录顺序，从 `Foundational Deep Neural Networks` 开始，逐步过渡到 `Transformer` 和 `Diffusion Models`。\n*   **代码对照**：打开对应的 PDF 论文链接，对照代码中的数学公式实现（如 `forward` 函数中的矩阵运算），这是本项目最大的价值所在。\n*   **修改实验**：尝试修改超参数（学习率、层数）或替换数据集，观察对模型收敛的影响。","某高校人工智能实验室的研究生团队正致力于复现经典深度学习论文，以构建内部教学知识库并验证算法演进逻辑。\n\n### 没有 History-of-Deep-Learning 时\n- **资料搜集碎片化**：成员需分别在 arXiv、会议官网和个人博客中搜寻从 1987 年反向传播到 2019 年 RoBERTa 等数十篇论文，耗时且容易遗漏关键文献。\n- **代码复现门槛高**：官方论文往往只提供伪代码或数学公式，团队需从零编写底层实现（如 LSTM 的门控机制或 Transformer 的注意力模块），极易因细节理解偏差导致实验失败。\n- **知识体系割裂**：难以直观对比不同时期优化策略（如从 Weight Decay 到 Adam，从 ReLU 到 GELU）的演变脉络，导致学习过程缺乏系统性，只能“只见树木不见森林”。\n\n### 使用 History-of-Deep-Learning 后\n- **一站式资源获取**：直接访问按研究领域（基础网络、优化技术、序列建模等）结构化整理的仓库，瞬间获取包含 PDF 原文链接及对应实现的核心论文清单。\n- **开箱即用的参考实现**：利用仓库提供的约 60 个重要论文的\"Scratch 实现”代码，团队成员可快速对照源码理解算法细节，将单篇论文复现周期从数周缩短至数天。\n- **清晰的演进路线图**：通过仓库的时间线与分类结构，团队能清晰梳理出从 LeNet 到 BERT 的技术迭代路径，高效掌握深度学习核心概念的继承与创新关系。\n\nHistory-of-Deep-Learning 将分散的学术瑰宝转化为结构化的实战指南，极大降低了深度学习入门与科研复现的认知负荷和时间成本。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsaurabhaloneai_History-of-Deep-Learning_a94c1952.png","saurabhaloneai","saurabh","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsaurabhaloneai_fca0fa83.jpg","ml",null,"saurabhtwq","https:\u002F\u002Fgithub.com\u002Fsaurabhaloneai",[80,84],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",100,{"name":85,"color":86,"percentage":87},"Python","#3572A5",0,617,33,"2026-04-15T10:07:38",1,"","未说明",{"notes":95,"python":93,"dependencies":96},"README 中未提供具体的运行环境需求（如操作系统、GPU、内存、Python 版本或依赖库）。该项目主要是一个深度学习研究论文的集合及从零开始的实现代码，旨在用于学习和理解核心概念。由于包含从基础网络到大型语言模型（如 GPT 系列、LLaMA 相关技术）的多种实现，实际运行特定高级模型时可能需要高性能 GPU 和相应的深度学习框架（如 PyTorch），但具体配置需参考各子项目的实现代码或原始论文。",[],[35,15,98],"其他","2026-03-27T02:49:30.150509","2026-04-20T07:16:14.876391",[],[]]