[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-wangshusen--DeepLearning":3,"tool-wangshusen--DeepLearning":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161692,"2026-04-20T11:33:57",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":65,"owner_company":65,"owner_location":75,"owner_email":76,"owner_twitter":65,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":94,"env_ram":94,"env_deps":95,"category_tags":99,"github_topics":65,"view_count":24,"oss_zip_url":65,"oss_zip_packed_at":65,"status":17,"created_at":101,"updated_at":102,"faqs":103,"releases":109},10226,"wangshusen\u002FDeepLearning","DeepLearning",null,"DeepLearning 是一套源自弗吉尼亚理工大学 CS583 课程的开源深度学习教学资料，旨在为学习者提供从传统机器学习到现代深度神经网络的完整知识路径。它系统地解决了初学者在面对庞大 AI 知识体系时难以构建清晰逻辑框架的痛点，内容涵盖回归、分类、聚类等基础算法，深入讲解多层感知机、反向传播原理及 Keras 框架应用，并重点剖析卷积神经网络（CNN）在计算机视觉中的核心技术与进阶技巧。\n\n这套资料特别适合高校学生、AI 领域研究人员以及希望夯实理论基础的开发者使用。不同于碎片化的网络教程，DeepLearning 的独特亮点在于其严谨的学术结构与丰富的配套资源：每个知识点均配有详细的幻灯片讲义和专门的笔记文档（如 SVD 分解、逻辑回归推导等），并精选了关于激活函数、参数初始化及优化算法的高质量延伸阅读材料。通过由浅入深的编排，它帮助用户不仅掌握“如何使用”深度学习库，更能理解背后的数学原理与工程优化策略，是进入人工智能领域的优质入门指南。","# CS583: Deep Learning\n\n\n\n1. **Machine learning basics.**\nThis part briefly introduces the fundamental ML problems-- regression, classification, dimensionality reduction, and clustering-- and the traditional ML models and numerical algorithms for solving the problems.\n\n    * ML basics\n    [[slides-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F1_ML_Basics.pdf)]\n    [[slides-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F1_Models.pdf)].\n\n    \n    * Regression\n    [[slides-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F2_Regression_1.pdf)] \n    [[slides-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F2_Regression_2.pdf)].\n    \n    \n    * Classification. \n    \n        - Logistic regression\n        [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_1.pdf)] \n        [[lecture note](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FLogistic\u002Fpaper\u002Flogistic.pdf)].\n    \n        - SVM \n        [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_2.pdf)].\n    \n        - Softmax classifier \n        [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_3.pdf)].\n    \n        - KNN classifier\n        [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_4.pdf)].\n    \n    * Regularizations \n    [[slides-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Optimization.pdf)]\n    [[slides-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Regularizations.pdf)].\n    \n    * Clustering \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Clustering.pdf)].\n    \n    * Dimensionality reduction\n    [[slides-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F5_DR_1.pdf)] \n    [[slides-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F5_DR_2.pdf)] \n    [[lecture note](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FSVD\u002Fsvd.pdf)].\n    \n    * Scientific computing libraries.\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F5_DR_3.pdf)].\n    \n    \n    \n2. **Neural network basics.**\nThis part covers the multilayer perceptron, backpropagation, and deep learning libraries, with focus on Keras.\n\n    * Multilayer perceptron and backpropagation\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F6_NeuralNet_1.pdf)]\n    [[lecture note](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FBP\u002Fbp.pdf)].\n    \n    * Keras\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F6_NeuralNet_2.pdf)].\n    \n    * Further reading:\n    \n        - [[activation functions](https:\u002F\u002Fadl1995.github.io\u002Fan-overview-of-activation-functions-used-in-neural-networks.html)]\n        \n        - [[parameter initialization](https:\u002F\u002Ftowardsdatascience.com\u002Fweight-initialization-in-neural-networks-a-journey-from-the-basics-to-kaiming-954fb9b47c79)]\n    \n        - [[optimization algorithms](http:\u002F\u002Fruder.io\u002Foptimizing-gradient-descent\u002F)]\n    \n    \n3. **Convolutional neural networks (CNNs).**\nThis part is focused on CNNs and its application to computer vision problems.\n\n    * CNN basics\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_1.pdf)].\n    \n    * Tricks for improving test accuracy\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_2.pdf)].\n    \n    * Feature scaling and batch normalization\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_3.pdf)].\n    \n    * Advanced topics on CNNs\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_4.pdf)].\n    \n    * Popular CNN architectures\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_5.pdf)].\n    \n    \n    * Further reading: \n    \n        - [style transfer (Section 8.1, Chollet's book)]\n        \n        - [visualize CNN (Section 5.4, Chollet's book)]\n\n\n\n4. **Recurrent neural networks (RNNs).**\nThis part introduces RNNs and its applications in natural language processing (NLP).\n\n    * Categorical feature processing\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_0.pdf)] \n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FNWcShtqr8kc)].\n\n    * Text processing and word embedding\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_1.pdf)] \n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002F6_2_2CPB97s)].\n       \n    * RNN basics\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_2.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FCc4ENs6BHQw)].\n       \n    * LSTM\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_3.pdf)]\n    [[reference](http:\u002F\u002Fcolah.github.io\u002Fposts\u002F2015-08-Understanding-LSTMs\u002F)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FvTouAvxlphc)].\n       \n    * Making RNNs more effective\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_4.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FpzWHk_M23a0)].\n   \n    * Text generation\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_5.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002F10cjvcrU_ZU)].\n    \n    * Machine translation\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_6.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FgxXJ58LR684)].\n        \n    * Attention\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_8.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002FB3uws4cLcFw)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FXhWdv7ghmQQ)]\n    [[reference](https:\u002F\u002Fdistill.pub\u002F2016\u002Faugmented-rnns\u002F)].\n        \n    * Self-attention\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_9.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002F06r6kp7ujCA)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FVr4UNt7X6Gw)].\n\n    \n    * Image caption generation \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_7.pdf)]\n    [[reference](https:\u002F\u002Fmachinelearningmastery.com\u002Fdevelop-a-deep-learning-caption-generation-model-in-python\u002F)].\n\n    \n    \n5. **Transformer Models.**\n\n\n    * Transformer (1\u002F2): attention without RNN\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_Transformer_1.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002FFC8PziPmxnQ)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FaButdUV0dxI)].\n    \n    * Transformer (2\u002F2): from shallow to deep\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_Transformer_2.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002FJ4H6A4-dvhE)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FaJRsr39F4dI)]\n   [[reference](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1706.03762.pdf)].\n    \n    * BERT: pre-training Transformer \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_BERT.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002FEOmd5sUUA_A)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FUlC6AjQWao8)]\n   [[reference](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1810.04805.pdf)].\n    \n    * Vision Transformer (ViT)\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_ViT.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002FHZ4j_U3FC94)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FBbzOZ9THriY)].\n\n\n6. **Autoencoders.**\nThis part introduces autoencoders for dimensionality reduction and image generation.\n\n    * Autoencoder for dimensionality reduction\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F8_AE_1.pdf)].\n    \n    * Variational Autoencoders (VAEs) for image generation\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F8_AE_2.pdf)].\n\n    \n7. **Generative Adversarial Networks (GANs).** \n\n    * DC-GAN [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F12_GAN.pdf)].\n\n\n    \n8. **Deep Reinforcement Learning.** \n\n    * Reinforcement learning basics \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_1.pdf)] \n    [[lecture note](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FDRL\u002FDRL.pdf)] \n    [[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FvmkRMvhCW5c)].\n\n    * Value-based learning \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_2.pdf)] \n    [[video (Chinese)](https:\u002F\u002Fyoutu.be\u002Fjflq6vNcZyA)].\n\n    * Policy-based learning \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_3.pdf)] \n    [[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FqI0vyfR2_Rc)].\n\n    * Actor-critic methods \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_4.pdf)] \n    [[video (Chinese)](https:\u002F\u002Fyoutu.be\u002Fxjd7Jq9wPQY)].\n\n    * AlphaGo and Monte Carlo tree search\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_5.pdf)] \n    [[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FzHojAp5vkRE)].\n\n\n\n9. **Parallel Computing.** \n\n\t* Basics and MapReduce \n\t[[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_1.pdf)] \n\t[[lecture note](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FParallel\u002FParallel.pdf)] \n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FgVcnOe6_c6Q)].\n\t\n\t* Parameter server and decentralized network\n\t[[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_2.pdf)] \n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FAga2Lxp3G7M)].\n\t\n\t* TensorFlow's mirrored strategy and ring all-reduce\n\t[[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_3.pdf)] \n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002Frj-hjS5L8Bw)].\n\n\t\n\t\n\t* Federated learning\n\t[[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_4.pdf)] \n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FSTxtRucv_zo)].\n\n\n10. **Adversarial Robustness.**\nThis part introduces how to attack neural networks using adversarial examples and how to defend from the attack.\n\n\t* Data evasion attack and defense\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F11_Evasion.pdf)]\n    [[lecture note](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FAdversarial\u002FDataAttacks.pdf)].\n\n\t* Data poisoning attack\n\t [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F11_Poisoning.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002F_K0nZcqdu5w)].\n\t \n        \n    * Further reading:\n    [[Adversarial Robustness - Theory and Practice](https:\u002F\u002Fadversarial-ml-tutorial.org\u002F)].\n    \n\n11. **Meta Learning.** \n\n    * Few-shot learning: basic concepts\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F16_Meta_1.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002FhE7eGew4eeg)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FUkQ2FVpDxHg)].\n\n    * Siamese network\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F16_Meta_2.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002F4S-XDefSjTM)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FEr8xH_k0Vj4)].\n\n    * Pretraining + fine tuning\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F16_Meta_3.pdf)]\n\t[[video (English)](https:\u002F\u002Fyoutu.be\u002FU6uFOIURcD0)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002F3zSYMuDm6RU)].\n\n    \n\n12. **Neural Architecture Search (NAS).** \n\n\n    * Basics\n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F15_NAS_1.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FvoWgnMpFaW8)].\n\n    * RNN + Reinforcement Learning: \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F15_NAS_2.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FAmitvRzmvv0)].\n\n    * Differentiable NAS: \n    [[slides](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F15_NAS_3.pdf)]\n\t[[video (Chinese)](https:\u002F\u002Fyoutu.be\u002FD9m9-CXw_HY)].\n\n\n\n\n\n","# CS583：深度学习\n\n\n\n1. **机器学习基础。**\n本部分简要介绍机器学习的基本问题——回归、分类、降维和聚类——以及用于解决这些问题的传统机器学习模型和数值算法。\n\n    * 机器学习基础\n    [[幻灯片-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F1_ML_Basics.pdf)]\n    [[幻灯片-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F1_Models.pdf)]。\n\n    \n    * 回归\n    [[幻灯片-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F2_Regression_1.pdf)] \n    [[幻灯片-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F2_Regression_2.pdf)]。\n    \n    \n    * 分类。 \n    \n        - 逻辑回归\n        [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_1.pdf)] \n        [[讲义](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FLogistic\u002Fpaper\u002Flogistic.pdf)]。\n    \n        - SVM \n        [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_2.pdf)]。\n    \n        - Softmax分类器 \n        [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_3.pdf)]。\n    \n        - KNN分类器\n        [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Classification_4.pdf)]。\n    \n    * 正则化 \n    [[幻灯片-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Optimization.pdf)]\n    [[幻灯片-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Regularizations.pdf)]。\n    \n    * 聚类 \n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F3_Clustering.pdf)]。\n    \n    * 降维\n    [[幻灯片-1](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F5_DR_1.pdf)] \n    [[幻灯片-2](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F5_DR_2.pdf)] \n    [[讲义](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FSVD\u002Fsvd.pdf)]。\n    \n    * 科学计算库。\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F5_DR_3.pdf)]。\n    \n    \n    \n2. **神经网络基础。**\n本部分涵盖多层感知机、反向传播以及深度学习库，重点介绍Keras。\n\n    * 多层感知机和反向传播\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F6_NeuralNet_1.pdf)]\n    [[讲义](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FBP\u002Fbp.pdf)]。\n    \n    * Keras\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F6_NeuralNet_2.pdf)]。\n    \n    * 更多阅读：\n    \n        - [[激活函数](https:\u002F\u002Fadl1995.github.io\u002Fan-overview-of-activation-functions-used-in-neural-networks.html)]\n        \n        - [[参数初始化](https:\u002F\u002Ftowardsdatascience.com\u002Fweight-initialization-in-neural-networks-a-journey-from-the-basics-to-kaiming-954fb9b47c79)]\n    \n        - [[优化算法](http:\u002F\u002Fruder.io\u002Foptimizing-gradient-descent\u002F)]\n    \n    \n3. **卷积神经网络（CNN）。**\n本部分专注于卷积神经网络及其在计算机视觉问题中的应用。\n\n    * CNN基础\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_1.pdf)]。\n    \n    * 提高测试准确率的技巧\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_2.pdf)]。\n    \n    * 特征缩放和批归一化\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_3.pdf)]。\n    \n    * CNN高级主题\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_4.pdf)]。\n    \n    * 流行的CNN架构\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F7_CNN_5.pdf)]。\n    \n    \n    * 更多阅读： \n    \n        - [风格迁移（Chollet书第8.1节）]\n        \n        - [可视化CNN（Chollet书第5.4节）]\n\n\n\n4. **循环神经网络（RNN）。**\n本部分介绍循环神经网络及其在自然语言处理（NLP）中的应用。\n\n    * 分类特征处理\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_0.pdf)] \n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002FNWcShtqr8kc)]。\n\n    * 文本处理和词嵌入\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_1.pdf)] \n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002F6_2_2CPB97s)]。\n       \n    * RNN基础\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_2.pdf)]\n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002FCc4ENs6BHQw)]。\n       \n    * LSTM\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_3.pdf)]\n    [[参考](http:\u002F\u002Fcolah.github.io\u002Fposts\u002F2015-08-Understanding-LSTMs\u002F)]\n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002FvTouAvxlphc)]。\n       \n    * 提高RNN的有效性\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_4.pdf)]\n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002FpzWHk_M23a0)]。\n   \n    * 文本生成\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_5.pdf)]\n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002F10cjvcrU_ZU)]。\n    \n    * 机器翻译\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_6.pdf)]\n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002FgxXJ58LR684)]。\n        \n    * 注意力机制\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_8.pdf)]\n\t[[视频（英文）](https:\u002F\u002Fyoutu.be\u002FB3uws4cLcFw)]\n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002FXhWdv7ghmQQ)]\n    [[参考](https:\u002F\u002Fdistill.pub\u002F2016\u002Faugmented-rnns\u002F)]。\n        \n    * 自注意力机制\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_9.pdf)]\n\t[[视频（英文）](https:\u002F\u002Fyoutu.be\u002F06r6kp7ujCA)]\n\t[[视频（中文）](https:\u002F\u002Fyoutu.be\u002FVr4UNt7X6Gw)]。\n\n    \n    * 图像字幕生成 \n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F9_RNN_7.pdf)]\n    [[参考](https:\u002F\u002Fmachinelearningmastery.com\u002Fdevelop-a-deep-learning-caption-generation-model-in-python\u002F)]。\n\n    \n    \n5. **Transformer模型。**\n\n* Transformer (1\u002F2): 无RNN的注意力机制\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_Transformer_1.pdf)]\n\t[[英文视频](https:\u002F\u002Fyoutu.be\u002FFC8PziPmxnQ)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FaButdUV0dxI)]。\n    \n    * Transformer (2\u002F2): 从浅层到深层\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_Transformer_2.pdf)]\n\t[[英文视频](https:\u002F\u002Fyoutu.be\u002FJ4H6A4-dvhE)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FaJRsr39F4dI)]\n   [[参考文献](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1706.03762.pdf)]。\n    \n    * BERT: 预训练的Transformer\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_BERT.pdf)]\n\t[[英文视频](https:\u002F\u002Fyoutu.be\u002FEOmd5sUUA_A)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FUlC6AjQWao8)]\n   [[参考文献](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1810.04805.pdf)]。\n    \n    * 视觉Transformer (ViT)\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F10_ViT.pdf)]\n\t[[英文视频](https:\u002F\u002Fyoutu.be\u002FHZ4j_U3FC94)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FBbzOZ9THriY)]。\n\n\n6. **自编码器。**\n本部分介绍用于降维和图像生成的自编码器。\n\n    * 用于降维的自编码器\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F8_AE_1.pdf)]。\n    \n    * 用于图像生成的变分自编码器 (VAEs)\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F8_AE_2.pdf)]。\n\n    \n7. **生成对抗网络 (GANs)。** \n\n    * DC-GAN [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F12_GAN.pdf)]。\n\n\n    \n8. **深度强化学习。** \n\n    * 强化学习基础 \n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_1.pdf)] \n    [[讲义](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FDRL\u002FDRL.pdf)] \n    [[中文视频](https:\u002F\u002Fyoutu.be\u002FvmkRMvhCW5c)]。\n\n    * 基于价值的学习 \n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_2.pdf)] \n    [[中文视频](https:\u002F\u002Fyoutu.be\u002Fjflq6vNcZyA)]。\n\n    * 基于策略的学习 \n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_3.pdf)] \n    [[中文视频](https:\u002F\u002Fyoutu.be\u002FqI0vyfR2_Rc)]。\n\n    * 演员-评论家方法 \n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_4.pdf)] \n    [[中文视频](https:\u002F\u002Fyoutu.be\u002Fxjd7Jq9wPQY)]。\n\n    * AlphaGo与蒙特卡洛树搜索\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F13_RL_5.pdf)] \n    [[中文视频](https:\u002F\u002Fyoutu.be\u002FzHojAp5vkRE)]。\n\n\n\n9. **并行计算。** \n\n\t* 基础知识与MapReduce \n\t[[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_1.pdf)] \n\t[[讲义](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FParallel\u002FParallel.pdf)] \n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FgVcnOe6_c6Q)]。\n\t\n\t* 参数服务器与去中心化网络\n\t[[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_2.pdf)] \n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FAga2Lxp3G7M)]。\n\t\n\t* TensorFlow的镜像策略与环形All-reduce\n\t[[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_3.pdf)] \n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002Frj-hjS5L8Bw)]。\n\n\t\n\t\n\t* 联邦学习\n\t[[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F14_Parallel_4.pdf)] \n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FSTxtRucv_zo)]。\n\n\n10. **对抗鲁棒性。**\n本部分介绍如何使用对抗样本攻击神经网络，以及如何防御此类攻击。\n\n\t* 数据逃逸攻击与防御\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F11_Evasion.pdf)]\n    [[讲义](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FLectureNotes\u002FAdversarial\u002FDataAttacks.pdf)]。\n\n\t* 数据投毒攻击\n\t [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F11_Poisoning.pdf)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002F_K0nZcqdu5w)]。\n\t \n        \n    * 更多阅读：\n    [[对抗鲁棒性——理论与实践](https:\u002F\u002Fadversarial-ml-tutorial.org\u002F)]。\n    \n\n11. **元学习。** \n\n    * 少样本学习：基本概念\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F16_Meta_1.pdf)]\n\t[[英文视频](https:\u002F\u002Fyoutu.be\u002FhE7eGew4eeg)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FUkQ2FVpDxHg)]。\n\n    * 连体网络\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F16_Meta_2.pdf)]\n\t[[英文视频](https:\u002F\u002Fyoutu.be\u002F4S-XDefSjTM)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FEr8xH_k0Vj4)]。\n\n    * 预训练+微调\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F16_Meta_3.pdf)]\n\t[[英文视频](https:\u002F\u002Fyoutu.be\u002FU6uFOIURcD0)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002F3zSYMuDm6RU)]。\n\n    \n\n12. **神经架构搜索 (NAS)。** \n\n\n    * 基础知识\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F15_NAS_1.pdf)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FvoWgnMpFaW8)]。\n\n    * RNN + 强化学习：\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F15_NAS_2.pdf)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FAmitvRzmvv0)]。\n\n    * 可微分NAS：\n    [[幻灯片](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fblob\u002Fmaster\u002FSlides\u002F15_NAS_3.pdf)]\n\t[[中文视频](https:\u002F\u002Fyoutu.be\u002FD9m9-CXw_HY)]。","# DeepLearning (CS583) 快速上手指南\n\n本仓库是伊利诺伊理工学院汪书森教授的 **CS583: Deep Learning** 课程资料，涵盖从机器学习基础到 Transformer、强化学习及神经架构搜索的全套幻灯片、讲义和视频资源。本项目主要为**学习资料库**，无需安装特定的\"DeepLearning\"软件包，但运行相关代码示例需配置标准的深度学习环境。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (建议使用 WSL2)\n- **硬件**: 建议配备 NVIDIA GPU (用于加速 CNN, RNN, Transformer 等模型训练)，显存建议 8GB 以上。若无 GPU，CPU 亦可运行基础示例。\n- **Python 版本**: Python 3.8 - 3.10\n\n### 前置依赖\n核心依赖包括深度学习框架及科学计算库：\n- **PyTorch** 或 **TensorFlow\u002FKeras** (课程重点提及 Keras)\n- **NumPy**, **Pandas**, **Matplotlib**, **Scikit-learn**\n- **Jupyter Notebook** (用于查看和运行演示代码)\n\n> **国内加速建议**：\n> - 推荐使用 **清华大学 (TUNA)** 或 **阿里云** 镜像源安装 Python 包，以解决下载速度慢的问题。\n> - 视频资源已包含 Bilibili 或 YouTube 链接，部分提供中文字幕或中文讲解版本。\n\n## 2. 安装步骤\n\n### 步骤一：克隆项目仓库\n获取课程幻灯片、讲义笔记及参考代码。\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning.git\ncd DeepLearning\n```\n\n### 步骤二：创建虚拟环境 (推荐)\n使用 `conda` 或 `venv` 隔离环境。\n\n```bash\n# 使用 Conda (推荐)\nconda create -n dl_course python=3.9\nconda activate dl_course\n\n# 或使用 venv\npython -m venv dl_env\nsource dl_env\u002Fbin\u002Factivate  # Windows: dl_env\\Scripts\\activate\n```\n\n### 步骤三：安装核心依赖\n根据你偏好的框架选择安装 PyTorch 或 TensorFlow。以下以 **PyTorch** (当前主流) 和 **Keras** (课程重点) 为例。\n\n**使用国内镜像源安装通用库：**\n```bash\npip install numpy pandas matplotlib scikit-learn jupyter -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n**方案 A：安装 PyTorch (CUDA 版本请根据显卡调整)**\n```bash\n# CPU 版本\npip install torch torchvision torchaudio -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# GPU 版本 (示例为 CUDA 11.8，请访问 pytorch.org 获取最新命令)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\n**方案 B：安装 TensorFlow & Keras**\n```bash\npip install tensorflow keras -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 3. 基本使用\n\n本仓库主要包含 PDF 幻灯片 (`Slides\u002F`) 和 LaTeX\u002FMarkdown 讲义 (`LectureNotes\u002F`)。若仓库中包含具体的 Python 示例代码（通常分散在各章节对应的文件夹或讲义附件中），可按以下方式运行。\n\n### 查看课程资料\n直接打开 `Slides` 目录下的 PDF 文件进行学习。例如，查看机器学习基础：\n- `Slides\u002F1_ML_Basics.pdf`\n- `Slides\u002F6_NeuralNet_1.pdf` (神经网络基础)\n\n### 运行简单的神经网络示例 (基于 Keras)\n课程第 2 部分重点介绍了 Keras。创建一个名为 `hello_dl.py` 的文件，运行以下最简示例来验证环境：\n\n```python\nimport tensorflow as tf\nfrom tensorflow import keras\nimport numpy as np\n\n# 1. 准备简单数据 (异或问题)\nX = np.array([[0,0], [0,1], [1,0], [1,1]], dtype=np.float32)\ny = np.array([[0], [1], [1], [0]], dtype=np.float32)\n\n# 2. 构建多层感知机 (MLP)\nmodel = keras.Sequential([\n    keras.layers.Dense(4, activation='relu', input_shape=(2,)),\n    keras.layers.Dense(1, activation='sigmoid')\n])\n\n# 3. 编译模型\nmodel.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])\n\n# 4. 训练模型\nprint(\"Start training...\")\nmodel.fit(X, y, epochs=1000, verbose=0)\n\n# 5. 测试预测\npredictions = model.predict(X)\nprint(\"\\nPredictions:\")\nfor i, pred in enumerate(predictions):\n    print(f\"Input: {X[i]} -> Predicted: {pred[0]:.4f} (Target: {y[i][0]})\")\n\nprint(\"\\nEnvironment setup successful! Ready for CS583 courses.\")\n```\n\n运行命令：\n```bash\npython hello_dl.py\n```\n\n### 访问视频教程\n在 README 的各章节中提供了视频链接。对于中国开发者，优先点击标注为 `video (Chinese)` 的链接（通常为 YouTube 搬运或作者上传的中讲版），例如：\n- **RNN 基础**: [中文视频](https:\u002F\u002Fyoutu.be\u002FCc4ENs6BHQw)\n- **Transformer 详解**: [中文视频](https:\u002F\u002Fyoutu.be\u002FaButdUV0dxI)\n\n---\n*注：本指南仅用于快速搭建学习环境。深入理论学习请务必阅读仓库中的 `Slides` 和 `LectureNotes` 原文档。*","某高校数据科学团队正在为医疗影像分析课程准备教学案例，需要从零构建一个能识别肺部 X 光片中肺炎病灶的深度学习模型。\n\n### 没有 DeepLearning 时\n- 师生需自行在零散的学术博客和文档中拼凑机器学习基础理论，导致回归、分类等核心概念的理解碎片化且缺乏系统性。\n- 在搭建神经网络时，由于缺乏统一的反向推导讲义和 Keras 实战指引，学生常因参数初始化不当或激活函数选择错误而陷入调试困境。\n- 面对卷积神经网络（CNN）这一难点，团队找不到关于批归一化、特征缩放等提升准确率技巧的结构化资料，模型训练效果长期停滞不前。\n- 缺少对经典 CNN 架构的深度解析，学生只能盲目复制代码，无法理解不同网络层级设计的实际意义。\n\n### 使用 DeepLearning 后\n- 团队直接利用其系统的机器学习基础课件，快速掌握了从逻辑回归到 SVM 的完整知识体系，理论备课时间缩短了 60%。\n- 借助详尽的多层感知机与反向传播讲义，结合 Keras 专项教程，学生能迅速定位代码错误并正确实施参数优化策略。\n- 通过应用其中关于 CNN 进阶技巧的幻灯片，团队成功引入批归一化和数据增强手段，将模型在测试集上的准确率提升了 15%。\n- 参考主流 CNN 架构的深度剖析资料，学生不仅复现了经典模型，还能根据医疗影像特性灵活调整网络结构进行创新实验。\n\nDeepLearning 通过将分散的理论知识与前沿实战技巧整合为结构化课程资源，极大降低了深度学习在教学与科研中的入门门槛和试错成本。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwangshusen_DeepLearning_b20132e6.png","wangshusen","Shusen Wang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fwangshusen_5ec3faab.jpg","New Jersey, USA","wssatzju@gmail.com","http:\u002F\u002Fwangshusen.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fwangshusen",[80,84],{"name":81,"color":82,"percentage":83},"TeX","#3D6117",65.9,{"name":85,"color":86,"percentage":87},"Jupyter Notebook","#DA5B0B",34.1,4216,890,"2026-04-16T03:30:03","NOASSERTION",1,"","未说明",{"notes":96,"python":94,"dependencies":97},"该项目主要为 CS583 深度学习课程的教学资料（包含幻灯片、讲义和视频链接），README 中未提供具体的代码运行环境配置、依赖版本或硬件需求。内容涵盖机器学习基础、CNN、RNN、Transformer 等理论，部分章节提及使用 Keras 库，但未列出完整的 requirements 文件。",[98],"Keras",[14,100],"其他","2026-03-27T02:49:30.150509","2026-04-20T22:35:18.195136",[104],{"id":105,"question_zh":106,"answer_zh":107,"source_url":108},45878,"Embedding 层的参数量应该如何计算？","Embedding 层的参数量等于词典大小（vocab size）乘以每个词的向量维度（embedding dimension）。例如，如果词典大小为 10000，每个词用 32 维向量表示，则参数量为 10000 * 32 = 320000。","https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDeepLearning\u002Fissues\u002F12",[]]