[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-roboticcam--machine-learning-notes":3,"tool-roboticcam--machine-learning-notes":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,2,"2026-04-10T11:13:16",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[19,14,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[18,13,14,20],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75370,"2026-04-11T11:15:34",[19,13,20,18],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":29,"last_commit_at":63,"category_tags":64,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,"2026-04-03T21:50:24",[20,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":82,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":90,"forks":91,"last_commit_at":92,"license":82,"difficulty_score":29,"env_os":93,"env_gpu":94,"env_ram":94,"env_deps":95,"category_tags":100,"github_topics":82,"view_count":10,"oss_zip_url":82,"oss_zip_packed_at":82,"status":22,"created_at":101,"updated_at":102,"faqs":103,"releases":129},6680,"roboticcam\u002Fmachine-learning-notes","machine-learning-notes","My continuously updated Machine Learning, Probabilistic Models and Deep Learning notes and demos (2000+ slides)  我不间断更新的机器学习，概率模型和深度学习的讲义(2000+页)和视频链接","machine-learning-notes 是一个持续更新的机器学习知识库，汇集了超过 2000 页的讲义、演示文稿及视频资源。它系统性地覆盖了从基础数学（如回归分析、贝叶斯定理）到前沿理论（如神经正切核、PAC-Bayes）的全方位内容，并包含针对生成式 AI 的深度解析，例如结合 PyTorch 代码详解 Transformer 架构、键值缓存及多头潜在注意力机制。\n\n这套资料主要解决了机器学习学习者难以找到兼具数学深度与代码实战的高质量系统性教程的痛点。作者不仅提供了详尽的英文文档，还配套了定期的中英文直播研讨会，帮助读者跨越理论与工程落地之间的鸿沟。\n\nmachine-learning-notes 特别适合具备一定线性代数、微积分及概率统计基础的开发者、研究人员及研究生使用。对于希望深入理解算法底层逻辑而非仅调用库函数的进阶用户，这里提供了极佳的研读材料。其独特亮点在于将严谨的数学推导与现代深度学习框架（如 PyTorch）紧密结合，并紧跟技术热点（如 Deepseek 相关技术），同时提供多平台视频讲解，让复杂的理论研究变得更加直观易懂。","# Live Machine Learning Class:\n\n### 中文机器学习研究线上课\n2022年我坚持每周日晚上8:30直播机器学习研究课程系列 ([微信二维码在这个链接](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fclass_qrcode.jpg))- From 2022, I hold regular 8:30pm Sunday Night live (SNL) broadcast on Machine Learning theory.\n\n### English version\nFrom April 2022, I started a machine learning research seminar series every 2-3 weeks in English via Zoom. It's at 7pm Hong Kong Time. I will continue to explain machine learning using an intermediate level mathematics. The current topic is: \"Gradient Descend Research\". You need a solid understanding of linear algebra, calculus, probability and statistics.\nYou can register via meetup https:\u002F\u002Fwww.meetup.com\u002Fmachine-learning-hong-kong\u002F \n(Back in Australia, I also conducted research training to all machine learning PhD students at Australian universities, with over 100 students participating via Zoom.)\n\n# Learning Theory Classes\n\n* ### [Class 1: Introduction](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F1.introduction.pdf) ###\n* ### [Class 2: Concentration Inequality](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F2.concentration_inequality.pdf) ###\n* ### [Class 3: Rademarcher Complexity](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F3.rademarcher.pdf) ###\n* ### [Class 4: Neural Tangent Kernel](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F4.ntk.pdf) ###\n* ### [Class 5: PAC Bayes](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F5.pac_bayes.pdf) ###\n* ### [Class 6: Johnson–Lindenstrauss lemma](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fj_l_lemma.pdf) ###\n\n\n# Generative AI\n\n* ### [Transfomer with PyTorch](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ftransformer.pdf) ###\nanalysis of the Transformer model using PyTorch code, covering the basic architecture, K-V Caching, Decoupled RoPE, and Deepseek's Multi-Head Latent Attention. 结合 PyTorch 代码深入解析了 Transformer 模型，内容涵盖基础架构、键值缓存、解耦旋转位置编码以及 Deepseek 的多头潜在注意力机制。\n\n\n# Video Tutorial to these notes 视频资料\n\n* I recorded about 20% of these notes in videos in 2015 in Mandarin (all my notes and writings are in English) You may find them on [Youtube](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUConITmGn5PFr0hxTI2tWD4Q) and [bilibili](https:\u002F\u002Fspace.bilibili.com\u002F327617676) and [Youku](http:\u002F\u002Fi.youku.com\u002Fi\u002FUMzIzNDgxNTg5Ng)       \n\n我在2015年用中文录制了这些课件中约10％的内容 (我目前的课件都是英文的)大家可以在[Youtube](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUConITmGn5PFr0hxTI2tWD4Q) [哔哩哔哩](https:\u002F\u002Fspace.bilibili.com\u002F327617676) and [优酷](http:\u002F\u002Fi.youku.com\u002Fi\u002FUMzIzNDgxNTg5Ng) 下载\n\n\n# Course on Foundational Mathematics in Machine Learning 机器学习基础数学课程\n\n* ### [Class 1: Model Evaluation](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_model_evaluation.pdf) ###\ncommon concepts and techniques for classification model evaluation, including bootstrapping sampling, confusion matrices, receiver operating characteristic (ROC) curves. 分类模型评估的常见概念和技术，包括自举抽样、混淆矩阵、接收器操作特征 (ROC) 曲线\n\n* ### [Class 2: Decision Tree](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_decision_tree.pdf) ###\nIn addition to all the basics of decision trees, I've added a $\\chi^2$ test section to this note. 除了决策树的所有基础知识之外，我还在此说明中添加了 $\\chi^2$ 测试部分。\n\n* ### [Class 3: Simple Bayes](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_simple_bayes.pdf) ###\nThis note is intended to provide an intuitive explanation of the basic concepts of probability, Bayes' theorem, graphical models of probability. 本课件旨在对概率的基本概念、贝叶斯定理、概率的图形模型提供直观的解释\n\n* ### [Class 4: Regression](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_regression.pdf) ###\nThis note is to explain the century-old, simplest regression models: linear and polynomial regression, and some techniques for evaluating regression performance, especially the coefficient of determination (CoD) method. 这篇笔记是为了解释最简单的回归模型：线性回归和多项式回归，以及一些评估回归性能的技术，尤其是确定系数 (CoD) 方法\n\n* ### [Class 5: Neural Network](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_neural_network.pdf) ###\nFirst I show three different last output layer models: logistic, multinomial, and linear regression. Then I show the concept of gradient descent. The main part is to show a basic fully connected neural network and finally a convolutional neural network. 首先，我展示了三个不同的最后输出层模型：逻辑回归、多项式和线性回归。然后我展示了梯度下降的概念。主要部分是展示一个基本的全连接神经网络，最后是一个卷积神经网络。\n\n* ### [Class 6: Unsupervised Learning](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_unsupervised.pdf) ###\nThis note describes some common topics in unsupervised learning. From the most obvious methods like clustering, to topic modeling (Latent Diricher Allocation) and traditional word embeddings like the word2vec algorithm. 本课件描述了无监督学习中的一些常见主题。从最明显的方法（如聚类）到主题建模和传统的词嵌入（如 word2vec 算法）。\n\n\n# Course on Intemediate Mathematics in Machine Learning 机器学习中级数学课程\n\nI'm currently updating\u002Fvalidating and correcting notes I've written over the past decade and incorporating them into an introduction\u002Fintermediate\u002Fadvanced machine learning course. I will gradually delete all my previous Beamer notes and replace them with technical report notes. 我目前正在更新\u002F验证和更正我在过去十年中写的笔记，并将它们合并到入门\u002F中级\u002F高级机器学习课程中。 我会逐渐删除之前写的 Beamer 笔记，并用技术报告笔记代替它们。\n\n* ### [Expectation Maximization](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_em.pdf) ###\nProof of convergence for E-M, examples of E-M through Gaussian Mixture Model, **[[gmm_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fgmm_demo.m)** and **[[kmeans_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fkmeans_demo.m)** and **[[bilibili video]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23901379)**\n最大期望E-M的收敛证明, E-M到高斯混合模型的例子, **[[gmm_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fgmm_demo.m)** 和 **[[kmeans_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fkmeans_demo.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23901379)**\n\n* ### [Markov Chain Monte Carlo](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_mcmc.pdf) ###\nMCMC background, including random matrix, power method convergence, detailed balance and PageRank algorithm, some basic MCMC methods, including Metropolitan-Hasting, Gibbs, and LDA as an example MCMC背景，包括随机矩阵、幂法收敛、详细平衡和PageRank算法，一些基本的MCMC方法，包括Metropolitan-Hasting、Gibbs和LDA为例\n\n\n* ### [Variational Inference](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_vb.pdf) ###\nExplain Variational Bayes both the non-exponential and exponential family distribution **[[vb_normal_gamma.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fvb_normal_gamma.m)** and **[[bilibili video]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24062247)**   解释变分贝叶斯非指数和指数族分布。**[[vb_normal_gamma.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fvb_normal_gamma.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24062247)** \n\n* ### [State Space Model (Dynamic model)](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_ssm.pdf) ###\nexplain in detail of Kalman Filter  **[[bilibili video]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24225243)**, **[[kalman_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fkalman_demo.m)** and Hidden Markov Model **[[bilibili video]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24132174)** \n\n状态空间模型(动态模型) 详细解释了卡尔曼滤波器\n**[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24225243)**, **[[kalman_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fkalman_demo.m)**\n和隐马尔可夫模型 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24132174)** \n\n\n# Sinovation DeeCamp 创新工场DeeCAMP讲义\n\n* ### [DeeCamp 2019：Story of Softmax](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdeecamp_2019.pdf) ###\n\nproperties of Softmax, Estimating softmax without compute denominator, Probability re-parameterization: Gumbel-Max trick and REBAR algorithm\n (softmax的故事) Softmax的属性, 估计softmax时不需计算分母, 概率重新参数化, Gumbel-Max技巧和REBAR算法\n\n* ### [DeeCamp 2018：When Probabilities meet Neural Networks](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002FDeeCamp2018_Xu_final.pptx) ###\n\nExpectation-Maximization & Matrix Capsule Networks; Determinantal Point Process & Neural Networks compression; Kalman Filter & LSTM; Model estimation & Binary classifier\n(当概率遇到神经网络) 主题包括：EM算法和矩阵胶囊网络; 行列式点过程和神经网络压缩; 卡尔曼滤波器和LSTM; 模型估计和二分类问题关系\n\n\n# Deep Learning Research Topics 深度学习研究\n\n* ### [Variance Reduction](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fvariance_reduction.pdf) ###\nREBAR, RELAX algorithm and some detailed explanation of re-parameterization of Gumbel conditionals   REBAR，RELAX算法以及对Gumbel条件概率重新参数化的一些详细说明\n\n* ### [New Research on Softmax function](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fsoftmax.pdf) ###\nOut-of-distribution, Neural Network Calibration, Gumbel-Max trick, Stochastic Beams Search (some of these lectures overlap with DeeCamp2019)  分布外、神经网络校准、Gumbel-Max 技巧、随机光束(BEAM)搜索（其中一些讲座与 DeeCamp2019 重叠）\n\n* ### [Mathematics for Generative Adversarial Networks](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002FGAN.pdf) ###\nHow GAN works, Traditional GAN, Mathematics on W-GAN, Info-GAN, Bayesian GAN   GAN如何工作，传统GAN，W-GAN数学，Info-GAN，贝叶斯GAN\n\n* ### [A survey of traditional and state-of-the-art Generative Models](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fgenerative_models.pdf) ###\nThis tutorial covers Variational Autoencoders (VAEs) and advanced extensions like Importance Weighted Autoencoders, Normalizing Flows via ELBO, and Adversarial Variational Bayes. It also explores mixture models including Mixture Density and Stick-Breaking VAEs, Dirichlet Process Mixture Models (DPMM) with their SDE variants, and Flow Matching.\n本教程涵盖变分自编码器 (VAE) 及其高级扩展，如重要性加权自编码器、基于 ELBO 的标准化流和对抗变分贝叶斯。此外，还探讨了混合密度 VAE、断棍过程 VAE、狄利克雷过程混合模型 (DPMM) 及其 SDE 版本，以及流匹配等混合模型技术。\n \n* ### [Infinite Depth: NeuralODE and Adjoint Equation](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002FneuralODE_Adjoint.pdf) ###\n\nDiscuss Neural ODE and in particular the use of adjoint equation in Parameter training\n讨论神经ODE，尤其是在参数训练中使用伴随方程\n\n* ### [Bayesian Inference and Deep Learning (Seminar Talk)](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fbayesian_inference_deep_learning.pdf) ###\nThis is a seminar talk I gave on some modern examples in which Bayesian (or probabilistic) framework is to explain, assist and assisted by Deep Learning. 这是我的演讲稿件。归纳了一些最近研究例子中，贝叶斯（或概率）框架来解释，帮助(或被帮助于)深度学习。\n\n\n# Optimization Method 优化方法\n\n* ### [Tutorial on Gradient Descend Research](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fgradient_desend.pdf) ###\nThis is a progressive research note on Implicit Bias and Implicit Regularization of Gradient Descent Algorithms (check out my biweekly seminars), Convergence Research for Stochastic Gradient Descent etc.这是关于梯度下降算法的隐式偏差和隐式正则化的渐进式研究笔记（查看我的双周研讨会）、随机梯度下降的收敛研究等。\n\n\n* ### [Tutorial on Duality](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdual.pdf) ###\nLagrangian duality, dual function, KKT condition, example on support vector machines and Farkas Lemma 拉格朗日对偶、对偶函数、KKT 条件、支持向量机示例 和 Farkas 引理\n\n\n* ### [Conjugate Gradient Descend](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fconjugate.pdf) ###\nA quick explanation of Conjugate Gradient Descend     共轭梯度下降的快速解释\n\n\n# Deep Learning Basics 深度学习基础\n\n* ### [Convolution Neural Networks: from basic to recent Research](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcnn_beyond.pdf) ###\ndetailed explanation of CNN, various Loss function, Centre Loss, contrastive Loss, Residual Networks, Capsule Networks, YOLO, SSD   卷积神经网络：从基础到最近的研究：包括卷积神经网络的详细解释，各种损失函数，中心损失函数，对比损失函数，残差网络，胶囊网络, YOLO，SSD\n\n* ### [Restricted Boltzmann Machine](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Frbm_cd.pdf) ###\nRestricted Boltzmann Machine (RBM) and Contrastive Divergence (CD) Basics  受限玻尔兹曼机 (RBM) 和对比发散 (CD) 基础知识\n\n\n# 3D Geometry Computer vision 3D几何计算机视觉 \n\n* ### [3D Geometry Fundamentals](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcv_3d_foundation.pdf) ###\nCamera Models, Intrinsic and Extrinsic parameter estimation, Epipolar Geometry, 3D reconstruction, Depth Estimation  相机模型，内部和外部参数估计，对极几何，三维重建，图像深度估计\n\n* ### [Recent Deep 3D Geometry based Research](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcv_3d_research.pdf) ###\nRecent research of the following topics: Single image to Camera Model estimation, Multi-Person 3D pose estimation from multi-view, GAN-based 3D pose estimation, Deep Structure-from-Motion, Deep Learning based Depth Estimation,  以下主题的最新研究：单图像到相机模型的估计，基于多视图的多人3D姿势估计，基于GAN的3D姿势估计，基于运动的深度结构，基于深度学习的深度估计\n\nThis section is co-authored with PhD student Yang Li 本部分与博士研究生李杨合写\n\n# Reinforcement Learning 强化学习\n\n* ### [Reinforcement Learning Basics](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdqn.pdf) ###\nbasic knowledge in reinforcement learning, Markov Decision Process, Bellman Equation and move onto Deep Q-Learning   深度增强学习: 强化学习的基础知识，马尔可夫决策过程，贝尔曼方程，深度Q学习\n\n* ### [Monto Carlo Tree Search](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fmcts.pdf) ###\nMonto Carlo Tree Search, alphaGo learning algorithm   蒙托卡罗树搜索，alphaGo学习算法\n\n* ### [Policy Gradient](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_policy_gradient.pdf) ###\nPolicy Gradient Theorem, Mathematics on Trusted Region Optimization in RL, Natural Gradients on TRPO, Proximal Policy Optimization (PPO), Conjugate Gradient Algorithm   政策梯度定理, RL中可信区域优化的数学,TRPO自然梯度, 近似策略优化(PPO), 共轭梯度算法\n\n\n# Natural Language Processing 自然语言处理\n\n* ### [Word Embeddings](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fword_vector.pdf) ###\nGloVe, Fasttext, negative sampling   系统的介绍了自然语言处理中的“词表示”中的技巧\n\n* ### [Deep Natural Language Processing](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_nlp.pdf) ###\nRNN, LSTM, Seq2Seq with Attenion, Beam search, Attention is all you need, Convolution Seq2Seq, Pointer Networks   深度自然语言处理：递归神经网络,LSTM,具有注意力机制的Seq2Seq，集束搜索，指针网络和 \"Attention is all you need\", 卷积Seq2Seq\n\n\n# Data Science PowerPoint and Source Code 数据科学 PowerPoint 和源代码\n\n* ### [introduction to Deep Learning and ChatGPT](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdeep_learning_chatgpt.pdf)\nan introduction to deep learning and ChatGPT [video link](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV14M4y1R7h4\u002F)\n\n\n* ### [30 minutes introduction to AI and Machine Learning](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F30_min_AI.pptx)\nAn extremely gentle 30 minutes introduction to AI and Machine Learning. \n\n* **[[costFunction.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002FcostFunction.m)** \n* **[[soft_max.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fsoft_max.m)** \n* **[[industry data science Jupyter notebook]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Findustry_master_class.ipynb)**\n\n* ### [Recommendation system](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Frecommendation.pdf) ###\ncollaborative filtering, Factorization Machines, Non-Negative Matrix factorisation, Multiplicative Update Rule     推荐系统: 协同过滤，分解机，非负矩阵分解，和期中“乘法更新规则”的介绍\n\n\n# Probabilistic Model 概率模型课件\n\n* ### [Probabilistic Estimation](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fprobability.pdf) ###\nsome useful distributions, conjugacy, MLE, MAP, Exponential family and natural parameters     一些常用的分布，共轭特性，最大似然估计, 最大后验估计, 指数族和自然参数\n\n# Monte-Carlo Inference 蒙特卡洛推理\n\n* ### [Introduction to Monte Carlo](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintroduction_monte_carlo.pdf) ###\ninverse CDF, rejection, adaptive rejection, importance sampling **[[adaptive_rejection_sampling.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fadaptive_rejection_sampling.m)** and **[[hybrid_gmm.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fhybrid_gmm.m)** 累积分布函数逆采样, 拒绝式采样, 自适应拒绝式采样, 重要性采样 **[[adaptive_rejection_sampling.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fadaptive_rejection_sampling.m)** 和 **[[hybrid_gmm.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fhybrid_gmm.m)**\n\n* ### [Markov Chain Monte Carlo](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fmarkov_chain_monte_carlo.pdf) ###\nM-H, Gibbs, Slice Sampling, Elliptical Slice sampling, Swendesen-Wang, demonstrate collapsed Gibbs using LDA **[[lda_gibbs_example.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Flda_gibbs_example.m)** and **[[test_autocorrelation.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Ftest_autocorrelation.m)** and **[[gibbs.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fgibbs.m)** and **[[bilibili video]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23980130)** 马尔可夫链蒙特卡洛的各种方法 **[[lda_gibbs_example.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Flda_gibbs_example.m)** 和 **[[test_autocorrelation.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Ftest_autocorrelation.m)** 和 **[[gibbs.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fgibbs.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23980130)**\n\n\n* ### [Particle Filter (Sequential Monte-Carlo)](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fparticle_filter.pdf) ###\nSequential Monte-Carlo, Condensational Filter algorithm, Auxiliary Particle Filter **[[bilibili video]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24285449)**    粒子滤波器（序列蒙特卡洛）**[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24285449)**\n\n# Advanced Probabilistic Model 高级概率模型课件\n\n* ### [Bayesian Non Parametrics (BNP) and its inference basics](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fnon_parametrics.pdf) ###\nDircihlet Process (DP), Chinese Restaurant Process insights, Slice sampling for DP **[[dirichlet_process.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fdirichlet_process.m)** and **[[bilibili video]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23881062)** and **[[Jupyter Notebook]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fpython_machine_learning\u002Fblob\u002Fmaster\u002Fchinese_restaurant_process.ipynb)**\n\n非参贝叶斯及其推导基础: 狄利克雷过程,中国餐馆过程,狄利克雷过程Slice采样 **[[dirichlet_process.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fdirichlet_process.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23881062)** 和 **[[Jupyter Notebook]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fpython_machine_learning\u002Fblob\u002Fmaster\u002Fchinese_restaurant_process.ipynb)**\n\n* ### [Bayesian Non Parametrics (BNP) extensions](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fnon_parametrics_extensions.pdf) ###\nHierarchical DP, HDP-HMM, Indian Buffet Process (IBP)     非参贝叶斯扩展: 层次狄利克雷过程，分层狄利克雷过程-隐马尔可夫模型，印度自助餐过程(IBP)\n\n* ### [Completely Random Measure (early draft - written in 2015)](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Frandom_measure.pdf) ###\nLevy-Khintchine representation, Compound Poisson Process, Gamma Process, Negative Binomial Process     Levy-Khintchine表示，复合Poisson过程，Gamma过程，负二项过程\n\n* ### [Sample correlated integers from HDP and Copula](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcopula_dp.pdf) ###\nThis is an alternative explanation to our [IJCAI 2016 papers](https:\u002F\u002Fwww.ijcai.org\u002FProceedings\u002F16\u002FPapers\u002F210.pdf). The derivations are different from the paper, but portraits the same story.     这是对我的[IJCAI2016论文](https:\u002F\u002Fwww.ijcai.org\u002FProceedings\u002F16\u002FPapers\u002F210.pdf) 的一个不同解释。虽然写的方法公式推导不同，但描绘的是同一事情\n\n* ### [Determinantal Point Process](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdpp.pdf) ###\nexplain the details of DPP’s marginal distribution, L-ensemble, its sampling strategy, our work in time-varying DPP     行列式点过程解释:行列式点过程的边缘分布，L-ensemble，其抽样策略，我们在“时变行列式点过程”中的工作细节\n\n* ### [Determinantal Point Process Basics (updated)](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdpp_new.pdf) ###\nthis is a re-write of the previous DPP tutorial without the time-vaying part      这是之前DPP教程的重写，没有时间变化部分\n\n# Special Thanks\n* I want to thank all the Universities where I have worked for tolerating me indulging my love of knowledge dissemination. \n我要感谢所有我工作过的大学容忍我沉迷于知识传播\n\n* I always look for high quality PhD students in Machine Learning, both in terms of probabilistic model and Deep Learning theory. Contact me on xuyida@hkbu.edu.hk     如果你想加入我的机器学习博士生团队或有兴趣合作, 请通过xuyida@hkbu.edu.hk与我联系。\n","# 现场机器学习课程：\n\n### 中文机器学习研究线上课\n2022年我坚持每周日晚上8:30直播机器学习研究课程系列 ([微信二维码在这个链接](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fclass_qrcode.jpg))- From 2022, I hold regular 8:30pm Sunday Night live (SNL) broadcast on Machine Learning theory.\n\n### 英文版\n自2022年4月起，我每2-3周通过Zoom用英语举办一次机器学习研究研讨会。时间是香港时间晚上7点。我将继续以中等难度的数学知识来讲解机器学习。目前的主题是：“梯度下降研究”。参与者需要具备扎实的线性代数、微积分、概率论和统计学基础。\n您可以通过Meetup平台注册：https:\u002F\u002Fwww.meetup.com\u002Fmachine-learning-hong-kong\u002F \n（在澳大利亚期间，我也曾为澳大利亚各大学的所有机器学习博士生开展研究培训，超过100名学生通过Zoom参与了培训。）\n\n# 学习理论课程\n\n* ### [第1课：导论](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F1.introduction.pdf) ###\n* ### [第2课：集中不等式](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F2.concentration_inequality.pdf) ###\n* ### [第3课：Rademacher复杂度](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F3.rademarcher.pdf) ###\n* ### [第4课：神经切空间核](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F4.ntk.pdf) ###\n* ### [第5课：PAC贝叶斯](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F5.pac_bayes.pdf) ###\n* ### [第6课：约翰逊–林登斯特劳斯引理](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fj_l_lemma.pdf) ###\n\n\n# 生成式AI\n\n* ### [使用PyTorch的Transformer](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ftransformer.pdf) ###\n结合PyTorch代码深入解析了 Transformer 模型，内容涵盖基础架构、键值缓存、解耦旋转位置编码以及 Deepseek 的多头潜在注意力机制。\n\n\n# 视频教程这些笔记 视频资料\n\n* 我在2015年用中文录制了这些笔记中约20％的内容（我目前的笔记和文章都是英文的）。您可以在[Youtube](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUConITmGn5PFr0hxTI2tWD4Q)、[哔哩哔哩](https:\u002F\u002Fspace.bilibili.com\u002F327617676) 和 [优酷](http:\u002F\u002Fi.youku.com\u002Fi\u002FUMzIzNDgxNTg5Ng) 上找到这些视频。 \n\n我在2015年用中文录制了这些课件中约10％的内容 (我目前的课件都是英文的)大家可以在[Youtube](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUConITmGn5PFr0hxTI2tWD4Q) [哔哩哔哩](https:\u002F\u002Fspace.bilibili.com\u002F327617676) and [优酷](http:\u002F\u002Fi.youku.com\u002Fi\u002FUMzIzNDgxNTg5Ng) 下载\n\n\n# 机器学习基础数学课程\n\n* ### [第1课：模型评估](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_model_evaluation.pdf) ###\n分类模型评估的常见概念和技术，包括自举抽样、混淆矩阵、接收器操作特征 (ROC) 曲线。\n\n* ### [第2课：决策树](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_decision_tree.pdf) ###\n除了决策树的所有基础知识之外，我还在此说明中添加了 $\\chi^2$ 测试部分。\n\n* ### [第3课：简单贝叶斯](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_simple_bayes.pdf) ###\n本课件旨在对概率的基本概念、贝叶斯定理、概率的图形模型提供直观的解释。\n\n* ### [第4课：回归](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_regression.pdf) ###\n这篇笔记是为了解释最简单的回归模型：线性回归和多项式回归，以及一些评估回归性能的技术，尤其是确定系数 (CoD) 方法。\n\n* ### [第5课：神经网络](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_neural_network.pdf) ###\n首先，我展示了三个不同的最后输出层模型：逻辑回归、多项式和线性回归。然后我展示了梯度下降的概念。主要部分是展示一个基本的全连接神经网络，最后是一个卷积神经网络。\n\n* ### [第6课：无监督学习](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ffoundation_unsupervised.pdf) ###\n本课件描述了无监督学习中的一些常见主题。从最明显的方法（如聚类）到主题建模和传统的词嵌入（如 word2vec 算法）。\n\n# 机器学习中级数学课程\n\n我目前正在更新\u002F验证和更正我在过去十年中写的笔记，并将它们合并到入门\u002F中级\u002F高级机器学习课程中。 我会逐渐删除之前写的 Beamer 笔记，并用技术报告笔记代替它们。\n\n* ### [期望最大化](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_em.pdf) ###\nE-M的收敛证明, E-M到高斯混合模型的例子, **[[gmm_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fgmm_demo.m)** 和 **[[kmeans_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fkmeans_demo.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23901379)**\n\n* ### [马尔可夫链蒙特卡洛](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_mcmc.pdf) ###\nMCMC背景，包括随机矩阵、幂法收敛、详细平衡和PageRank算法，一些基本的MCMC方法，包括Metropolitan-Hasting、Gibbs和LDA为例\n\n\n* ### [变分推断](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_vb.pdf) ###\n解释变分贝叶斯非指数和指数族分布。**[[vb_normal_gamma.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fvb_normal_gamma.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24062247)** \n\n* ### [状态空间模型（动态模型）](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_ssm.pdf) ###\n详细解释了卡尔曼滤波器\n**[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24225243)**, **[[kalman_demo.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fkalman_demo.m)**\n和隐马尔可夫模型 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24132174)** \n\n\n# 创新工场DeeCAMP讲义\n\n* ### [DeeCamp 2019：Softmax的故事](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdeecamp_2019.pdf) ###\n\nsoftmax的属性, 估计softmax时不需计算分母, 概率重新参数化, Gumbel-Max技巧和REBAR算法\n\n* ### [DeeCamp 2018：当概率遇到神经网络](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002FDeeCamp2018_Xu_final.pptx) ###\n\nEM算法和矩阵胶囊网络; 行列式点过程和神经网络压缩; 卡尔曼滤波器和LSTM; 模型估计和二分类问题关系\n\n\n# 深度学习研究\n\n* ### [方差缩减](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fvariance_reduction.pdf) ###\nREBAR，RELAX算法以及对Gumbel条件概率重新参数化的一些详细说明\n\n* ### [关于Softmax函数的新研究](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fsoftmax.pdf) ###\n分布外、神经网络校准、Gumbel-Max 技巧、随机光束(BEAM)搜索（其中一些讲座与 DeeCamp2019 重叠）\n\n* ### [生成对抗网络的数学原理](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002FGAN.pdf) ###\nGAN如何工作，传统GAN，W-GAN数学，Info-GAN，贝叶斯GAN\n\n* ### [传统与前沿生成模型综述](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fgenerative_models.pdf) ###\n本教程涵盖变分自编码器 (VAE) 及其高级扩展，如重要性加权自编码器、基于 ELBO 的标准化流和对抗变分贝叶斯。此外，还探讨了混合密度 VAE、断棍过程 VAE、狄利克雷过程混合模型 (DPMM) 及其 SDE 版本，以及流匹配等混合模型技术。\n \n* ### [无限深度：NeuralODE与伴随方程](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002FneuralODE_Adjoint.pdf) ###\n\n讨论神经ODE，尤其是在参数训练中使用伴随方程\n\n* ### [贝叶斯推断与深度学习（研讨会演讲）](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fbayesian_inference_deep_learning.pdf) ###\n这是我的演讲稿件。归纳了一些最近研究例子中，贝叶斯（或概率）框架来解释，帮助(或被帮助于)深度学习。\n\n\n# 优化方法\n\n* ### [梯度下降研究教程](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fgradient_desend.pdf) ###\n这是关于梯度下降算法的隐式偏差和隐式正则化的渐进式研究笔记（查看我的双周研讨会）、随机梯度下降的收敛研究等。\n\n\n* ### [对偶理论教程](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdual.pdf) ###\n拉格朗日对偶、对偶函数、KKT 条件、支持向量机示例 和 Farkas 引理\n\n\n* ### [共轭梯度下降](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fconjugate.pdf) ###\n共轭梯度下降的快速解释\n\n# 深度学习基础\n\n* ### [卷积神经网络：从基础到最近的研究](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcnn_beyond.pdf) ###\n卷积神经网络的详细解释，各种损失函数，中心损失函数，对比损失函数，残差网络，胶囊网络, YOLO，SSD\n\n* ### [受限玻尔兹曼机](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Frbm_cd.pdf) ###\n受限玻尔兹曼机 (RBM) 和对比发散 (CD) 基础知识\n\n\n# 3D几何计算机视觉 \n\n* ### [3D几何基础](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcv_3d_foundation.pdf) ###\n相机模型，内部和外部参数估计，对极几何，三维重建，图像深度估计\n\n* ### [基于3D几何的最新深度学习研究](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcv_3d_research.pdf) ###\n以下主题的最新研究：单图像到相机模型的估计，基于多视图的多人3D姿势估计，基于GAN的3D姿势估计，基于运动的深度结构，基于深度学习的深度估计\n\n本部分与博士研究生李杨合写\n\n# 强化学习\n\n* ### [强化学习基础](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdqn.pdf) ###\n强化学习的基础知识，马尔可夫决策过程，贝尔曼方程，深度Q学习\n\n* ### [蒙特卡洛树搜索](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fmcts.pdf) ###\n蒙特卡洛树搜索，alphaGo学习算法\n\n* ### [策略梯度](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_policy_gradient.pdf) ###\n策略梯度定理, RL中可信区域优化的数学,TRPO自然梯度, 近似策略优化(PPO), 共轭梯度算法\n\n\n# 自然语言处理\n\n* ### [词嵌入](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fword_vector.pdf) ###\nGloVe, Fasttext, 负采样   系统的介绍了自然语言处理中的“词表示”中的技巧\n\n* ### [深度自然语言处理](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_nlp.pdf) ###\n递归神经网络,LSTM,具有注意力机制的Seq2Seq，集束搜索，指针网络和 \"Attention is all you need\", 卷积Seq2Seq\n\n\n# 数据科学 PowerPoint 和源代码\n\n* ### [深度学习与ChatGPT简介](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdeep_learning_chatgpt.pdf)\n深度学习与ChatGPT简介 [视频链接](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV14M4y1R7h4\u002F)\n\n\n* ### [30分钟人工智能与机器学习入门](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002F30_min_AI.pptx)\n极其温和的30分钟人工智能与机器学习入门。\n\n* **[[costFunction.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002FcostFunction.m)** \n* **[[soft_max.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fsoft_max.m)** \n* **[[工业数据科学Jupyter笔记本]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Findustry_master_class.ipynb)**\n\n* ### [推荐系统](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Frecommendation.pdf) ###\n协同过滤，分解机，非负矩阵分解，以及“乘法更新规则”的介绍\n\n\n# 概率模型课件\n\n* ### [概率估计](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fprobability.pdf) ###\n一些常用的分布，共轭特性，最大似然估计, 最大后验估计, 指数族和自然参数\n\n# 蒙特卡洛推理\n\n* ### [蒙特卡洛方法简介](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintroduction_monte_carlo.pdf) ###\n逆累积分布函数采样, 拒绝式采样, 自适应拒绝式采样, 重要性采样 **[[adaptive_rejection_sampling.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fadaptive_rejection_sampling.m)** 和 **[[hybrid_gmm.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fhybrid_gmm.m)**\n\n* ### [马尔可夫链蒙特卡洛](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fmarkov_chain_monte_carlo.pdf) ###\nM-H, Gibbs, 切片采样, 椭圆切片采样, Swendesen-Wang, 使用LDA演示坍缩吉布斯采样 **[[lda_gibbs_example.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Flda_gibbs_example.m)** 和 **[[test_autocorrelation.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Ftest_autocorrelation.m)** 和 **[[gibbs.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fgibbs.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23980130)** 马尔可夫链蒙特卡洛的各种方法 **[[lda_gibbs_example.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Flda_gibbs_example.m)** 和 **[[test_autocorrelation.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Ftest_autocorrelation.m)** 和 **[[gibbs.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fgibbs.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23980130)**\n\n\n* ### [粒子滤波器（序列蒙特卡洛）](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fparticle_filter.pdf) ###\n序列蒙特卡洛，凝聚滤波算法，辅助粒子滤波 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav24285449)**\n\n# 高级概率模型课件\n\n* ### [非参贝叶斯及其推导基础](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fnon_parametrics.pdf) ###\n狄利克雷过程(DP)，中国餐馆过程见解，DP的Slice采样 **[[dirichlet_process.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fdirichlet_process.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23881062)** 和 **[[Jupyter Notebook]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fpython_machine_learning\u002Fblob\u002Fmaster\u002Fchinese_restaurant_process.ipynb)**\n\n非参贝叶斯及其推导基础: 狄利克雷过程,中国餐馆过程,狄利克雷过程Slice采样 **[[dirichlet_process.m]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos\u002Fblob\u002Fmaster\u002Fdirichlet_process.m)** 和 **[[B站视频链接]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav23881062)** 和 **[[Jupyter Notebook]](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fpython_machine_learning\u002Fblob\u002Fmaster\u002Fchinese_restaurant_process.ipynb)**\n\n* ### [非参贝叶斯扩展](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fnon_parametrics_extensions.pdf) ###\n层次狄利克雷过程，分层狄利克雷过程-隐马尔可夫模型，印度自助餐过程(IBP)     非参贝叶斯扩展: 层次狄利克雷过程，分层狄利克雷过程-隐马尔可夫模型，印度自助餐过程(IBP)\n\n* ### [完全随机测度（2015年撰写初稿）](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Frandom_measure.pdf) ###\nLevy-Khintchine表示，复合Poisson过程，Gamma过程，负二项过程     Levy-Khintchine表示，复合Poisson过程，Gamma过程，负二项过程\n\n* ### [从HDP和Copula中抽取相关整数](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fcopula_dp.pdf) ###\n这是对我[IJCAI 2016论文](https:\u002F\u002Fwww.ijcai.org\u002FProceedings\u002F16\u002FPapers\u002F210.pdf) 的一个不同解释。虽然写的方法公式推导不同，但描绘的是同一事情\n\n* ### [行列式点过程](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdpp.pdf) ###\n行列式点过程的边缘分布，L-ensemble，其抽样策略，我们在“时变行列式点过程”中的工作细节\n\n* ### [行列式点过程基础（更新版）](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fdpp_new.pdf) ###\n这是之前DPP教程的重写，没有时间变化部分\n\n# 特别致谢\n* 我要感谢所有我工作过的大学容忍我沉迷于知识传播\n\n* 如果你想加入我的机器学习博士生团队或有兴趣合作, 请通过xuyida@hkbu.edu.hk与我联系。","# machine-learning-notes 快速上手指南\n\n`machine-learning-notes` 并非一个需要编译安装的传统软件库，而是一个由机器人学专家整理的**高质量机器学习理论与代码笔记集合**。本指南将帮助你快速获取、浏览并结合配套代码运行这些学习资料。\n\n## 环境准备\n\n由于笔记内容涵盖从基础数学到前沿生成式 AI（如 Transformer, GAN, Neural ODE）的广泛主题，且部分笔记附带了 MATLAB 或 PyTorch 实现代码，建议准备以下环境：\n\n### 1. 系统要求\n*   **操作系统**：Windows \u002F macOS \u002F Linux 均可（笔记主要为 PDF\u002FPPTX 文档，代码演示多基于 MATLAB 或 Python）。\n*   **网络环境**：需能访问 GitHub 以获取源码；观看视频教程推荐访问 Bilibili（国内加速）。\n\n### 2. 前置依赖\n根据你想运行的具体章节代码，选择安装以下工具：\n\n*   **文档阅读**：任意 PDF 阅读器。\n*   **Python 环境（针对 Transformer 及深度学习章节）**：\n    *   Python 3.8+\n    *   PyTorch (推荐最新稳定版)\n    *   Jupyter Notebook (可选，用于交互式学习)\n*   **MATLAB 环境（针对中级数学课程章节）**：\n    *   MATLAB R2018b 或更高版本（笔记中包含 `.m` 演示文件，如 `gmm_demo.m`, `kalman_demo.m`）。\n\n### 3. 安装依赖命令\n若需运行 Python 相关示例（如 Transformer 分析），请使用以下命令创建环境并安装依赖：\n\n```bash\n# 创建虚拟环境\npython -m venv ml_notes_env\n\n# 激活环境 (Windows)\nml_notes_env\\Scripts\\activate\n# 激活环境 (macOS\u002FLinux)\nsource ml_notes_env\u002Fbin\u002Factivate\n\n# 安装 PyTorch (推荐使用国内清华源加速)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 安装其他常用数据科学库\npip install numpy matplotlib pandas jupyter\n```\n\n> **注意**：大部分核心内容为理论推导笔记（PDF），无需安装即可直接阅读。仅当需要复现笔记中的算法演示时才需配置上述代码环境。\n\n## 安装步骤（获取笔记）\n\n本项目主要通过 Git 克隆或直接下载的方式获取全部学习资料。\n\n### 方法一：使用 Git 克隆（推荐）\n适合希望本地保存所有笔记并跟踪更新的开发者。\n\n```bash\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes.git\n\n# 进入目录\ncd machine-learning-notes\n```\n\n### 方法二：直接下载特定笔记\n如果你只关注特定主题（如生成式 AI 或基础数学），可直接在浏览器访问 `files` 目录下载对应的 `.pdf` 或 `.pptx` 文件，无需克隆整个仓库。\n\n*   仓库地址：https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Ftree\u002Fmaster\u002Ffiles\n\n## 基本使用\n\n本项目的核心使用方式是**“阅读理论笔记 + 运行配套代码演示”**。\n\n### 1. 浏览理论课程\n进入 `files` 目录，根据你的知识水平选择对应的笔记进行阅读：\n\n*   **入门基础**：查看 `foundation_*.pdf` 系列（涵盖模型评估、决策树、贝叶斯、回归、神经网络基础）。\n*   **中级数学**：查看 `intermediate_*.pdf` 系列（涵盖 EM 算法、MCMC、变分推断、状态空间模型）。\n*   **前沿研究**：查看 `transformer.pdf` (Generative AI), `GAN.pdf`, `neuralODE_Adjoint.pdf` 等。\n\n### 2. 运行代码示例\n部分笔记提供了可执行的代码演示，以下是两个典型示例：\n\n#### 示例 A：运行 MATLAB 演示（以高斯混合模型为例）\n对应笔记：[Expectation Maximization](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Fintermediate_em.pdf)\n\n1.  打开 MATLAB。\n2.  将当前路径切换至克隆下来的 `matlab_demos` 目录（需单独克隆该子模块或从作者其他仓库获取）：\n    ```matlab\n    % 假设已获取 matlab_demos 仓库\n    cd 'path\u002Fto\u002Fmatlab_demos'\n    ```\n3.  运行演示脚本：\n    ```matlab\n    gmm_demo\n    ```\n    *这将可视化 EM 算法在高斯混合模型中的收敛过程。*\n\n#### 示例 B：研读 Transformer 架构（PyTorch）\n对应笔记：[Transformer with PyTorch](https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fblob\u002Fmaster\u002Ffiles\u002Ftransformer.pdf)\n\n该笔记结合了 PyTorch 代码深入解析了 K-V Cache、RoPE 及多头注意力机制。虽然仓库中主要提供理论 PDF，但你可以参照笔记中的伪代码或公式，在你的 Python 环境中构建模型：\n\n```python\nimport torch\nimport torch.nn as nn\n\n# 参考笔记中的 \"Basic Architecture\" 章节构建一个简单的 Attention 层\nclass SimpleAttention(nn.Module):\n    def __init__(self, embed_dim, num_heads):\n        super().__init__()\n        self.num_heads = num_heads\n        self.head_dim = embed_dim \u002F\u002F num_heads\n        self.qkv = nn.Linear(embed_dim, embed_dim * 3)\n        self.proj = nn.Linear(embed_dim, embed_dim)\n\n    def forward(self, x):\n        B, T, C = x.size()\n        q, k, v = self.qkv(x).chunk(3, dim=-1)\n        # 此处逻辑需参考 transformer.pdf 中的详细数学推导进行实现\n        # 笔记重点讲解了 Decoupled RoPE 和 Deepseek 的多头潜在注意力机制\n        return x # 占位返回\n\n# 实例化\nmodel = SimpleAttention(embed_dim=768, num_heads=12)\nprint(\"Model structure ready for implementation based on notes.\")\n```\n\n### 3. 配合视频教程学习\n作者为部分笔记录制了中文讲解视频，建议边看笔记边观看视频以获得最佳效果：\n\n*   **哔哩哔哩 (Bilibili)**：访问作者主页 [https:\u002F\u002Fspace.bilibili.com\u002F327617676](https:\u002F\u002Fspace.bilibili.com\u002F327617676)\n    *   搜索视频标题关键词（如 \"EM 算法\", \"卡尔曼滤波\", \"变分贝叶斯\"）即可找到对应笔记的视频讲解（例如视频 `av23901379` 对应 EM 算法笔记）。\n*   **直播回放**：关注作者每周日晚 8:30 的机器学习研究课程直播预告。\n\n通过以上步骤，你可以充分利用 `machine-learning-notes` 资源，系统性地提升机器学习理论水平并掌握核心算法的实现细节。","某高校人工智能实验室的博士生李明，正致力于研究深度神经网络的泛化能力，急需深入理解神经正切核（NTK）与 PAC-Bayes 等前沿理论以支撑其论文推导。\n\n### 没有 machine-learning-notes 时\n- **理论门槛极高**：面对复杂的数学证明，只能零散查阅经典教材，缺乏针对机器学习场景的系统性中间层数学讲解，导致理解进度缓慢。\n- **代码与理论脱节**：在复现 Transformer 架构时，难以将 K-V Cache、解耦 RoPE 等工程技巧与背后的数学原理对应，调试过程如同“黑盒”摸索。\n- **学习资源碎片化**：中文资料往往浅尝辄止，英文顶会论文又过于晦涩，缺乏既能提供严谨公式推导又能配套视频直观解释的桥梁性资源。\n- **前沿跟进滞后**：对于 Deepseek 多头潜在注意力机制等最新技术，找不到及时更新的深度解析材料，严重拖慢科研创新节奏。\n\n### 使用 machine-learning-notes 后\n- **构建系统知识体系**：直接利用 Class 4 和 Class 5 讲义，通过清晰的中间层数学语言快速掌握了 NTK 和 PAC-Bayes 的核心推导，大幅缩短文献调研时间。\n- **实现理实深度融合**：参考 PyTorch 版 Transformer 专项笔记，逐行对照代码理解架构细节，迅速厘清了复杂模块的数学本质，提升了模型复现效率。\n- **享受双语立体教学**：结合英文详细幻灯片与 2015 年录制的中文视频讲解，既能确保术语准确性，又能通过母语辅助突破难点，学习体验流畅自然。\n- **同步全球前沿研究**：通过每周更新的直播课程和最新讲义，即时获取关于梯度下降研究等一手学术动态，确保研究方向始终处于领域前沿。\n\nmachine-learning-notes 成功填补了基础数学与顶尖科研之间的鸿沟，让研究者能以更低的认知成本驾驭复杂的机器学习理论。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Froboticcam_machine-learning-notes_f7ca7d00.png","roboticcam","Prof Richard Xu                 徐亦达教授","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Froboticcam_ddb9f176.jpg","Professor Hong Kong Baptist University (HKBU) \r\nFounder, Hong Kong TadReamk Limited","Department of Mathematics, Hong Kong Baptist University 香港浸会大学数学系","Hong Kong",null,"https:\u002F\u002Fwww.math.hkbu.edu.hk\u002Fpeople\u002Fxu-yi-da\u002F","https:\u002F\u002Fgithub.com\u002Froboticcam",[86],{"name":87,"color":88,"percentage":89},"Jupyter Notebook","#DA5B0B",100,9643,1774,"2026-04-10T19:31:23","","未说明",{"notes":96,"python":94,"dependencies":97},"该项目主要为机器学习理论课程笔记、PDF 课件及视频讲座合集，并非一个需要特定环境部署的可执行软件包。文中提到的代码示例（如 gmm_demo.m, kalman_demo.m）主要基于 MATLAB，部分 Transformer 分析涉及 PyTorch 代码片段供学习参考，但未提供完整的安装脚本或具体的版本依赖要求。用户只需具备阅读 PDF 和运行相应数学软件（MATLAB 或 Python\u002FPyTorch）的基础环境即可。",[98,99],"PyTorch (提及用于 Transformer 分析)","MATLAB (提及用于部分演示代码 .m 文件)",[18],"2026-03-27T02:49:30.150509","2026-04-12T02:14:14.095349",[104,109,114,119,124],{"id":105,"question_zh":106,"answer_zh":107,"source_url":108},30167,"课程的示例代码（Matlab）在哪里可以找到？","课程中使用的 Matlab 示例代码托管在单独的仓库中，可以通过以下链接访问：https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmatlab_demos","https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fissues\u002F7",{"id":110,"question_zh":111,"answer_zh":112,"source_url":113},30168,"变分推断笔记第 9 页将 ELBO 改写为 KL 散度时，公式是否存在错误？","关于该处的推导存在讨论。有用户指出 KL 散度公式中的期望项前可能需要添加 exp 指数符号；但维护者回应称，第 9 页的公式是直接根据上一行的 L(qj) 紧扣 KL 散度定义得出的，因此期望前不需要额外添加 exp。同时，对于为何使用 qi(zi) 的疑问，维护者解释认为 qi(zi) 在该页第一个公式的积分过程中已被处理。","https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fissues\u002F4",{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},30169,"决策树讲义笔记中的表格数字显示为问号（??）怎么办？","这是已知的问题，通常是由于 PDF 阅读器字体缺失或编码问题导致表格后的数字无法正确渲染。建议尝试更换 PDF 阅读器（如 Adobe Acrobat Reader）或检查系统字体设置。若问题依旧，可能需要等待作者更新修复版的笔记文件。","https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fissues\u002F26",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},30170,"直播或资料分享的二维码失效了怎么办？","二维码具有时效性，过期后无法扫描。如果遇到二维码失效的情况（如周六直播二维码），请直接查看项目主页的最新公告、README 文件或最新的 Issue 讨论，作者通常会在这些地方发布新的有效二维码或替代链接。","https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fissues\u002F17",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},30171,"dynamic_model.pdf 第 33 页公式推导最后一步是否漏掉了 p(y1|q1)？","这是一个关于公式推导细节的疑问。目前该 Issue 下暂无官方回复确认是否为笔误。建议读者结合上下文推导逻辑自行验证，或参考标准的动态模型教材进行比对。如果确认是遗漏，通常在该条件独立假设下该项可能被合并或省略，具体需视模型假设而定。","https:\u002F\u002Fgithub.com\u002Froboticcam\u002Fmachine-learning-notes\u002Fissues\u002F1",[]]