[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-shunliz--Machine-Learning":3,"tool-shunliz--Machine-Learning":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,2,"2026-04-05T10:45:23",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[19,13,20,18],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,1,"2026-04-03T21:50:24",[20,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},2234,"scikit-learn","scikit-learn\u002Fscikit-learn","scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。\n\n对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。\n\n其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最",65628,"2026-04-05T10:10:46",[20,18,14],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":10,"last_commit_at":63,"category_tags":64,"status":22},3364,"keras","keras-team\u002Fkeras","Keras 是一个专为人类设计的深度学习框架，旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。\n\n无论是刚入门的学生、专注算法的研究人员，还是需要快速落地产品的工程师，都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。\n\nKeras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码，即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性，还允许开发者根据需求自由选择：利用 JAX 或 PyTorch 的即时执行模式进行高效调试，或切换至速度最快的后端以获得最高 350% 的性能提升。此外，Keras 具备强大的扩展能力，能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群，是连接原型开发与生产部署的理想桥梁。",63927,"2026-04-04T15:24:37",[20,14,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":79,"owner_website":82,"owner_url":83,"languages":84,"stars":89,"forks":90,"last_commit_at":91,"license":79,"difficulty_score":46,"env_os":92,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":104,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":22,"created_at":105,"updated_at":106,"faqs":107,"releases":108},3714,"shunliz\u002FMachine-Learning","Machine-Learning","机器学习原理","Machine-Learning 是一份系统化的机器学习原理笔记合集，旨在帮助学习者从零构建完整的知识体系。它主要解决了机器学习领域理论深奥、数学门槛高以及理论与实践脱节的痛点。内容规划清晰，前半部分深耕数学基础，涵盖微积分、概率统计及线性代数，并提供详尽的公式推导；后半部分则聚焦工程实战，详细讲解数据清洗、特征工程、回归分析及各类主流算法的应用。\n\n这份资料特别适合希望夯实理论基础的研究人员、需要查阅公式推导的学生，以及寻求从理论过渡到代码实现的开发者。其独特亮点在于不仅罗列概念，更对牛顿法、MCMC 采样、KKT 条件等核心难点进行了深度剖析，同时结合 NumPy、Scikit-learn、TensorFlow 等常用库提供了具体的实践指南。无论是想理解算法背后的数学逻辑，还是掌握变量分箱、特征筛选等落地技巧，Machine-Learning 都能提供详实可靠的参考，是连接学术理论与工业应用的优质桥梁。","# 机器学习原理\n\n---\n\n机器学习原理笔记整理. Gitbook地址[https:\u002F\u002Fshunliz.gitbooks.io\u002Fmachine-learning\u002Fcontent\u002F](https:\u002F\u002Fshunliz.gitbooks.io\u002Fmachine-learning\u002Fcontent\u002F)  \n前半部分关注数学基础，机器学习和深度学习的理论部分，详尽的公式推导。  \n后半部分关注工程实践和理论应用部分\n\n**内容基本都是从互联网上扒来的，侵权的话联系：zsl6658@126.com。**\n\n[如何贡献？](\u002FCONTRIBUTING.md)\n\n# 赞助\n\n如果您觉得这个资料还不错，您也可以打赏一下。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_798abe90a8ab.png)\n\n由于我可爱的女儿出生，最近半年这个仓库都没有更新。昨天收到可爱的T\\*o同学的打赏，提醒我要坚持更新。\n\n| 姓名 | 金额 |\n| :--- | :--- |\n| T\\*o | 6.66 |\n\n---\n\n\n* [前言](README.md)\n* [第一部分 数学基础](math\u002Fmath.md)\n* [第一章 数学分析](math\u002Fanalytic\u002Fintroduction.md)\n  * [常用函数](math\u002Fanalytic\u002Fcommon-function.md)\n  * [牛顿法](math\u002Fanalytic\u002Fniudun.md)\n  * [梯度下降](math\u002Fanalytic\u002Fgradient_descent.md)\n  * [最小二乘](math\u002Fanalytic\u002Fleast-square.md)\n  * [拉格朗日乘子法（Lagrange Multiplier\\) 和KKT条件](math\u002Fanalytic\u002Flagelangri-kkt.md)\n  * [凸优化](math\u002Fanalytic\u002Ftuyouhua.md)\n  * [数值计算](math\u002Fanalytic\u002Fshu-zhi-ji-suan.md)\n* [第二章 概率论和统计](math\u002Fprobability.md)\n  * [统计学习方法概论](math\u002Fprobability\u002Fprob-methodology.md)\n  * [最大似然估计](math\u002Fprobability\u002Fmle.md)\n  * [蒙特卡罗方法](math\u002Fprobability\u002Fmcmc1.md)\n  * [马尔科夫链](math\u002Fprobability\u002Fmarkov-chain.md)\n  * [MCMC采样和M-H采样](math\u002Fprobability\u002Fmcmc-mh.md)\n  * [Gibbs采样](math\u002Fprobability\u002Fgibbs.md)\n* [第三章 线性代数和矩阵](math\u002Flinear-matrix\u002Flinear-matrix.md)\n  * [LAPACK](math\u002Flinear-matrix\u002Flapack.md)\n  * [特征值与特征向量](math\u002Flinear-matrix\u002Ftezhengzhihetezhengxiangliang.md)\n* [第二部分 机器学习](ml\u002Fml.md)\n* [第四章 机器学习基础](ml\u002Fpythonml.md)\n  * [机器学习库（numpy,scikit,scipy）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku.md)\n  * [机器学习库（Pandas,pySpark）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku2.md)\n  * [机器学习库（tensorflow, keras）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku3.md)\n  * [机器学习库（scipy,matplotlib）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku-ff08-scipy-matplotlib.md)\n  * [模型度量](ml\u002Fpythonml\u002Fml-metrics.md)\n  * [交叉验证](math\u002Fanalytic\u002Fcross-validation.md)\n  * [生成模型和判别模型](ml\u002Fpythonml\u002Fgen-descri.md)\n  * [机器学习中的距离](ml\u002Fpythonml\u002Fdistance.md)\n  * [机器翻译模型度量](ml\u002Fpythonml\u002Fji-qi-fan-yi-mo-xing-du-liang.md)\n  * [模型选择](ml\u002Fpythonml\u002Fmo-xing-xuan-ze.md)\n  * [常用激活函数总结](ml\u002Fpythonml\u002Fchang-yong-ji-huo-han-shu-zong-jie.md)\n  * [深度学习损失函数](ml\u002Fpythonml\u002Fshen-du-xue-xi-sun-shi-han-shu.md)\n* [第六课：数据清洗和特征选择](ml\u002Fclean-feature\u002Fcleanup-feature.md)\n  * [PCA](ml\u002Fclean-feature\u002Fpca.md)\n  * [ICA](ml\u002Fclean-feature\u002Fica.md)\n  * [scikit-learn PCA](ml\u002Fclean-feature\u002Fscikit-pca.md)\n  * [线性判别分析LDA](ml\u002Fclean-feature\u002Fxian-xing-pan-bie-fen-xi-lda.md)\n  * [用scikit-learn进行LDA降维](ml\u002Fclean-feature\u002Fscikit-lda.md)\n  * [奇异值分解\\(SVD\\)原理与在降维中的应用](ml\u002Fclean-feature\u002Fsvd.md)\n  * [局部线性嵌入\\(LLE\\)原理](ml\u002Fclean-feature\u002Flle.md)\n  * [scikit-learn LLE](ml\u002Fclean-feature\u002Fscikit-lle.md)\n  * [Spark特征提取](ml\u002Fclean-feature\u002Fspark-fextract.md)\n  * [数据图示分析](ml\u002Fpythonml\u002Fshu-ju-tu-shi-fen-xi.md)\n  * [异常数据监测](ml\u002Fclean-feature\u002Foutlier-detect.md)\n  * [数据预处理](ml\u002Fclean-feature\u002Fdatapreprocess.md)\n  * [特征工程](ml\u002Fclean-feature\u002Fte-zheng-gong-cheng.md)\n  * [区分度评估指标\\(KS\\)](ml\u002Fclean-feature\u002Fqu-fen-du-ping-gu-zhi-680728-ks.md)\n  * [变量编码方法](ml\u002Fclean-feature\u002Fbian-liang-bian-ma-fang-fa.md)\n    * [One-hot编码](ml\u002Fclean-feature\u002Fone-hot.md)\n    * [数据处理：离散型变量编码及效果分析](ml\u002Fclean-feature\u002Fshu-ju-chu-li-ff1a-li-san-xing-bian-liang-bian-ma-ji-xiao-guo-fen-xi.md)\n  * [变量分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa.md)\n    * [最优卡方分箱法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fzui-you-qia-fang-fen-xiang-fa.md)\n    * [Best-KS分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fbest-ksfen-xiang-fang-fa.md)\n    * [最优IV分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fzuiyou-iv-fen-xiang-fang-fa.md)\n    * [基于树的最优分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fji-yu-shu-de-zui-you-fen-xiang-fang-fa.md)\n  * [变量选择](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze.md)\n    * [特征筛选](ml\u002Fclean-feature\u002Fte-zheng-shai-xuan.md)\n    * [spark特征选择](ml\u002Fclean-feature\u002Fspark-fselect.md)\n    * [过滤法](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze\u002Fguo-lv-fa.md)\n    * [包装法](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze\u002Fbao-zhuang-fa.md)\n    * [嵌入法](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze\u002Fqian-ru-fa.md)\n* [第七课： 回归](ml\u002Fregression\u002Fregression.md)\n  * [1.  线性回归](ml\u002Fregression\u002Flinear-regression.md)\n  * [10.最大熵模型](ml\u002Fregression\u002Fmax-entropy.md)\n  * [11.K-L散度](ml\u002Fregression\u002Fkl.md)\n  * [坐标下降和最小角](ml\u002Fregression\u002Fcordinate-angle.md)\n  * [线性回归小结](ml\u002Fregression\u002Flinear-regression-summary.md)\n  * [Logistic回归](ml\u002Fregression\u002Flogistic.md)\n  * [Logistic回归小结](ml\u002Fregression\u002Flogistichui-gui-xiao-jie.md)\n  * [SoftMax回归](ml\u002Fregression\u002Fsoftmax.md)\n* [第九课：决策树](ml\u002Fdecisiontree.md)\n  * [ID3](ml\u002Fdecisiontree\u002Fid3.md)\n  * [C4.5](ml\u002Fdecisiontree\u002Fc45.md)\n  * [CART](ml\u002Fdecisiontree\u002Fcart.md)\n  * [总结](ml\u002Fdecisiontree\u002Fsummary.md)\n  * [实现代码](ml\u002Fdecisiontree\u002Fcode.md)\n* [第十三课：SVM](ml\u002Fsvm.md)\n  * [感知机模型](ml\u002Fsvm\u002Fgan-zhi-ji-mo-xing.md)\n  * [线性SVM](ml\u002Fsvm\u002Flinear-svm.md)\n  * [软间隔最大化模型](ml\u002Fsvm\u002Fsoft-margin-max.md)\n  * [核函数](ml\u002Fsvm\u002Fkernel-method.md)\n  * [SMO算法原理](ml\u002Fsvm\u002Fsmo.md)\n  * [SVM回归](ml\u002Fsvm\u002Fsvm-regression.md)\n  * [scikit-learn SVM](ml\u002Fsvm\u002Fscikit-learn-svm.md)\n  * [支持向量机高斯核调参](ml\u002Fsvm\u002Fgaosi-kernel.md)\n  * [SVM代码实现](ml\u002Fsvm\u002Fsvm-code.md)\n* [集成学习](ml\u002Fintegrate.md)\n  * [Adaboost原理](ml\u002Fintegrate\u002Fadaboost.md)\n  * [scikit-learn Adaboost](ml\u002Fintegrate\u002Fscikit-learn-adaboost.md)\n  * [梯度提升树（GBDT）](ml\u002Fintegrate\u002Fgbdt.md)\n  * [scikit GBDT](ml\u002Fintegrate\u002Fscikit-gbdt.md)\n  * [Bagging与随机森林](ml\u002Fintegrate\u002Frandom-forest.md)\n  * [XGBOOST](ml\u002Fintegrate\u002Fxgboost.md)\n  * [scikit-learn 随机森林](ml\u002Fintegrate\u002Fscikit-learn-rf.md)\n* [第十五课：聚类](ml\u002Fcluster.md)\n  * [K-Mean](ml\u002Fcluster\u002Fkmeans.md)\n  * [KNN](ml\u002Fcluster\u002FKNN.md)\n  * [scikit-learn KNN](ml\u002Fcluster\u002Fknnshi-jian.md)\n  * [KNN 代码](ml\u002Fcluster\u002Fknn-code.md)\n  * [scikit-learn K-Means](ml\u002Fcluster\u002Fscikit-k-means.md)\n  * [BIRCH聚类算法原理](ml\u002Fcluster\u002Fbirch.md)\n  * [scikit-learn BIRCH](ml\u002Fcluster\u002Fscikit-learn-birch.md)\n  * [DBSCAN密度聚类算法](ml\u002Fcluster\u002Fdbscan.md)\n  * [scikit-learn DBSCAN](ml\u002Fcluster\u002Fscikit-learn-dbscan.md)\n  * [谱聚类（spectral clustering）原理](ml\u002Fcluster\u002Fspectral.md)\n  * [scikit-learn 谱聚类](ml\u002Fcluster\u002Fscikit-spectral.md)\n  * [近邻传播算法](ml\u002Fcluster\u002Fap.md)\n  * [混合高斯模型](ml\u002Fcluster\u002Fgmm.md)\n* [关联分析](ml\u002Fassociative\u002Fassociative.md)\n  * [典型关联分析\\(CCA\\)原理](ml\u002Fassociative\u002Fcca.md)\n  * [Apriori算法原理](ml\u002Fassociative\u002Fapriori.md)\n  * [FP Tree算法原理](ml\u002Fassociative\u002Ffptree.md)\n  * [PrefixSpan算法原理](ml\u002Fassociative\u002Fprefixspan.md)\n  * [Spark FP Tree算法和PrefixSpan算法](ml\u002Fassociative\u002Fspark-fptree-prefixspan.md)\n* [推荐算法](ml\u002Frecommand\u002Frecommand.md)\n  * [矩阵分解协同过滤推荐算法](ml\u002Frecommand\u002Fmatrix-filter.md)\n  * [SimRank协同过滤推荐算法](ml\u002Frecommand\u002Fsimrank.md)\n  * [Spark矩阵分解推荐算法](ml\u002Frecomand\u002Fspark-factor.md)\n  * [分解机\\(Factorization Machines\\)推荐算法原理](ml\u002Frecommand\u002Ffm.md)\n  * [美团推荐算法](ml\u002Frecommand\u002Fmeituan.md)\n  * [MapReduce ItemCF](ml\u002Frecommand\u002Fmr-itemcf.md)\n  * [基于标签的用户推荐系统](ml\u002Frecommand\u002Flabel-recommand.md)\n  * [10种传统机器学习算法，阿里工程师总结](ml\u002Frecommand\u002F10zhong-chuan-tong-ji-qi-xue-xi-suan-fa-ff0c-a-li-gong-cheng-shi-zong-jie.md)\n* [第十七课：EM算法](ml\u002Fem\u002Fem.md)\n* [第十九课：贝叶斯网络](ml\u002Fbayes.md)\n  * [朴素贝叶斯](ml\u002Fbayes\u002Fpo-su-bei-xie-si.md)\n  * [scikit-learn朴素贝叶斯](ml\u002Fbayes\u002Fscikit-simple-bayes.md)\n  * [朴素贝叶斯实际应用](ml\u002Fbayes\u002Fsimple-bayes-real-use.md)\n  * [朴素贝叶斯代码](ml\u002Fbayes\u002Fsimple-bayes-code.md)\n  * [变分贝叶斯推断](ml\u002Fbayes\u002Fbian-fen-bei-xie-si-tui-duan.md)\n* [第二十一课：LDA主题模型](ml\u002Flda\u002Flda.md)\n* [第二十三课：隐马尔科夫模型HMM](ml\u002Fhmm\u002Fhmm.md)\n  * [HMM前向后向算法评估观察序列概率](ml\u002Fhmm\u002Fhmm-forward-backward.md)\n  * [鲍姆-韦尔奇算法求解HMM参数](ml\u002Fhmm\u002Fbmwl-hmm.md)\n  * [维特比算法解码隐藏状态序列](ml\u002Fhmm\u002Fviterb-hmm.md)\n  * [用hmmlearn学习隐马尔科夫模型HMM](ml\u002Fhmm\u002Fhmmlearn.md)\n  * [马尔科夫蒙特卡洛](ml\u002Fhmm\u002Fmarkv-mengtekluo.md)\n* [条件随机场CRF](ml\u002Fcrf\u002Fcrf.md)\n  * [从随机场到线性链条件随机场](ml\u002Fcrf\u002Flinear-crf.md)\n  * [前向后向算法评估标记序列概率](ml\u002Fcrf\u002Fback-forth.md)\n  * [维特比算法解码](ml\u002Fcrf\u002Fcrf-viterbi.md)\n* [第三部分 深度学习](dl\u002Fdl.md)\n* [深度学习层](dl\u002Flayers\u002Flayers.md)\n  * [核心层](dl\u002Flayers\u002Fcore.md)\n  * [卷积层](dl\u002Flayers\u002Fconv.md)\n  * [池化层](dl\u002Flayers\u002Fpooling.md)\n  * [局部连接层](dl\u002Flayers\u002Flcnn.md)\n  * [循环层](dl\u002Flayers\u002Frnn.md)\n  * [嵌入层](dl\u002Flayers\u002Febbedded.md)\n  * [合并层](dl\u002Flayers\u002Fmerge.md)\n  * [高级激活层](dl\u002Flayers\u002Factivation.md)\n  * [归一化层](dl\u002Flayers\u002Fregular.md)\n  * [噪声层](dl\u002Flayers\u002Fnosie.md)\n  * [层包裹](dl\u002Flayers\u002Fwrapper.md)\n  * [自定义层](dl\u002Flayers\u002Fuserdefine.md)\n* [第二十五课：深度学习](dl\u002Fintroduction\u002Fintroduction.md)\n  * [基本概念](dl\u002Fintroduction\u002Fji-ben-gai-nian.md)\n  * [深度神经网络（DNN）模型与前向传播算法](dl\u002Fintroduction\u002Fdnn-fp.md)\n  * [深度神经网络（DNN）反向传播算法\\(BP\\)](dl\u002Fintroduction\u002Fdnn-bp.md)\n  * [反向传播](dl\u002Fintroduction\u002Fback-propagation.md)\n  * [反向传播2](dl\u002Fintroduction\u002FREAD.md)\n  * [DNN损失函数和激活函数的选择](dl\u002Fintroduction\u002Fdnn-loss.md)\n  * [深度神经网络（DNN）的正则化](dl\u002Fintroduction\u002Fdnn-normal.md)\n  * [参考文献](dl\u002Freference.md)\n* [第二十六课 卷积神 经网络\\(Convolutional Neural Netowrk\\)](dl\u002Fcnn\u002Fintroduction.md)\n  * [卷积神经网络\\(CNN\\)模型结构](dl\u002Fcnn\u002Fcnn-arch.md)\n  * [卷积神经网络\\(CNN\\)前向传播算法](dl\u002Fcnn\u002Fcnn-fp.md)\n  * [卷积神经网络\\(CNN\\)反向传播算法](dl\u002Fcnn\u002Fcnn-bp.md)\n* [对抗生成网络\\(Generative Adversarial Networks\\)](dl\u002Fgan\u002Fgan.md)\n  * [GAN原理](ml\u002Fgan\u002Fgan-principle.md)\n  * [InfoGAN](dl\u002Fgan\u002Finfogan.md)\n  * [DCGAN](dl\u002Fgan\u002Fdcgan.md)\n  * [VAE](dl\u002Fgan\u002Fvae.md)\n* [受限波尔兹曼机](dl\u002Frbm\u002Frbm.md)\n  * [RBM code](dl\u002Frbm\u002Frbm-code.md)\n  * [DBN](dl\u002Frbm\u002Fdbn.md)\n  * [RBM原理](dl\u002Frbm\u002Frbm-yuanli.md)\n* [RNN](dl\u002Frnn\u002Frnn.md)\n  * [Bidirectional RNNs](dl\u002Frnn\u002Fbidirectional-rnns.md)\n  * [Deep \\(Bidirectional\\) RNNs](dl\u002Frnn\u002Fdeep-bidirectional-rnns.md)\n  * [LSTM模型与前向反向传播算法](dl\u002Frnn\u002Flstm.md)\n  * [随时间反向传播（BPTT）算法](dl\u002Frnn\u002Fbptt.md)\n  * [循环神经网络\\(RNN\\)模型与前向反向传播算法](dl\u002Frnn\u002Frnn-bptt.md)\n* [自动编码器](dl\u002Fencoder\u002Fencoder.md)\n  * [堆叠降噪自动编码器](dl\u002Fencoder\u002Fstack-denoise-encoder.md)\n  * [降噪自动编码器](dl\u002Fencoder\u002Fdenoise-encoder.md)\n  * [sparse自动编码器](dl\u002Fencoder\u002Fsparse-autoencoder.md)\n  * [Keras自动编码器](dl\u002Fencoder\u002Fkeras-autoencoder.md)\n* [word2vec](dl\u002Fword2vec\u002Fword2vec.md)\n  * [CBOW与Skip-Gram模型基础](dl\u002Fword2vec\u002Fcbow-skip-n.md)\n  * [基于Hierarchical Softmax的模型](dl\u002Fword2vec\u002Fhierarc-softmax.md)\n  * [基于Negative Sampling的模型](dl\u002Fword2vec\u002Fnegative-sampling.md)\n* [强化学习](dl\u002Freinforcement\u002Freinforcement.md)\n  * [Q-Learning](dl\u002Freinforcement\u002Fq-learning.md)\n  * [梯度下降策略优化推导](dl\u002Freinforcement\u002Fti-du-xia-jiang-ce-lve-you-hua-tui-dao.md)\n  * [策略网络](dl\u002Freinforcement\u002Fpolicy-network.md)\n  * [bandit算法](dl\u002Freinforcement\u002Fbanditsuan-fa.md)\n  * [蒙特卡洛树搜索](dl\u002Freinforcement\u002Fmeng-te-qia-luo-shu-sou-suo.md)\n  * [多臂赌博机\\(Multi-arm Bandits\\)](dl\u002Freinforcement\u002Fmulti-bandit.md)\n  * [马尔可夫决策过程MDP](dl\u002Freinforcement\u002Fmdp.md)\n  * [动态编程](dl\u002Freinforcement\u002Fdynamic-programming.md)\n  * [蒙特卡洛方法](dl\u002Freinforcement\u002Fmonte-carlo.md)\n  * [时序差分学习](dl\u002Freinforcement\u002Fshi-xu-cha-fen-xue-xi.md)\n  * [A3C算法](dl\u002Freinforcement\u002Fa3csuan-fa.md)\n  * [Multi-steps bootstraping](dl\u002Freinforcement\u002Fmulti-steps-bootstraping.md)\n  * [Planning and Learning with Tabular Methods](dl\u002Freinforcement\u002Ftabular-method.md)\n  * [DQN](dl\u002Freinforcement\u002Fdqn.md)\n  * [Policy Gridient](dl\u002Freinforcement\u002Fpolicy-gridient.md)\n  * [Actor Critic](dl\u002Freinforcement\u002Factor-critic.md)\n  * [DDPG \\(Deep Deterministic Policy Gradient\\)](dl\u002Freinforcement\u002Fddpg.md)\n  * [PPO\\(Proximal Policy Optimization \\)](dl\u002Freinforcement\u002Fppo.md)\n  * [Alpha-Beta剪枝算法详解](dl\u002Freinforcement\u002Falpha-beta.md)\n  * [流式在线学习](dl\u002Freinforcement\u002Fliu-shi-zai-xian-xue-xi.md)\n* [进化算法](ml\u002Fevolution\u002Fevolution.md)\n  * [遗传算法](ml\u002Fevolution\u002Fyichuansuanfa.md)\n  * [进化策略](ml\u002Fevolution\u002Fevolution-strategy.md)\n  * [NEAT](ml\u002Fevolution\u002Fneat.md)\n* [迁移学习](ml\u002Ftransfer\u002Fqian-yi-xue-xi.md)\n  * [TrAdaBoost](ml\u002Ftransfer\u002Ftradaboost.md)\n  * [JDA](ml\u002Ftransfer\u002Fjda.md)\n  * [DTELM](ml\u002Ftransfer\u002Fdtelm.md)\n* [自然语言处理](nlp\u002Fnlp.md)\n  * [文本挖掘的分词原理](nlp\u002Ftext-mine.md)\n  * [HashTrick](nlp\u002Fhashtrick.md)\n  * [TF-IDF](nlp\u002Ftf-idf.md)\n  * [中文文本挖掘预处理](nlp\u002Fpreprocessing.md)\n  * [英文文本挖掘预处理](nlp\u002Fenglish-preprocess.md)\n  * [潜在语义索引\\(LSI\\)](nlp\u002Flda\u002Flsi.md)\n  * [非负矩阵分解\\(NMF\\)](nlp\u002Flda\u002Fnmf.md)\n  * [LDA基础](nlp\u002Flda\u002Flda.md)\n  * [LDA求解之Gibbs采样算法](nlp\u002Flda\u002Flda-gibbs.md)\n  * [LDA求解之变分推断EM算法](nlp\u002Flda\u002Fvi-em.md)\n  * [scikit-learn LDA主题模型](nlp\u002Flda\u002Fscikit-learn-lda.md)\n  * [beam search](nlp\u002Fbeamsearch.md)\n  * [词向量Glove](nlp\u002F词向量glove.md)\n  * [ELMo](nlp\u002FELMo.md)\n* [语音识别](voice\u002Fintroduction.md)\n  * [GMM-HMM](voice\u002Fgmm-hmm.md)\n  * [目录](voice\u002Fvoicemulumd.md)\n* [大模型](bm\u002Fbm.md)\n  * [seq2seq](bm\u002Fseq2seq.md)\n  * [Transformer](bm\u002Ftransformer.md)\n    * [Transformer输入](bm\u002Ftransformer\u002Ftransformershu-ru.md)\n    * [Attention注意力机制](bm\u002Ftransformer\u002Fattentionzhu-yi-li-ji-zhi.md)\n    * [Encoder 结构](bm\u002Ftransformer\u002Fencoder-jie-gou.md)\n    * [Decoder结构](bm\u002Ftransformer\u002Fdecoderjie-gou.md)\n  * FlashAttention\n  * [BERT](bm\u002Fbert.md)\n  * [MOE](bm\u002Fmoe.md)\n  * [ViT](bm\u002Fvit.md)\n  * [GPT](bm\u002FchatGPT.md)\n  * [Stable Diffusion](bm\u002Fsd.md)\n  * [SFT](bm\u002Fsft.md)\n    * [LoRA](bm\u002Flora.md)\n    * [Unsloth](bm\u002Funsloth.md)\n  * RLHF\n    * DPO\n    * DDPO\n  * [MCP](bm\u002FMCP.md)\n  * [Agent](bm\u002Fagent.md)\n  * [RAG](bm\u002Frag.md)\n  * [langchain](bm\u002Flangchain.md)\n  * [transformers](bm\u002Ftransformers.md)\n  * defiy\n  * vllm\n  * [llmafactory](bm\u002Fllmafactory.md)\n  * [模型量化](bm\u002Fquantization.md)\n  * [模型合并](bm\u002Fmodelmerge.md)\n  * [模型蒸馏](bm\u002Fdistill.md)\n  * 大模型应用\n* [流行网络结构](liu-xing-wang-luo-jie-gou.md)\n  * [mobilenet](dl\u002Fpopnet\u002Fmobilenet.md)\n  * [ResNet](dl\u002Fpopnet\u002Fresnet.md)\n* [并行学习](bing-xing-xue-xi.md)\n  * [美团并行学习实践](dl\u002Fparalleldl\u002Fmei-tuan-bing-xing-xue-xi-shi-jian.md)\n* AI应用\n  * [美团外卖AI技术](dl\u002Fdlapp\u002Fmei-tuan-wai-mai-ai-ji-zhu.md)\n  * [美团推荐排序](dl\u002Fdlapp\u002Fmei-tuan-tui-jian-pai-xu.md)\n  * [AutoML在推荐系统应用](dl\u002Fdlapp\u002Fautomlzai-tui-jian-xi-tong-ying-yong.md)\n* [参考](can-kao.md)\n  * [AI领域国内创业公司](ailing-yu-guo-nei-chuang-ye-gong-si.md)\n  * [面试题目1](mian-shi-ti-mu-1.md)\n\n---\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_8a7359ced5d9.jpg)\n\n机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。\n\n机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。\n\n## **学习方式**\n\n根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。\n\n### **监督式学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_b97fbd731d3c.png)\n\n在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回\n\n归问题。常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）\n\n### **非监督式学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_3c90fd11df41.png)\n\n在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及K-Means算法。\n\n### **半监督式学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_e0756a16ad61.png)\n\n在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。\n\n### **强化学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_b99a968a5f34.png)\n\n在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。常见的应用场景包括动态系统以及[机器人](http:\u002F\u002Flib.csdn.net\u002Fbase\u002Frobot)控制等。常见算法包括Q-Learning以及时间差学习（Temporal difference learning）\n\n在企业数据应用的场景下， 人们最常用的可能就是监督式学习和非监督式学习的模型。 在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据， 目前半监督式学习是一个很热的话题。 而强化学习更多的应用在机器人控制及其他需要进行系统控制的领域。\n\n## **算法类似性**\n\n## \n\n根据算法的功能和形式的类似性，我们可以把算法分类，比如说基于树的算法，基于神经网络的算法等等。当然，机器学习的范围非常庞大，有些算法很难明确归类到某一类。而对于有些分类来说，同一分类的算法可以针对不同类型的问题。这里，我们尽量把常用的算法按照最容易理解的方式进行分类。\n\n### **回归算法：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_ec188eab653e.png)\n\n回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。回归算法是统计机器学习的利器。在机器学习领域，人们说起回归，有时候是指一类问题，有时候是指一类算法，这一点常常会使初学者有所困惑。常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）\n\n### **基于实例的算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_7e24a7bf9ee8.png)\n\n基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较。通过这种方式来寻找最佳的匹配。因此，基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor\\(KNN\\), 学习矢量量化（Learning Vector Quantization， LVQ），以及自组织映射算法（Self-Organizing Map ， SOM）\n\n### **正则化方法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_8d0bbca7ad1a.png)\n\n正则化方法是其他算法（通常是回归算法）的延伸，根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚。常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）。\n\n### **决策树学习**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_81630b2f9552.png)\n\n决策树算法根据数据的属性采用树状结构建立决策模型， 决策树模型常常用来解决分类和回归问题。常见的算法包括：分类及回归树（Classification And Regression Tree， CART）， ID3 \\(Iterative Dichotomiser 3\\)， C4.5， Chi-squared Automatic Interaction Detection\\(CHAID\\), Decision Stump, 随机森林（Random Forest）， 多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine， GBM）\n\n### **贝叶斯方法**\n\n[![](\u002Fassets\u002Fmlpre9.png \"2class\\_gauss\\_points\")](http:\u002F\u002Fwww.ctocio.com\u002Fhotnews\u002F15919.html\u002Fattachment\u002F2class_gauss_points)\n\n贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题。常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。\n\n### **基于核的算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_41aadc7f62d7.png)\n\n基于核的算法中最著名的莫过于支持向量机（SVM）了。 基于核的算法把输入数据映射到一个高阶的向量空间， 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决。 常见的基于核的算法包括：支持向量机（Support Vector Machine， SVM）， 径向基函数（Radial Basis Function ，RBF\\)， 以及线性判别分析（Linear Discriminate Analysis ，LDA\\)等\n\n### **聚类算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_7d1d5dcd9843.png)\n\n聚类，就像回归一样，有时候人们描述的是一类问题，有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并。所以的聚类算法都试图找到数据的内在结构，以便按照最大的共同点将数据进行归类。常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。\n\n### **关联规则学习**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_2c49dc967c03.png)\n\n关联规则学习通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等。\n\n### **人工神经网络**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_bc6d5b92efe4.png)\n\n人工神经网络算法模拟生物神经网络，是一类模式匹配算法。通常用于解决分类和回归问题。人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法。（其中[深度学习](http:\u002F\u002Flib.csdn.net\u002Fbase\u002Fdeeplearning)就是其中的一类算法，我们会单独讨论），重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-Organizing Map, SOM）。学习矢量量化（Learning Vector Quantization， LVQ）\n\n### **深度学习**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_4c16cc6be115.png)\n\n深度学习算法是对人工神经网络的发展。 在近期赢得了很多关注， 特别是[百度也开始发力深度学习后](http:\u002F\u002Fwww.ctocio.com\u002Fccnews\u002F15615.html)， 更是在国内引起了很多关注。   在计算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神经网络。很多深度学习的算法是半监督式学习算法，用来处理存在少量未标识数据的[大数据](http:\u002F\u002Flib.csdn.net\u002Fbase\u002Fhadoop)集。常见的深度学习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders）。\n\n### **降低维度算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_97fa83507042.png)\n\n像聚类算法一样，降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较少的信息来归纳或者解释数据。这类算法可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。常见的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回归（Partial Least Square Regression，PLS）， Sammon映射，多维尺度（Multi-Dimensional Scaling, MDS）,  投影追踪（Projection Pursuit）等。\n\n### **集成算法：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_3938b586f192.png)\n\n集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测。集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来。这是一类非常强大的算法，同时也非常流行。常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆叠泛化（Stacked Generalization， Blending），梯度推进机（Gradient Boosting Machine, GBM），随机森林（Random Forest）。\n\n### 大模型\n\n以下是模型在金融业中的应用：\n\n风险管理：大模型可以通过对历史数据的分析和学习，来预测未来可能出现的风险和危机。\n\n投资决策：大模型可以处理复杂的市场数据和趋势，提供更加准确的投资建议\n\n交易分析：大模型可以对交易数据进行实时监控和分析，识别出异常交易和欺诈行为，从而降低交易风险和提高交易效率。\n\n客户服务：大模型可以通过对客户数据和历史行为的分析，了解客户的需求和偏好，从而提供更加个性化的客户服务。\n\n#### Transformer\n\n#### BERT\n\n#### GPT\n\n#### LangChain\n\n#### LLMA\n\n\n\n","# 机器学习原理\n\n---\n\n机器学习原理笔记整理。Gitbook地址[https:\u002F\u002Fshunliz.gitbooks.io\u002Fmachine-learning\u002Fcontent\u002F](https:\u002F\u002Fshunliz.gitbooks.io\u002Fmachine-learning\u002Fcontent\u002F)  \n前半部分关注数学基础，机器学习和深度学习的理论部分，详尽的公式推导。  \n后半部分关注工程实践和理论应用部分\n\n**内容基本都是从互联网上扒来的，侵权的话联系：zsl6658@126.com。**\n\n[如何贡献？](\u002FCONTRIBUTING.md)\n\n# 赞助\n\n如果您觉得这个资料还不错，您也可以打赏一下。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_798abe90a8ab.png)\n\n由于我可爱的女儿出生，最近半年这个仓库都没有更新。昨天收到可爱的T\\*o同学的打赏，提醒我要坚持更新。\n\n| 姓名 | 金额 |\n| :--- | :--- |\n| T\\*o | 6.66 |\n\n---\n\n* [前言](README.md)\n* [第一部分 数学基础](math\u002Fmath.md)\n* [第一章 数学分析](math\u002Fanalytic\u002Fintroduction.md)\n  * [常用函数](math\u002Fanalytic\u002Fcommon-function.md)\n  * [牛顿法](math\u002Fanalytic\u002Fniudun.md)\n  * [梯度下降](math\u002Fanalytic\u002Fgradient_descent.md)\n  * [最小二乘](math\u002Fanalytic\u002Fleast-square.md)\n  * [拉格朗日乘子法（Lagrange Multiplier）和KKT条件](math\u002Fanalytic\u002Flagelangri-kkt.md)\n  * [凸优化](math\u002Fanalytic\u002Ftuyouhua.md)\n  * [数值计算](math\u002Fanalytic\u002Fshu-zhi-ji-suan.md)\n* [第二章 概率论和统计](math\u002Fprobability.md)\n  * [统计学习方法概论](math\u002Fprobability\u002Fprob-methodology.md)\n  * [最大似然估计](math\u002Fprobability\u002Fmle.md)\n  * [蒙特卡罗方法](math\u002Fprobability\u002Fmcmc1.md)\n  * [马尔科夫链](math\u002Fprobability\u002Fmarkov-chain.md)\n  * [MCMC采样和M-H采样](math\u002Fprobability\u002Fmcmc-mh.md)\n  * [Gibbs采样](math\u002Fprobability\u002Fgibbs.md)\n* [第三章 线性代数和矩阵](math\u002Flinear-matrix\u002Flinear-matrix.md)\n  * [LAPACK](math\u002Flinear-matrix\u002Flapack.md)\n  * [特征值与特征向量](math\u002Flinear-matrix\u002Ftezhengzhihetezhengxiangliang.md)\n* [第二部分 机器学习](ml\u002Fml.md)\n* [第四章 机器学习基础](ml\u002Fpythonml.md)\n  * [机器学习库（numpy,scikit,scipy）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku.md)\n  * [机器学习库（Pandas,pySpark）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku2.md)\n  * [机器学习库（tensorflow, keras）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku3.md)\n  * [机器学习库（scipy,matplotlib）](ml\u002Fpythonml\u002Fji-qi-xue-xi-ku-ff08-scipy-matplotlib.md)\n  * [模型度量](ml\u002Fpythonml\u002Fml-metrics.md)\n  * [交叉验证](math\u002Fanalytic\u002Fcross-validation.md)\n  * [生成模型和判别模型](ml\u002Fpythonml\u002Fgen-descri.md)\n  * [机器学习中的距离](ml\u002Fpythonml\u002Fdistance.md)\n  * [机器翻译模型度量](ml\u002Fpythonml\u002Fji-qi-fan-yi-mo-xing-du-liang.md)\n  * [模型选择](ml\u002Fpythonml\u002Fmo-xing-xuan-ze.md)\n  * [常用激活函数总结](ml\u002Fpythonml\u002Fchang-yong-ji-huo-han-shu-zong-jie.md)\n  * [深度学习损失函数](ml\u002Fpythonml\u002Fshen-du-xue-xi-sun-shi-han-shu.md)\n* [第六课：数据清洗和特征选择](ml\u002Fclean-feature\u002Fcleanup-feature.md)\n  * [PCA](ml\u002Fclean-feature\u002Fpca.md)\n  * [ICA](ml\u002Fclean-feature\u002Fica.md)\n  * [scikit-learn PCA](ml\u002Fclean-feature\u002Fscikit-pca.md)\n  * [线性判别分析LDA](ml\u002Fclean-feature\u002Fxian-xing-pan-bie-fen-xi-lda.md)\n  * [用scikit-learn进行LDA降维](ml\u002Fclean-feature\u002Fscikit-lda.md)\n  * [奇异值分解（SVD）原理与在降维中的应用](ml\u002Fclean-feature\u002Fsvd.md)\n  * [局部线性嵌入（LLE）原理](ml\u002Fclean-feature\u002Flle.md)\n  * [scikit-learn LLE](ml\u002Fclean-feature\u002Fscikit-lle.md)\n  * [Spark特征提取](ml\u002Fclean-feature\u002Fspark-fextract.md)\n  * [数据图示分析](ml\u002Fpythonml\u002Fshu-ju-tu-shi-fen-xi.md)\n  * [异常数据监测](ml\u002Fclean-feature\u002Foutlier-detect.md)\n  * [数据预处理](ml\u002Fclean-feature\u002Fdatapreprocess.md)\n  * [特征工程](ml\u002Fclean-feature\u002Fte-zheng-gong-cheng.md)\n  * [区分度评估指标（KS）](ml\u002Fclean-feature\u002Fqu-fen-du-ping-gu-zhi-680728-ks.md)\n  * [变量编码方法](ml\u002Fclean-feature\u002Fbian-liang-bian-ma-fang-fa.md)\n    * [One-hot编码](ml\u002Fclean-feature\u002Fone-hot.md)\n    * [数据处理：离散型变量编码及效果分析](ml\u002Fclean-feature\u002Fshu-ju-chu-li-ff1a-li-san-xing-bian-liang-bian-ma-ji-xiao-guo-fen-xi.md)\n  * [变量分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa.md)\n    * [最优卡方分箱法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fzui-you-qia-fang-fen-xiang-fa.md)\n    * [Best-KS分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fbest-ksfen-xiang-fang-fa.md)\n    * [最优IV分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fzuiyou-iv-fen-xiang-fang-fa.md)\n    * [基于树的最优分箱方法](ml\u002Fclean-feature\u002Fbian-liang-fen-xiang-fang-fa\u002Fji-yu-shu-de-zui-you-fen-xiang-fang-fa.md)\n  * [变量选择](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze.md)\n    * [特征筛选](ml\u002Fclean-feature\u002Fte-zheng-shai-xuan.md)\n    * [spark特征选择](ml\u002Fclean-feature\u002Fspark-fselect.md)\n    * [过滤法](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze\u002Fguo-lv-fa.md)\n    * [包装法](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze\u002Fbao-zhuang-fa.md)\n    * [嵌入法](ml\u002Fclean-feature\u002Fbian-liang-xuan-ze\u002Fqian-ru-fa.md)\n* [第七课：回归](ml\u002Fregression\u002Fregression.md)\n  * [1. 线性回归](ml\u002Fregression\u002Flinear-regression.md)\n  * [10.最大熵模型](ml\u002Fregression\u002Fmax-entropy.md)\n  * [11.K-L散度](ml\u002Fregression\u002Fkl.md)\n  * [坐标下降和最小角](ml\u002Fregression\u002Fcordinate-angle.md)\n  * [线性回归小结](ml\u002Fregression\u002Flinear-regression-summary.md)\n  * [Logistic回归](ml\u002Fregression\u002Flogistic.md)\n  * [Logistic回归小结](ml\u002Fregression\u002Flogistichui-gui-xiao-jie.md)\n  * [SoftMax回归](ml\u002Fregression\u002Fsoftmax.md)\n* [第九课：决策树](ml\u002Fdecisiontree.md)\n  * [ID3](ml\u002Fdecisiontree\u002Fid3.md)\n  * [C4.5](ml\u002Fdecisiontree\u002Fc45.md)\n  * [CART](ml\u002Fdecisiontree\u002Fcart.md)\n  * [总结](ml\u002Fdecisiontree\u002Fsummary.md)\n  * [实现代码](ml\u002Fdecisiontree\u002Fcode.md)\n* [第十三课：SVM](ml\u002Fsvm.md)\n  * [感知机模型](ml\u002Fsvm\u002Fgan-zhi-ji-mo-xing.md)\n  * [线性SVM](ml\u002Fsvm\u002Flinear-svm.md)\n  * [软间隔最大化模型](ml\u002Fsvm\u002Fsoft-margin-max.md)\n  * [核函数](ml\u002Fsvm\u002Fkernel-method.md)\n  * [SMO算法原理](ml\u002Fsvm\u002Fsmo.md)\n  * [SVM回归](ml\u002Fsvm\u002Fsvm-regression.md)\n  * [scikit-learn SVM](ml\u002Fsvm\u002Fscikit-learn-svm.md)\n  * [支持向量机高斯核调参](ml\u002Fsvm\u002Fgaosi-kernel.md)\n  * [SVM代码实现](ml\u002Fsvm\u002Fsvm-code.md)\n* [集成学习](ml\u002Fintegrate.md)\n  * [Adaboost原理](ml\u002Fintegrate\u002Fadaboost.md)\n  * [scikit-learn Adaboost](ml\u002Fintegrate\u002Fscikit-learn-adaboost.md)\n  * [梯度提升树（GBDT）](ml\u002Fintegrate\u002Fgbdt.md)\n  * [scikit GBDT](ml\u002Fintegrate\u002Fscikit-gbdt.md)\n  * [Bagging与随机森林](ml\u002Fintegrate\u002Frandom-forest.md)\n  * [XGBOOST](ml\u002Fintegrate\u002Fxgboost.md)\n  * [scikit-learn 随机森林](ml\u002Fintegrate\u002Fscikit-learn-rf.md)\n* [第十五课：聚类](ml\u002Fcluster.md)\n  * [K-Mean](ml\u002Fcluster\u002Fkmeans.md)\n  * [KNN](ml\u002Fcluster\u002FKNN.md)\n  * [scikit-learn KNN](ml\u002Fcluster\u002Fknnshi-jian.md)\n  * [KNN 代码](ml\u002Fcluster\u002Fknn-code.md)\n  * [scikit-learn K-Means](ml\u002Fcluster\u002Fscikit-k-means.md)\n  * [BIRCH聚类算法原理](ml\u002Fcluster\u002Fbirch.md)\n  * [scikit-learn BIRCH](ml\u002Fcluster\u002Fscikit-learn-birch.md)\n  * [DBSCAN密度聚类算法](ml\u002Fcluster\u002Fdbscan.md)\n  * [scikit-learn DBSCAN](ml\u002Fcluster\u002Fscikit-learn-dbscan.md)\n  * [谱聚类（spectral clustering）原理](ml\u002Fcluster\u002Fspectral.md)\n  * [scikit-learn 谱聚类](ml\u002Fcluster\u002Fscikit-spectral.md)\n  * [近邻传播算法](ml\u002Fcluster\u002Fap.md)\n  * [混合高斯模型](ml\u002Fcluster\u002Fgmm.md)\n* [关联分析](ml\u002Fassociative\u002Fassociative.md)\n  * [典型关联分析（CCA）原理](ml\u002Fassociative\u002Fcca.md)\n  * [Apriori算法原理](ml\u002Fassociative\u002Fapriori.md)\n  * [FP Tree算法原理](ml\u002Fassociative\u002Ffptree.md)\n  * [PrefixSpan算法原理](ml\u002Fassociative\u002Fprefixspan.md)\n  * [Spark FP Tree算法和PrefixSpan算法](ml\u002Fassociative\u002Fspark-fptree-prefixspan.md)\n* [推荐算法](ml\u002Frecommand\u002Frecommand.md)\n  * [矩阵分解协同过滤推荐算法](ml\u002Frecommand\u002Fmatrix-filter.md)\n  * [SimRank协同过滤推荐算法](ml\u002Frecommand\u002Fsimrank.md)\n  * [Spark矩阵分解推荐算法](ml\u002Frecomand\u002Fspark-factor.md)\n  * [分解机（Factorization Machines）推荐算法原理](ml\u002Frecommand\u002Ffm.md)\n  * [美团推荐算法](ml\u002Frecommand\u002Fmeituan.md)\n  * [MapReduce ItemCF](ml\u002Frecommand\u002Fmr-itemcf.md)\n  * [基于标签的用户推荐系统](ml\u002Frecommand\u002Flabel-recommand.md)\n  * [10种传统机器学习算法，阿里工程师总结](ml\u002Frecommand\u002F10zhong-chuan-tong-ji-qi-xue-xi-suan-fa-ff0c-a-li-gong-cheng-shi-zong-jie.md)\n* [第十七课：EM算法](ml\u002Fem\u002Fem.md)\n* [第十九课：贝叶斯网络](ml\u002Fbayes.md)\n  * [朴素贝叶斯](ml\u002Fbayes\u002Fpo-su-bei-xie-si.md)\n  * [scikit-learn朴素贝叶斯](ml\u002Fbayes\u002Fscikit-simple-bayes.md)\n  * [朴素贝叶斯实际应用](ml\u002Fbayes\u002Fsimple-bayes-real-use.md)\n  * [朴素贝叶斯代码](ml\u002Fbayes\u002Fsimple-bayes-code.md)\n  * [变分贝叶斯推断](ml\u002Fbayes\u002Fbian-fen-bei-xie-si-tui-duan.md)\n* [第二十一课：LDA主题模型](ml\u002Flda\u002Flda.md)\n* [第二十三课：隐马尔科夫模型HMM](ml\u002Fhmm\u002Fhmm.md)\n  * [HMM前向后向算法评估观察序列概率](ml\u002Fhmm\u002Fhmm-forward-backward.md)\n  * [鲍姆-韦尔奇算法求解HMM参数](ml\u002Fhmm\u002Fbmwl-hmm.md)\n  * [维特比算法解码隐藏状态序列](ml\u002Fhmm\u002Fviterb-hmm.md)\n  * [用hmmlearn学习隐马尔科夫模型HMM](ml\u002Fhmm\u002Fhmmlearn.md)\n  * [马尔科夫蒙特卡洛](ml\u002Fhmm\u002Fmarkv-mengtekluo.md)\n* [条件随机场CRF](ml\u002Fcrf\u002Fcrf.md)\n  * [从随机场到线性链条件随机场](ml\u002Fcrf\u002Flinear-crf.md)\n  * [前向后向算法评估标记序列概率](ml\u002Fcrf\u002Fback-forth.md)\n  * [维特比算法解码](ml\u002Fcrf\u002Fcrf-viterbi.md)\n* [第三部分 深度学习](dl\u002Fdl.md)\n* [深度学习层](dl\u002Flayers\u002Flayers.md)\n  * [核心层](dl\u002Flayers\u002Fcore.md)\n  * [卷积层](dl\u002Flayers\u002Fconv.md)\n  * [池化层](dl\u002Flayers\u002Fpooling.md)\n  * [局部连接层](dl\u002Flayers\u002Flcnn.md)\n  * [循环层](dl\u002Flayers\u002Frnn.md)\n  * [嵌入层](dl\u002Flayers\u002Febbedded.md)\n  * [合并层](dl\u002Flayers\u002Fmerge.md)\n  * [高级激活层](dl\u002Flayers\u002Factivation.md)\n  * [归一化层](dl\u002Flayers\u002Fregular.md)\n  * [噪声层](dl\u002Flayers\u002Fnosie.md)\n  * [层包裹](dl\u002Flayers\u002Fwrapper.md)\n  * [自定义层](dl\u002Flayers\u002Fuserdefine.md)\n* [第二十五课：深度学习](dl\u002Fintroduction\u002Fintroduction.md)\n  * [基本概念](dl\u002Fintroduction\u002Fji-ben-gai-nian.md)\n  * [深度神经网络（DNN）模型与前向传播算法](dl\u002Fintroduction\u002Fdnn-fp.md)\n  * [深度神经网络（DNN）反向传播算法（BP）](dl\u002Fintroduction\u002Fdnn-bp.md)\n  * [反向传播](dl\u002Fintroduction\u002Fback-propagation.md)\n  * [反向传播2](dl\u002Fintroduction\u002FREAD.md)\n  * [DNN损失函数和激活函数的选择](dl\u002Fintroduction\u002Fdnn-loss.md)\n  * [深度神经网络（DNN）的正则化](dl\u002Fintroduction\u002Fdnn-normal.md)\n  * [参考文献](dl\u002Freference.md)\n* [第二十六课 卷积神经网络（Convolutional Neural Network）](dl\u002Fcnn\u002Fintroduction.md)\n  * [卷积神经网络（CNN）模型结构](dl\u002Fcnn\u002Fcnn-arch.md)\n  * [卷积神经网络（CNN）前向传播算法](dl\u002Fcnn\u002Fcnn-fp.md)\n  * [卷积神经网络（CNN）反向传播算法](dl\u002Fcnn\u002Fcnn-bp.md)\n* [对抗生成网络（Generative Adversarial Networks）](dl\u002Fgan\u002Fgan.md)\n  * [GAN原理](ml\u002Fgan\u002Fgan-principle.md)\n  * [InfoGAN](dl\u002Fgan\u002Finfogan.md)\n  * [DCGAN](dl\u002Fgan\u002Fdcgan.md)\n  * [VAE](dl\u002Fgan\u002Fvae.md)\n* [受限波尔兹曼机](dl\u002Frbm\u002Frbm.md)\n  * [RBM code](dl\u002Frbm\u002Frbm-code.md)\n  * [DBN](dl\u002Frbm\u002Fdbn.md)\n  * [RBM原理](dl\u002Frbm\u002Frbm-yuanli.md)\n* [RNN](dl\u002Frnn\u002Frnn.md)\n  * [Bidirectional RNNs](dl\u002Frnn\u002Fbidirectional-rnns.md)\n  * [Deep (Bidirectional) RNNs](dl\u002Frnn\u002Fdeep-bidirectional-rnns.md)\n  * [LSTM模型与前向反向传播算法](dl\u002Frnn\u002Flstm.md)\n  * [随时间反向传播（BPTT）算法](dl\u002Frnn\u002Fbptt.md)\n  * [循环神经网络（RNN）模型与前向反向传播算法](dl\u002Frnn\u002Frnn-bptt.md)\n* [自动编码器](dl\u002Fencoder\u002Fencoder.md)\n  * [堆叠降噪自动编码器](dl\u002Fencoder\u002Fstack-denoise-encoder.md)\n  * [降噪自动编码器](dl\u002Fencoder\u002Fdenoise-encoder.md)\n  * [sparse自动编码器](dl\u002Fencoder\u002Fsparse-autoencoder.md)\n  * [Keras自动编码器](dl\u002Fencoder\u002Fkeras-autoencoder.md)\n* [word2vec](dl\u002Fword2vec\u002Fword2vec.md)\n  * [CBOW与Skip-Gram模型基础](dl\u002Fword2vec\u002Fcbow-skip-n.md)\n  * [基于Hierarchical Softmax的模型](dl\u002Fword2vec\u002Fhierarc-softmax.md)\n  * [基于Negative Sampling的模型](dl\u002Fword2vec\u002Fnegative-sampling.md)\n* [强化学习](dl\u002Freinforcement\u002Freinforcement.md)\n  * [Q-Learning](dl\u002Freinforcement\u002Fq-learning.md)\n  * [梯度下降策略优化推导](dl\u002Freinforcement\u002Fti-du-xia-jiang-ce-lve-you-hua-tui-dao.md)\n  * [策略网络](dl\u002Freinforcement\u002Fpolicy-network.md)\n  * [bandit算法](dl\u002Freinforcement\u002Fbanditsuan-fa.md)\n  * [蒙特卡洛树搜索](dl\u002Freinforcement\u002Fmeng-te-qia-luo-shu-sou-suo.md)\n  * [多臂赌博机（Multi-arm Bandits）](dl\u002Freinforcement\u002Fmulti-bandit.md)\n  * [马尔可夫决策过程MDP](dl\u002Freinforcement\u002Fmdp.md)\n  * [动态编程](dl\u002Freinforcement\u002Fdynamic-programming.md)\n  * [蒙特卡洛方法](dl\u002Freinforcement\u002Fmonte-carlo.md)\n  * [时序差分学习](dl\u002Freinforcement\u002Fshi-xu-cha-fen-xue-xi.md)\n  * [A3C算法](dl\u002Freinforcement\u002Fa3csuan-fa.md)\n  * [Multi-steps bootstraping](dl\u002Freinforcement\u002Fmulti-steps-bootstraping.md)\n  * [Planning and Learning with Tabular Methods](dl\u002Freinforcement\u002Ftabular-method.md)\n  * [DQN](dl\u002Freinforcement\u002Fdqn.md)\n  * [Policy Gridient](dl\u002Freinforcement\u002Fpolicy-gridient.md)\n  * [Actor Critic](dl\u002Freinforcement\u002Factor-critic.md)\n  * [DDPG（Deep Deterministic Policy Gradient）](dl\u002Freinforcement\u002Fddpg.md)\n  * [PPO（Proximal Policy Optimization）](dl\u002Freinforcement\u002Fppo.md)\n  * [Alpha-Beta剪枝算法详解](dl\u002Freinforcement\u002Falpha-beta.md)\n  * [流式在线学习](dl\u002Freinforcement\u002Fliu-shi-zai-xian-xue-xi.md)\n* [进化算法](ml\u002Fevolution\u002Fevolution.md)\n  * [遗传算法](ml\u002Fevolution\u002Fyichuansuanfa.md)\n  * [进化策略](ml\u002Fevolution\u002Fevolution-strategy.md)\n  * [NEAT](ml\u002Fevolution\u002Fneat.md)\n* [迁移学习](ml\u002Ftransfer\u002Fqian-yi-xue-xi.md)\n  * [TrAdaBoost](ml\u002Ftransfer\u002Ftradaboost.md)\n  * [JDA](ml\u002Ftransfer\u002Fjda.md)\n  * [DTELM](ml\u002Ftransfer\u002Fdtelm.md)\n* [自然语言处理](nlp\u002Fnlp.md)\n  * [文本挖掘的分词原理](nlp\u002Ftext-mine.md)\n  * [HashTrick](nlp\u002Fhashtrick.md)\n  * [TF-IDF](nlp\u002Ftf-idf.md)\n  * [中文文本挖掘预处理](nlp\u002Fpreprocessing.md)\n  * [英文文本挖掘预处理](nlp\u002Fenglish-preprocess.md)\n  * [潜在语义索引（LSI）](nlp\u002Flda\u002Flsi.md)\n  * [非负矩阵分解（NMF）](nlp\u002Flda\u002Fnmf.md)\n  * [LDA基础](nlp\u002Flda\u002Flda.md)\n  * [LDA求解之Gibbs采样算法](nlp\u002Flda\u002Flda-gibbs.md)\n  * [LDA求解之变分推断EM算法](nlp\u002Flda\u002Fvi-em.md)\n  * [scikit-learn LDA主题模型](nlp\u002Flda\u002Fscikit-learn-lda.md)\n  * [beam search](nlp\u002Fbeamsearch.md)\n  * [词向量Glove](nlp\u002F词向量glove.md)\n  * [ELMo](nlp\u002FELMo.md)\n* [语音识别](voice\u002Fintroduction.md)\n  * [GMM-HMM](voice\u002Fgmm-hmm.md)\n  * [目录](voice\u002Fvoicemulumd.md)\n* [大模型](bm\u002Fbm.md)\n  * [seq2seq](bm\u002Fseq2seq.md)\n  * [Transformer](bm\u002Ftransformer.md)\n    * [Transformer输入](bm\u002Ftransformer\u002Ftransformershu-ru.md)\n    * [Attention注意力机制](bm\u002Ftransformer\u002Fattentionzhu-yi-li-ji-zhi.md)\n    * [Encoder结构](bm\u002Ftransformer\u002Fencoder-jie-gou.md)\n    * [Decoder结构](bm\u002Ftransformer\u002Fdecoderjie-gou.md)\n  * FlashAttention\n  * [BERT](bm\u002Fbert.md)\n  * [MOE](bm\u002Fmoe.md)\n  * [ViT](bm\u002Fvit.md)\n  * [GPT](bm\u002FchatGPT.md)\n  * [Stable Diffusion](bm\u002Fsd.md)\n  * [SFT](bm\u002Fsft.md)\n    * [LoRA](bm\u002Flora.md)\n    * [Unsloth](bm\u002Funsloth.md)\n  * RLHF\n    * DPO\n    * DDPO\n  * [MCP](bm\u002FMCP.md)\n  * [Agent](bm\u002Fagent.md)\n  * [RAG](bm\u002Frag.md)\n  * [langchain](bm\u002Flangchain.md)\n  * [transformers](bm\u002Ftransformers.md)\n  * defiy\n  * vllm\n  * [llmafactory](bm\u002Fllmafactory.md)\n  * [模型量化](bm\u002Fquantization.md)\n  * [模型合并](bm\u002Fmodelmerge.md)\n  * [模型蒸馏](bm\u002Fdistill.md)\n  * 大模型应用\n* [流行网络结构](liu-xing-wang-luo-jie-gou.md)\n  * [mobilenet](dl\u002Fpopnet\u002Fmobilenet.md)\n  * [ResNet](dl\u002Fpopnet\u002Fresnet.md)\n* [并行学习](bing-xing-xue-xi.md)\n  * [美团并行学习实践](dl\u002Fparalleldl\u002Fmei-tuan-bing-xing-xue-xi-shi-jian.md)\n* AI应用\n  * [美团外卖AI技术](dl\u002Fdlapp\u002Fmei-tuan-wai-mai-ai-ji-zhu.md)\n  * [美团推荐排序](dl\u002Fdlapp\u002Fmei-tuan-tui-jian-pai-xu.md)\n  * [AutoML在推荐系统应用](dl\u002Fdlapp\u002Fautomlzai-tui-jian-xi-tong-ying-yong.md)\n* [参考](can-kao.md)\n  * [AI领域国内创业公司](ailing-yu-guo-nei-chuang-ye-gong-si.md)\n  * [面试题目1](mian-shi-ti-mu-1.md)\n\n---\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_8a7359ced5d9.jpg)\n\n机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。\n\n机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。\n\n\n\n## **学习方式**\n\n根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。\n\n### **监督式学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_b97fbd731d3c.png)\n\n在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回\n\n归问题。常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）\n\n### **非监督式学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_3c90fd11df41.png)\n\n在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及K-Means算法。\n\n### **半监督式学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_e0756a16ad61.png)\n\n在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。\n\n### **强化学习：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_b99a968a5f34.png)\n\n在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。常见的应用场景包括动态系统以及[机器人](http:\u002F\u002Flib.csdn.net\u002Fbase\u002Frobot)控制等。常见算法包括Q-Learning以及时间差学习（Temporal difference learning）\n\n在企业数据应用的场景下， 人们最常用的可能就是监督式学习和非监督式学习的模型。 在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据， 目前半监督式学习是一个很热的话题。 而强化学习更多的应用在机器人控制及其他需要进行系统控制的领域。\n\n## **算法类似性**\n\n## \n\n根据算法的功能和形式的类似性，我们可以把算法分类，比如说基于树的算法，基于神经网络的算法等等。当然，机器学习的范围非常庞大，有些算法很难明确归类到某一类。而对于有些分类来说，同一分类的算法可以针对不同类型的问题。这里，我们尽量把常用的算法按照最容易理解的方式进行分类。\n\n### **回归算法：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_ec188eab653e.png)\n\n回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。回归算法是统计机器学习的利器。在机器学习领域，人们说起回归，有时候是指一类问题，有时候是指一类算法，这一点常常会使初学者有所困惑。常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）\n\n### **基于实例的算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_7e24a7bf9ee8.png)\n\n基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较。通过这种方式来寻找最佳的匹配。因此，基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor\\(KNN\\), 学习矢量量化（Learning Vector Quantization， LVQ），以及自组织映射算法（Self-Organizing Map ， SOM）\n\n### **正则化方法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_8d0bbca7ad1a.png)\n\n正则化方法是其他算法（通常是回归算法）的延伸，根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚。常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）。\n\n### **决策树学习**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_81630b2f9552.png)\n\n决策树算法根据数据的属性采用树状结构建立决策模型， 决策树模型常常用来解决分类和回归问题。常见的算法包括：分类及回归树（Classification And Regression Tree， CART）， ID3 \\(Iterative Dichotomiser 3\\)， C4.5， Chi-squared Automatic Interaction Detection\\(CHAID\\), Decision Stump, 随机森林（Random Forest）， 多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine， GBM）\n\n### **贝叶斯方法**\n\n[![](\u002Fassets\u002Fmlpre9.png \"2class\\_gauss\\_points\")](http:\u002F\u002Fwww.ctocio.com\u002Fhotnews\u002F15919.html\u002Fattachment\u002F2class_gauss_points)\n\n贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题。常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。\n\n### **基于核的算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_41aadc7f62d7.png)\n\n基于核的算法中最著名的莫过于支持向量机（SVM）了。 基于核的算法把输入数据映射到一个高阶的向量空间， 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决。 常见的基于核的算法包括：支持向量机（Support Vector Machine， SVM）， 径向基函数（Radial Basis Function ，RBF\\)， 以及线性判别分析（Linear Discriminate Analysis ，LDA\\)等\n\n### **聚类算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_7d1d5dcd9843.png)\n\n聚类，就像回归一样，有时候人们描述的是一类问题，有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并。所以的聚类算法都试图找到数据的内在结构，以便按照最大的共同点将数据进行归类。常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。\n\n### **关联规则学习**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_2c49dc967c03.png)\n\n关联规则学习通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等。\n\n### **人工神经网络**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_bc6d5b92efe4.png)\n\n人工神经网络算法模拟生物神经网络，是一类模式匹配算法。通常用于解决分类和回归问题。人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法。（其中[深度学习](http:\u002F\u002Flib.csdn.net\u002Fbase\u002Fdeeplearning)就是其中的一类算法，我们会单独讨论），重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-Organizing Map, SOM）。学习矢量量化（Learning Vector Quantization， LVQ）\n\n### **深度学习**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_4c16cc6be115.png)\n\n深度学习算法是对人工神经网络的发展。 在近期赢得了很多关注， 特别是[百度也开始发力深度学习后](http:\u002F\u002Fwww.ctocio.com\u002Fccnews\u002F15615.html)， 更是在国内引起了很多关注。   在计算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神经网络。很多深度学习的算法是半监督式学习算法，用来处理存在少量未标识数据的[大数据](http:\u002F\u002Flib.csdn.net\u002Fbase\u002Fhadoop)集。常见的深度学习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders）。\n\n### **降低维度算法**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_97fa83507042.png)\n\n像聚类算法一样，降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较少的信息来归纳或者解释数据。这类算法可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。常见的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回归（Partial Least Square Regression，PLS）， Sammon映射，多维尺度（Multi-Dimensional Scaling, MDS）,  投影追踪（Projection Pursuit）等。\n\n### **集成算法：**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_readme_3938b586f192.png)\n\n集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测。集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来。这是一类非常强大的算法，同时也非常流行。常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆叠泛化（Stacked Generalization， Blending），梯度推进机（Gradient Boosting Machine, GBM），随机森林（Random Forest）。\n\n### 大模型\n\n以下是模型在金融业中的应用：\n\n风险管理：大模型可以通过对历史数据的分析和学习，来预测未来可能出现的风险和危机。\n\n投资决策：大模型可以处理复杂的市场数据和趋势，提供更加准确的投资建议\n\n交易分析：大模型可以对交易数据进行实时监控和分析，识别出异常交易和欺诈行为，从而降低交易风险和提高交易效率。\n\n客户服务：大模型可以通过对客户数据和历史行为的分析，了解客户的需求和偏好，从而提供更加个性化的客户服务。\n\n#### Transformer\n\n#### BERT\n\n#### GPT\n\n#### LangChain\n\n#### LLMA","# Machine-Learning 快速上手指南\n\n本指南基于开源项目 `Machine-Learning`，该项目主要整理了机器学习、深度学习及大模型相关的数学原理、算法推导与工程实践笔记。它并非一个可直接调用的 Python 库，而是一套系统的学习资料库。以下将指导您如何获取、浏览及利用该资源进行学习。\n\n## 环境准备\n\n本项目主要为文档和代码示例集合，无严格的系统运行时依赖，但为了运行其中的代码示例（如 Scikit-learn, TensorFlow, PyTorch 等），建议配置以下环境：\n\n*   **操作系统**：Windows \u002F macOS \u002F Linux (推荐 Ubuntu 20.04+)\n*   **Python 版本**：Python 3.8 或更高版本\n*   **前置依赖**：\n    *   Git (用于克隆仓库)\n    *   常用数据科学库：`numpy`, `pandas`, `scikit-learn`, `matplotlib`, `tensorflow` 或 `pytorch`\n*   **网络环境**：由于部分依赖包较大，国内用户建议使用国内镜像源加速下载。\n\n## 安装步骤\n\n### 1. 克隆项目仓库\n\n使用 Git 将项目代码拉取到本地：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fshunliz\u002FMachine-Learning.git\ncd Machine-Learning\n```\n\n> **提示**：如果 GitHub 访问速度慢，可使用国内镜像源（如 Gitee，若有）或配置 Git 代理。\n\n### 2. 创建虚拟环境并安装依赖\n\n建议创建一个独立的虚拟环境以避免污染系统环境。\n\n```bash\n# 创建虚拟环境\npython -m venv ml_env\n\n# 激活环境\n# Windows:\nml_env\\Scripts\\activate\n# macOS\u002FLinux:\nsource ml_env\u002Fbin\u002Factivate\n\n# 升级 pip 并使用国内镜像源安装基础依赖\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple --upgrade pip\n\n# 安装核心数据科学库 (根据笔记中涉及的库)\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple numpy pandas scikit-learn matplotlib scipy jupyter\n```\n\n*注：若需运行深度学习章节（CNN, RNN, Transformer 等），请额外安装：*\n```bash\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple tensorflow torch torchvision\n```\n\n### 3. 离线浏览文档 (可选)\n\n该项目原始内容托管于 GitBook。若需离线阅读整理后的 Markdown 文档，可直接在本地使用 Markdown 编辑器（如 VS Code + Markdown Preview Enhanced 插件）打开根目录下的 `README.md` 或各章节 `.md` 文件。\n\n```bash\n# 使用 VS Code 打开项目\ncode .\n```\n\n## 基本使用\n\n本项目的使用方式主要是**阅读理论笔记**与**运行示例代码**。\n\n### 1. 浏览知识体系\n\n打开根目录的 `README.md` 文件，您将看到完整的知识图谱，涵盖：\n*   **数学基础**：微积分、概率论、线性代数（含公式推导）。\n*   **机器学习经典算法**：回归、决策树、SVM、聚类、集成学习 (XGBoost\u002FLightGBM) 等。\n*   **深度学习**：CNN, RNN, LSTM, Transformer, BERT, GAN 等。\n*   **进阶领域**：强化学习、迁移学习、NLP、语音识别及大模型技术。\n\n### 2. 运行代码示例\n\n项目中各个章节文件夹下通常包含具体的算法实现代码（`.py` 文件或 Jupyter Notebook）。以**线性回归**为例：\n\n1.  进入对应目录：\n    ```bash\n    cd ml\u002Fregression\n    ```\n2.  查找并运行代码文件（假设存在 `linear-regression.py` 或类似示例）：\n    ```bash\n    python linear-regression.py\n    ```\n    *(注：具体文件名请参考各子目录下的实际文件列表)*\n\n### 3. 结合 Jupyter 学习\n\n对于涉及数据可视化和交互式实验的章节（如数据清洗、特征工程），推荐使用 Jupyter Notebook 运行：\n\n```bash\n# 启动 Jupyter Notebook\njupyter notebook\n```\n在浏览器中导航至项目对应的 `.ipynb` 文件（如有），即可边看代码边运行结果，验证算法效果。\n\n---\n*本指南旨在帮助您快速搭建学习环境并开始阅读该开源笔记。详细内容请参阅项目内各章节的 Markdown 文档。*","某金融科技公司数据团队正着手构建信用卡欺诈检测模型，急需夯实团队的数学理论基础并统一特征工程标准。\n\n### 没有 Machine-Learning 时\n- 团队成员数学背景参差不齐，面对梯度下降、拉格朗日乘子法等核心算法的公式推导时常卡壳，导致模型调优缺乏理论支撑。\n- 特征工程阶段各自为战，对 One-hot 编码、变量分箱（如最优卡方分箱）及异常值监测缺乏统一规范，造成模型输入质量不稳定。\n- 遇到 PCA 降维或 MCMC 采样等复杂问题时，需花费大量时间在互联网碎片化信息中检索验证，严重拖慢研发进度。\n- 新人入职培训周期长，缺乏系统性的从数学基础到深度学习损失函数的完整知识图谱，难以快速形成战斗力。\n\n### 使用 Machine-Learning 后\n- 团队直接参照笔记中详尽的数学分析章节，快速厘清牛顿法与凸优化原理，让算法调参从“凭感觉”转变为“有依据”。\n- 严格遵循第六章的数据清洗与特征选择指南，统一了从离散变量编码到基于树的最优分箱方法的操作流程，显著提升了特征区分度（KS 值）。\n- 利用整理好的 SVD 原理、Gibbs 采样及 Spark 特征提取实战案例，团队在数小时内即可复现关键实验，研发效率大幅提升。\n- 新员工通过研读从概率论概论到回归模型的全链路内容，一周内即可掌握核心理论与代码实现，迅速融入项目开发。\n\nMachine-Learning 将分散的互联网知识重构为系统的理论与实战指南，帮助团队打通了从数学推导到工程落地的“最后一公里”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshunliz_Machine-Learning_3c90fd11.png","shunliz","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fshunliz_bcaa15a3.jpg","Cloud(@openstack,@aws) deveoper focus on @Devops & @Docker & @MicroService\r\n\r\nEvery baby brings its own love",null,"Xian,China","zsl6658@126.com","https:\u002F\u002Fshunliz.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fshunliz",[85],{"name":86,"color":87,"percentage":88},"Python","#3572A5",100,1422,304,"2026-04-02T06:58:06","","未说明",{"notes":95,"python":93,"dependencies":96},"该项目主要为机器学习与深度学习的理论笔记和公式推导整理，并非单一的可执行软件工具。文中提到的依赖库（如 numpy, scikit-learn, tensorflow, keras, pySpark 等）仅作为各章节理论对应的实践示例库被提及，README 中未提供具体的版本要求、安装脚本或统一的运行环境配置说明。用户需根据具体学习的章节自行安装相应的 Python 库。",[97,51,98,99,100,59,101,102,103],"numpy","scipy","pandas","tensorflow","pySpark","matplotlib","hmmlearn",[18],"2026-03-27T02:49:30.150509","2026-04-06T05:17:10.773390",[],[]]