Machine_Learning_Resources
Machine_Learning_Resources 是一个专为机器学习求职者打造的面试复习资源库。它系统地整理了从特征工程、算法基础到经典机器学习模型的核心知识点，并汇聚了高质量的技术文章与实战链接。
在准备技术面试时，候选人往往面临知识点分散、重点难以把握的困扰。Machine_Learning_Resources 通过结构化的分类，涵盖了特征预处理与选择、评价指标、正则化、损失函数、模型训练技巧（如 BN、Dropout）、优化算法以及 LR、SVM、GBDT、XGBoost 等主流算法的深度解析。特别值得一提的是，该资源库明确聚焦于“面试高频考点”与“进阶理解”，对于基础算法推导则引导读者参考经典教材，从而帮助使用者高效利用时间，直击面试核心。
这份资源非常适合正在准备机器学习算法工程师岗位的开发者、研究生以及希望系统梳理知识体系的研究人员。无论是需要查漏补缺的资深从业者，还是即将步入职场的应届生，都能从中找到针对性的复习路径。其独特的价值在于不仅提供了理论链接，还包含了大量关于“为什么这么做”的深度探讨（如 Transformer 为何使用 LN 而非 BN），有助于用户在面试中展现出对技术原理的深刻理解。
使用场景
一名即将参加大厂算法岗面试的求职者，正在紧张地复习机器学习核心概念并准备手推公式与场景问答。
没有 Machine_Learning_Resources 时
- 资料分散且质量参差不齐：需要在知乎、CSDN、博客园等多个平台碎片化搜索“特征选择”或"XGBoost 推导”，耗费大量时间筛选低质内容。
- 知识盲区难以自查：对于"Transformer 为何用 LN 不用 BN"或"L1 正则稀疏性原理”等深层面试题，缺乏系统性的指引，容易陷入死胡同或理解偏差。
- 复习重点偏离实战：容易在基础算法（如 LR、SVM）的教科书式定义上过度纠结，却忽略了面试中高频考察的特征工程技巧与模型调优细节。
- 缺乏权威链接汇总：遇到疑难知识点时，找不到经过社区验证的高质量解读文章，导致备考信心不足，焦虑感倍增。
使用 Machine_Learning_Resources 后
- 一站式获取高质资源：直接通过目录索引访问关于特征预处理、不平衡数据处理及 KAGGLE 实战代码的精选链接，构建起完整的知识图谱。
- 深度解析攻克难点：利用仓库中关于正则项数学原理、损失函数对比及优化算法（如 EM、KKT 条件）的深度文章，迅速掌握面试官青睐的底层逻辑。
- 聚焦高频考点：依据仓库结构，跳过基础书本已涵盖的内容，精准突击 GBDT/XGBoost/LightGBM 的推导细节与差异对比，提升复习效率。
- 建立系统化思维：从特征工程到模型评估，再到具体算法优劣分析，形成闭环复习路径，能够从容应对从理论推导到场景落地的各类提问。
Machine_Learning_Resources 将零散的面试知识点串联成体系，帮助求职者从“盲目刷题”转型为“精准突破”，极大提升了备战效率与通过率。
运行环境要求
未说明
未说明
快速开始
:point_right: 本仓库主要用于整理机器学习面试相关知识点的有用链接 （注：目前不打算将一些基础算法的内容加入这个repo里，比如LR、SVM算法在《统计学习方法》里已经得到了很好的解释，面试时可能考到的手推公式在书里已经写的很好了，所以推荐直接看书即可。）
一、特征工程
（一）特征预处理
（二）特征表达
（三）特征选择
二、算法基础
（一）评价指标
（二）正则项
- 正则化与数据先验分布的关系
- L1在0点处不可导怎么办？可采用坐标轴下降、最小角回归法
- L1为什么比L2的解更稀疏
（三）损失函数
（四）模型训练
- 经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证
- 参数初始化为什么不能全零
- 深度学习参数初始化 Lecunn、Xavier、He初始化
- dropout
- Batch Normalization
- dropout和BN在训练&预测时有什么不同
- Layer Normalization
- Transformer为什么用LN不用BN（LN和BN两者分别关注什么）
- ResNet
（五）优化算法
- 梯度下降法、牛顿法和拟牛顿法
- 深度学习优化算法SGD、Momentum、Adagrad等
- 最大似然估计 和 最大后验估计
- 最小二乘法 和 最大似然估计的对比联系
- 最大似然估计 和 EM
- 浅谈最优化问题的KKT条件
（六）其他知识点
- 先验概率 & 后验概率
- MLE最大似然估计 & MAP最大后验估计
- 判别模型 vs 生成模型
- 参数模型 vs 非参数模型
- 参数估计 最大似然估计与贝叶斯估计
- 交叉熵
- 交叉熵 等价 KL散度 等价 MLE最大似然估计
- 向量间距离度量方式
- 余弦距离和欧氏距离的转换
三、机器学习算法
- 线性回归、逻辑回归、SVM
- LR优缺点
- SVM、logistic regression、linear regression对比
- KNN vs K-Means
- LR和最大熵模型的关系, LR的并行化
- 为什么LR要用对数似然，而不是平方损失？
- 似然函数
- 树模型
- 逻辑回归与决策树在分类上的区别
- 回归树、提升树、GBDT
- GBDT、XGBOOST、LightGBM讲解(强烈推荐看一下)
- XGBOOST具体例子一步步推导，包括缺失值怎么处理（很细值得看） (-> 这个链接包含前面文章内容，更全的总结
- 随机森林 GBDT XGBOOST LightGBM 比较
- 树分裂：信息增益、信息增益率、基尼系数
- 其他
四、NLP相关
- word2vec 文章1文章2 文章3
- LSTM
- LSTM为什么用tanh
- fasttext
- Transformer、self-attention
- Transformer图解
- encode-decode attention和transformer self-attention对比
- Transformer中的positional encoding
- Bert 零基础入门，prerequisites很全
- XLNet
- nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert
- NLP/AI面试全记录
五、推荐系统 & 计算广告 相关
- LR & FTRL
- FM算法:讲的蛮细的
- FM算法结合推荐系统的讲解
- DSSM模型
- DSSM模型的损失函数（顺带讲了point-wise, list-wise, pair-wise损失函数）
- 在线最优化求解 Online Optimization
六、推荐书籍/笔记/代码实现
- 统计学习方法 (注意这个pdf是第一版，其中的勘误可在这里查看)（代码实现及ppt）
- 西瓜书的公式推导细节解析
- deeplearning.ai深度学习课程的中文笔记
- 机器学习训练秘籍 (Andrew NG)
- 推荐系统实战
七、推荐专栏
- 刘建平Pinard：很多高质量文章讲解基础的知识和算法
- 华校专：基础算法讲解，多而全（其实还没怎么看
- 王喆的机器学习专栏：结合论文+工业界的推荐系统应用，讲的很清晰
- 荐道馆：讲推荐相关，文章写的比较透
- 美团技术团队：美团的技术博客，新技术与实际应用相结合
- 深度学习前沿笔记：NLP相关较多，预训练技术讲解的多
- 计算广告小觑
- 计算广告论文、学习资料、业界分享
八、面试问题汇总
九、其他面试常考
十、C++相关
工作之后工程实践相关
相似工具推荐
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
funNLP
funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。
cs-video-courses
cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。 面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。 这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。