此仓库已弃用，请查看最新的 Nailing Machine Learning Concepts

本仓库的目的有两个：

• 帮助数据科学从业者准备相关面试
• 向不了解但希望学习数据科学基础知识的人介绍一些基本概念

重点在于知识的广度，因此这更像是一份快速参考手册，而非深入的学习资料。如果你希望详细学习某个特定主题，请参考其他资源，或者联系我，我很乐意为你推荐我曾觉得有用的材料。

我可能会不时添加一些新内容，不过这也应该是一项社区共同参与的工作，对吧？欢迎任何 Pull Request！

以下是分类目录：

• 简历
• SQL
• 工具与框架
• 统计学与机器学习概论
• 监督学习
• 无监督学习
• 强化学习
• 自然语言处理
• 系统

简历

关于简历，我能给出的唯一建议就是以具体、可量化的方式描述你过去的数据科学/机器学习项目。请对比以下两种表述：

训练了一个机器学习系统

和

使用 Keras、TensorFlow 和 Node.js 设计并部署了一套深度学习模型来识别物体。该模型的参数量仅为传统神经网络（如 ResNet）的 1/30，训练时间缩短至 1/3，推理速度提升至 5 倍，且收敛速度提高了 2 倍。

第二种表述要好得多，因为它量化了你的贡献，并突出了你所使用的技术（从而表明你的专业能力）。这就要求你在实验过程中记录下自己所做的工作。不过也不要夸大其词。

花些时间仔细检查你的简历或过往项目，确保能够清晰地解释它们。

SQL

• JOIN 的区别

JOIN 的区别

• (INNER) JOIN：返回两个表中匹配值的记录
• LEFT (OUTER) JOIN：返回左表中的所有记录，以及右表中匹配的记录
• RIGHT (OUTER) JOIN：返回右表中的所有记录，以及左表中匹配的记录
• FULL (OUTER) JOIN：当左表或右表中有匹配时，返回所有记录

返回顶部

工具与框架

这里的资源仅用于帮助你复习相关主题，而不是让你成为专家。

• Spark

Spark

使用 PySpark API。

• 最好的资源当然是 Spark 的官方文档。请仔细阅读相关章节。
• 如果时间非常紧张，可以快速浏览 Spark 文档，并查阅 PySpark 备忘录，了解基础知识。

返回顶部

统计学与机器学习概论

• 项目流程
• 交叉验证
• 特征重要性
• 均方误差 vs. 平均绝对误差
• L1 正则化 vs. L2 正则化
• 相关性 vs. 协方差
• 增加数据是否能解决欠拟合问题
• 激活函数
• Bagging
• Stacking
• 生成式模型 vs. 判别式模型
• 参数化模型 vs. 非参数化模型
• 推荐系统

项目流程

对于一个数据科学/机器学习项目，我们应该遵循哪些步骤呢？以下是我通常的做法：

• 明确业务目标。 我们的目标是吸引更多客户、提高满意度，还是增加收入？
• 定义问题。 在理想状态与现实之间，究竟存在怎样的差距需要通过机器学习来弥补？提出那些能够利用现有数据和预测建模（机器学习算法）来解决的问题。
• 建立常识基线。 在求助于机器学习之前，先尝试在完全不懂数据科学的情况下解决问题，看看效果如何。你可能会惊讶地发现，这种基线方法往往非常有效，比如推荐最受欢迎的前 N 个商品，或者基于规则的逻辑。这个基线也可以作为评估机器学习模型性能的良好基准。
• 回顾机器学习文献。 避免重复造轮子，并从中获得灵感，了解哪些技术或算法适合用我们的数据来解决当前问题。
• 设定单一指标。 成功意味着什么——高准确率、低误差，还是更高的 AUC——又该如何衡量？这个指标必须与高层目标保持一致，通常是与业务成功相关的指标。设定一个统一的数值指标，用来评估所有模型的表现。
• 进行探索性数据分析 (EDA)。 通过玩转数据，大致了解数据类型、分布、变量之间的相关性、分面等信息。这一步通常涉及大量的可视化操作。
• 划分数据集。 验证集应足够大，以便检测不同模型之间的差异；测试集也应足够大，以反映最终模型的整体性能；而训练集，则自然是越大越好。
• 数据预处理。 包括数据集成、清洗、转换、降维、离散化等操作。
• 特征工程。 构建特征是一项困难且耗时的工作，需要丰富的专业知识。实际上，应用机器学习的核心就是特征工程。这一步通常涉及特征选择和构造，需要结合领域知识。对于深度学习项目，特征工程可能相对简单。
• 开发模型。 选择合适的算法、调整超参数、设计网络架构等。
• 集成模型。 集成通常可以提升性能，但这取决于各个模型或特征之间的相关性。因此，尝试集成总是值得的。不过也要做好心理准备，因为有些集成方案过于复杂或运行缓慢，难以投入生产。
• 部署模型。 将模型部署到生产环境中进行推理。
• 监控模型。 监控模型的表现，并收集反馈。
• 迭代。 重复上述步骤。数据科学往往是一个迭代的过程，随着时间推移会不断开发出新的、更优秀的模型。

返回顶部

交叉验证

交叉验证是一种评估预测模型的技术，它将原始样本划分为训练集和验证集，其中训练集用于训练模型，验证集用于评估模型。例如，k折交叉验证会将数据分成k个折叠（或分区），每次使用k-1个折叠进行训练，并在剩下的1个折叠上进行评估。这样可以得到k个模型/评估结果，然后对这些结果取平均，从而获得模型的整体性能。

返回顶部

特征重要性

• 在线性模型中，特征重要性可以通过系数的大小来计算。
• 在基于树的方法中（如随机森林），重要的特征通常会出现在树的更靠近根节点的位置。对于随机森林，我们可以通过计算该特征在森林中所有树上的平均出现深度来衡量其重要性。

返回顶部

均方误差与平均绝对误差

• 相似性：两者都用于衡量模型预测误差的平均值；取值范围从0到无穷大；数值越小越好。
• 均方误差（MSE）对较大的误差赋予更高的权重（例如，误差为10比误差为5糟糕两倍以上），而平均绝对误差（MAE）则对所有误差赋予相同的权重（误差为10只是误差为5的两倍糟糕）。
• 均方误差是连续可导的，而平均绝对误差则不是（当预测值等于真实值时）。

返回顶部

L1正则化与L2正则化

• 相似性：L1和L2正则化都通过收缩（施加惩罚）系数来防止过拟合。
• 差异：L2（岭回归）会按相同比例缩小所有系数，但不会将任何系数置零；而L1（套索回归）可以将部分系数缩小到零，从而实现变量选择。
• 如何选择：如果所有特征都与标签相关，岭回归的表现优于套索回归，因为岭回归中的系数永远不会为零。如果只有部分特征与标签相关，则套索回归的表现更好，因为它可以将某些系数缩小到零。
• 图(a)中的黑色正方形代表L1正则化的可行域，而图(b)则代表L2正则化的可行域。图中的等高线表示不同的损失值（针对无约束的回归模型）。由于图(a)的形状更加棱角分明，因此使损失最小化的可行点更可能出现在图(a)的坐标上，而不是图(b)上。当系数数量增加时，这种效应会更加明显，例如从2个增加到200个。这意味着L1正则化会产生稀疏估计，即在高维空间中，大多数系数为零，只有少数非零系数。

返回顶部

相关性与协方差

• 两者都用于确定两个随机变量之间的关系并衡量它们的依赖程度。
• 相关性是指一个变量的变化可能导致另一个变量的变化，而协方差则是指两个变量共同变化的程度（联合变异）。
• 协方差本质上就是一种相关性的度量。相反，相关性则是协方差的标准化形式。
• 取值范围：相关性介于-1到+1之间，而协方差的取值范围则是负无穷到正无穷。

返回顶部

增加数据是否能解决欠拟合问题？

欠拟合是指模型不够复杂，无法很好地从数据中学习的情况。这主要是模型本身的问题，而非数据量不足所致。因此，解决欠拟合的一种方法是提高模型的复杂度（例如，为线性模型添加更高次的项，为基于树的方法增加深度，为神经网络增加层数或神经元数量等）。

返回顶部

激活函数

对于神经网络：

• 非线性：常使用ReLU。为了解决ReLU“死亡”问题，可以使用Leaky ReLU（对负输入赋予一个小的正梯度，例如当x < 0时，y = 0.01x）。
• 多分类：softmax。
• 二分类：sigmoid。
• 回归：线性。

返回顶部

装袋法

为了应对过拟合问题，我们可以使用一种称为装袋法（Bootstrap Aggregating）的集成方法，它可以降低元学习算法的方差。装袋法可以应用于决策树或其他算法。

这里有一个很好的示例展示了单个估计器与装袋法的区别：链接。

• 装袋法是在有放回的情况下进行抽样。如果没有放回地进行抽样，则称为粘贴法。
• 装袋法之所以受欢迎，不仅因为它能够提升模型性能，还因为各个基学习器可以并行训练且具有良好的可扩展性。
• 集成方法的效果最好是在各个基学习器尽可能相互独立的情况下。
• 投票方式：软投票（预测概率并取所有基学习器的平均值）通常比硬投票效果更好。
• 装袋法中未被选中的样本可以用作验证集。

返回顶部

堆叠法

• 不再使用简单的聚合方法（如硬投票）来综合各个基学习器的预测结果，而是训练一个模型来进行这种聚合。
• 首先将训练集分成两个子集：第一个子集用于训练第一层的基学习器。
• 然后利用第一层的基学习器对第二个子集进行预测（生成元特征），并将这些预测结果用于训练第二层的其他模型（以确定不同基学习器的权重）。
• 我们可以在第二层训练多个模型，但这需要将原始数据集进一步分成三份。

返回顶部

生成式与判别式

• 判别式算法建模的是 p(y|x; w)，即在给定数据集和学习到的参数的情况下，y 属于某一特定类别的概率。判别式算法并不关心数据是如何生成的，它只是简单地对给定的样本进行分类。
• 生成式算法则试图建模 p(x|y)，即在已知样本属于某一类别时，特征的分布情况。生成式算法是对数据生成过程的建模。

给定一个训练集，像逻辑回归或感知机这样的算法（基本上）会尝试找到一条直线——也就是决策边界——来将大象和狗分开。然后，为了将一个新的动物分类为大象或狗，它会检查该动物落在决策边界的哪一侧，并据此做出预测。

这里还有另一种方法。首先，通过观察大象，我们可以建立一个关于大象外观的模型。接着，通过观察狗，我们也可以建立一个关于狗外观的独立模型。最后，为了对一个新的动物进行分类，我们可以将这个新动物与大象模型进行匹配，同时也与狗模型进行匹配，以判断这个新动物更像我们在训练集中见过的那些大象，还是更像那些狗。

返回顶部

参数化与非参数化

• 使用一组大小固定（与训练样本数量无关）的参数来总结数据的学习模型称为参数化模型。
• 在非参数化模型中，参数的数量在训练之前是不确定的。非参数化并不意味着它们没有参数。相反，随着数据量的增加，非参数化模型可能会变得越来越复杂。

返回顶部

推荐系统

• 我把推荐系统放在这里，因为从技术上讲，它既不属于监督学习，也不属于无监督学习。
• 推荐系统旨在预测用户对物品的“评分”或“偏好”，并据此推荐相应的物品。
• 基于内容的推荐系统会根据用户过去喜欢过的物品，推荐与其相似的其他物品，这些反馈可以是显式的（如评分、点赞/不喜欢按钮）或隐式的（如浏览或完成一篇文章）。基于内容的推荐仅依赖于单个用户的过往行为，而不考虑其他用户的信息。
• 协同过滤则基于整个用户群体的过往行为。协同过滤有两种方法：基于物品的或基于用户的：
  • 基于物品的：对于用户 u，未评分物品的得分是通过结合与 u 相似用户的评分来计算的。
  • 基于用户的：评分 (u, i) 是通过查看与物品 i 相似的物品集合（交互相似性），再将 u 对这些相似物品的评分综合起来得到的预测评分。
• 传统上，推荐系统多采用矩阵分解方法，但近年来也有基于深度学习的方法。
• 冷启动问题和稀疏矩阵可能是推荐系统面临的一些挑战。
• 推荐系统广泛应用于电影、新闻、研究论文、产品、社交标签、音乐等领域。

返回顶部

监督学习

• 线性回归
• 逻辑回归
• 朴素贝叶斯
• K近邻
• 支持向量机
• 决策树
• 随机森林
• 提升树
• 多层感知器
• 卷积神经网络
• 循环神经网络与LSTM

线性回归

• 如何学习参数：最小化损失函数。
• 如何最小化损失函数：梯度下降法。
• 正则化：
  • L1（Lasso）：可以将某些系数缩减至零，从而实现特征选择。
  • L2（Ridge）：以相同的比例缩减所有系数；通常性能优于 L1。
  • 弹性网络：将 L1 和 L2 正则化相结合。
• 假设特征与标签之间存在线性关系。
• 可以添加多项式特征和交互特征以引入非线性。

返回顶部

逻辑回归

• 用于二分类问题的广义线性模型（GLM）。
• 将 sigmoid 函数应用于线性模型的输出，使目标值被压缩到 [0, 1] 范围内。
• 预测时的阈值：通常如果输出 > 0.5，则预测为 1；否则预测为 0。
• 它是 softmax 函数的一个特例，后者用于处理多分类问题。

返回顶部

朴素贝叶斯

• 朴素贝叶斯（NB）是一种基于 贝叶斯定理 的监督学习算法。
• 称之为“朴素”，是因为它假设每个特征之间相互独立。
• NB 可以做出不同的假设（即数据分布，如高斯分布、多项式分布、伯努利分布等）。
• 尽管假设过于简化，朴素贝叶斯分类器在实际应用中表现相当不错，尤其是在文本分类领域（例如垃圾邮件过滤）。
• 与更复杂的方法相比，朴素贝叶斯的速度非常快。

返回顶部

K近邻

• 给定一个数据点，我们使用某种距离度量（如欧几里得距离）计算出其 K 个最近的数据点（邻居）。对于分类任务，我们取邻居中多数的标签；对于回归任务，我们取标签值的平均值。
• 需要注意的是，KNN 并不训练模型，而是在推理时直接进行计算。这可能会导致较高的计算开销，因为每个测试样本都需要与每一个训练样本进行比较，以确定它们之间的距离。
• 有一些近似方法可以通过将训练数据划分为多个区域来加快推理速度（例如 annoy）。
• 当 K 等于 1 或其他较小的数值时，模型容易过拟合（方差较大）；而当 K 等于数据点总数或其他较大的数值时，模型则容易欠拟合（偏差较大）。

返回顶部

支持向量机

• 可以执行线性分类、非线性分类，或异常值检测（无监督）。
• 大间隔分类器：使用 SVM 不仅可以得到决策边界，还可以使该边界尽可能远离最近的训练点。
• 最接近的训练样本被称为支持向量，因为决策边界的绘制正是基于这些点。
• SVM 对特征缩放较为敏感。

返回顶部

决策树

• 非参数、监督学习算法
• 给定训练数据后，决策树算法会将特征空间划分为若干区域。在推理时，我们首先确定测试数据点落在哪个区域，然后取该区域的平均标签值（回归）或多数标签值（分类）。
• 构建：自顶向下，选择一个变量来分割数据，使得每个区域内的目标变量尽可能同质化。常用的两种指标是基尼不纯度或信息增益，但在实际应用中差异不大。
• 优点：易于理解和解释，贴近人类的决策过程。
• 缺点：
  • 如果不限制树的深度，容易过拟合（泛化能力差）。
  • 不够稳健：训练数据的微小变化可能导致完全不同的树结构。
  • 不稳定性：由于其正交的决策边界，对训练集的旋转较为敏感。

返回顶部

随机森林

随机森林通过引入随机性进一步改进了袋装法。在随机森林中，每次构建树时只随机选择一部分特征（而通常不会对样本进行子采样）。这样做的好处是使各棵树之间 去相关化。

例如，假设我们有一个数据集，其中有一个非常有预测性的特征，以及几个中等预测性的特征。在袋装树中，大多数树会在根节点使用这个非常有预测性的特征进行分裂，因此这些树看起来非常相似，并且高度相关。然而，对大量高度相关的结果取平均，并不能像对不相关的结果那样显著降低方差。

而在随机森林中，每次分裂时只考虑部分特征，从而通过引入更多不相关的树来进一步降低方差。

我编写了一个 笔记本 来说明这一点。

在实践中，调参随机森林时需要设置较大的树数量（越多越好，但也要考虑计算资源的限制）。此外，还需要调整 min_samples_leaf 参数（叶节点上的最小样本数），以控制树的大小和过拟合问题。始终要对参数进行交叉验证。

返回顶部

提升树

工作原理

提升方法基于弱学习器，采用迭代的方式构建模型。在每一轮迭代中，都会添加一个新的弱学习器，而现有的所有弱学习器保持不变。每个弱学习器会根据其表现（如准确率）被赋予相应的权重。当新弱学习器加入后，数据会被重新加权：那些被错误分类的样本权重会增加，而正确分类的样本权重会减少。这样一来，后续的弱学习器会更加关注之前弱学习器未能正确分类的样本。

与随机森林的区别

• 随机森林是 并行 构建树，而提升树是 串行 的。
• 随机森林主要降低方差，而提升树则通过减少偏差来降低误差。

XGBoost（极端梯度提升）

XGBoost 使用了更正则化的模型形式来控制过拟合，因此性能更好。

返回顶部

多层感知机（MLP）

一种多层前馈神经网络。每一层可以包含多个神经元，下一层的每个神经元都是上一层所有神经元的线性或非线性组合。为了训练网络，我们采用逐层反向传播误差的方法。理论上，MLP 可以逼近任意函数。

返回顶部

卷积神经网络（CNN）

卷积层是卷积神经网络的基本构成单元。卷积层由一组可学习的滤波器组成（例如 5×5×3，宽度×高度×深度）。在前向传播过程中，我们会将滤波器在整个输入上滑动（更准确地说，进行卷积运算），并计算点积。网络通过逐层反向传播误差来完成学习。

早期的卷积层主要捕捉低层次特征，如角度和边缘；而随着层数的增加，它们会学习到更高层次的特征，比如形状和物体的部分结构。

返回顶部

循环神经网络（RNN）与长短期记忆网络（LSTM）

RNN 是另一种神经网络范式，它由多层细胞组成，每一层的细胞不仅接收来自上一层的输入，还会接收本层之前的细胞状态作为输入。这使得 RNN 具备建模序列的能力。

听起来很棒，但实际上 RNN 往往难以有效工作，因为存在梯度爆炸或梯度消失的问题，这是由一系列相同矩阵的乘法造成的。为了解决这个问题，我们可以使用 RNN 的一种变体——长短期记忆网络（LSTM），它能够学习长期依赖关系。

LSTM 的数学原理可能比较复杂，但从直观上看，LSTM 引入了以下机制：

• 输入门
• 输出门
• 忘记门
• 记忆细胞（内部状态）

LSTM 类似于人类的记忆：它会忘记旧的信息（旧的内部状态乘以忘记门），同时从新的输入中学习（输入节点乘以输入门）。

返回顶部

无监督学习

• 聚类
• 主成分分析
• 自编码器
• 生成对抗网络

聚类

• 聚类是一种无监督学习算法，它将数据分组，使得同一组内的数据点彼此相似度高于与其他组数据点的相似度。
• 相似度通常通过距离度量来定义（如欧氏距离、余弦相似度、Jaccard 系数等）。
• 其目标通常是发现数据中的潜在结构（通常是高维数据）。
• 最常见的聚类算法是 K-means，用户需要指定聚类的数量 K，算法会迭代地为每个数据点分配所属的聚类。

scikit-learn 实现了多种聚类算法。以下是其官网页面上的一张对比图。

返回顶部

主成分分析

• 主成分分析（PCA）是一种降维技术，它将数据投影到低维空间。
• PCA 使用奇异值分解（SVD），这是一种矩阵分解方法，可以将一个矩阵分解为三个较小的矩阵（关于 SVD 的更多详细信息请参见 这里）。
• PCA 会找到前 N 个主成分，这些主成分是数据变化（分散）最大的方向。直观地说，数据在某个特定维度上越分散，所包含的信息就越多，因此这个维度对于数据集的模式识别就越重要。
• PCA 可以用作数据可视化的预处理步骤：将高维数据降维到 2D 或 3D。另一种降维技术是 t-SNE。

以下是 PCA 的可视化解释：

返回顶部

自编码器

• 自编码器的目标是为一组数据学习一种表示（编码）。
• 自编码器通常由两部分组成：编码器和解码器。编码器会找到原始输入的低维表示（潜在变量），而解码器则用于从这个低维向量中重建原始数据，使得重建数据与原始数据之间的距离最小化。
• 可用于数据去噪和降维。

生成对抗网络

• 生成对抗网络（GAN）是一种无监督学习算法，同时也带有监督学习的特性：在训练过程中会使用监督损失。
• GAN 通常有两个主要组成部分：生成器和判别器。生成器试图生成“假”数据（例如图像或句子），以欺骗判别器使其认为这些数据是真实的；而判别器则试图区分真实数据和生成的数据。两者之间是一种对抗关系，因此得名“对抗”，这种对抗促使双方不断改进，直到“假”数据与真实数据无法区分。
• 直观的工作原理：
  • 生成器接收一个随机输入，并生成一个数据样本。
  • 判别器随后会接收到生成的样本或真实的数据样本，尝试预测输入是真实数据还是生成的数据（即解决一个二分类问题）。
  • 在 [0, 1] 的真值评分范围内，理想情况下，我们希望判别器对生成的数据给出较低的分数，而对真实数据给出较高的分数。另一方面，我们也希望生成的数据能够成功欺骗判别器。这种矛盾推动双方不断强化自身。
• 从训练的角度来看，工作原理如下：
  • 如果没有经过训练，生成器只会生成“垃圾”数据，而判别器则过于“天真”，无法区分真假数据。
  • 通常我们会先用真实数据（标签为 1）和生成数据（标签为 0）对判别器进行 N 个 epoch 的训练，使其能够较好地判断什么是真实数据，什么是生成数据。
  • 然后我们将判别器设置为不可训练，并开始训练生成器。尽管此时判别器处于不可训练状态，我们仍然将其作为分类器来使用，这样误差信号就可以反向传播，从而使生成器得以学习。
  • 上述两个步骤会交替进行，直到双方都无法再进一步提升。
• 以下是一些使 GAN 能够有效工作的技巧和窍门。
• 需要注意的一点是，对抗部分只是辅助性的：使用 GAN 的最终目标是生成连专家都难以分辨真假的数据。

返回顶部

强化学习

[待办]

自然语言处理

• 分词
• 词干提取和词形还原
• N 元语法
• 词袋模型
• word2vec

分词

• 分词是将字符序列转换为标记序列的过程。
• 举个例子：The quick brown fox jumped over the lazy dog。在这种情况下，每个单词（由空格分隔）就是一个标记。
• 有时分词并没有明确的答案。例如，O'Neill 可以被分词为 o 和 neill、oneill 或 o'neill。
• 在某些情况下，分词需要特定于语言的知识。例如，将 aren't 分词为 aren 和 t 就没有意义。
• 如需更详细的分词介绍，请参阅 这里。

返回顶部

词干提取和词形还原

• 词干提取和词形还原的目的都是将一个词的不同屈折形式以及有时相关的派生形式归约为一个共同的基础形式。
• 词干提取通常指一种粗略的启发式过程，通过截断词尾来简化词形。
• 词形还原通常是指利用词汇表和词的形态学分析来进行更规范的操作。
• 如果面对标记 saw，词干提取可能会直接返回 s，而词形还原则会根据该标记是用作动词还是名词，尝试返回 see 或 saw。
• 如需更详细的介绍，请参阅 这里。

返回顶部

N 元语法

• n 元语法是从给定文本或语音样本中连续选取的 n 个元素组成的序列。
• 大小为 1 的 n 元语法称为“一元语法”；大小为 2 的称为“二元语法”，大小为 3 的称为“三元语法”。更大的 n 值有时会用现代语言中的数字来表示，例如“四元语法”、“五元语法”等。
• 举个例子：The quick brown fox jumped over the lazy dog.
  • 二元语法将是 the quick、quick brown、brown fox……，即每两个连续的单词（或标记）。
  • 三元语法将是 the quick brown、quick brown fox、brown fox jumped……，即每三个连续的单词（或标记）。
• n 元语法模型是对序列的建模，即根据前面的 1、2、3……n-1 个词来预测下一个词（第 n 个词）。
• 多元语法（二元及以上）能够捕捉上下文。
• 选择 n 元语法中的 n 值需要通过实验，在估计的稳定性与适用性之间做出权衡。经验法则：对于大型训练语料库（数百万词），三元语法是一个常见的选择；而对于较小的语料库，则常使用二元语法。
• n 元语法可以用作机器学习和下游自然语言处理任务的特征。

返回顶部

词袋模型

• 为什么？机器学习模型无法直接处理原始文本；它们需要以数值作为输入。
• 词袋模型（BoW）会构建一个包含数据集中所有唯一词汇的词汇表，并为词汇表中的每个词分配一个唯一的索引。
• 它被称为“词袋”，是因为这种表示方法完全忽略了单词的顺序。
• 举个例子：有两句话：(1) John likes to watch movies, especially horor movies.，(2) Mary likes movies too.。首先我们会构建一个不区分大小写且忽略标点符号的唯一词汇表：[john, likes, to, watch, movies, especially, horor, mary, too]。然后可以用词频来表示每句话，即某个词出现的次数。因此，句子 (1) 可表示为 [1, 1, 1, 1, 2, 1, 1, 0, 0]，而句子 (2) 则是 [0, 1, 0, 0, 1, 0, 0, 1, 1]。
• 使用字典的一种常见替代方案是哈希技巧，它通过哈希函数将单词直接映射到索引。
• 随着词汇表规模的增大（达到数万级别），用于表示短句或文档的向量会变得非常稀疏（几乎全是零）。

返回顶部

word2vec

• 是一种浅层的两层神经网络，经过训练可以捕捉词语的语言学上下文。
• 输入是一个大型语料库，输出是一个通常由几百维组成的向量空间，语料库中的每个词都会被映射到这个空间中的一个向量。
• 其核心思想是上下文：经常出现在相同上下文中的词，其含义应该相近或相反。
• 主要有两种形式：
  • 连续词袋模型（CBOW）：根据当前词周围的上下文窗口预测当前词。
  • 跳字模型（Skip-Gram）：根据当前词预测周围的上下文词。

返回顶部

系统

• Cron 作业
• Linux

Cron 作业

软件工具 cron 是类 Unix 操作系统中的一种基于时间的任务调度器。负责搭建和维护软件环境的人员使用 cron 来安排任务（命令或 Shell 脚本）在固定的时间、日期或间隔周期性地运行。它通常用于自动化系统维护或管理——尽管其通用性也使其适用于诸如定期从互联网下载文件或定时收发电子邮件等任务。

工具：

• Apache Airflow

返回顶部

Linux

以 Ubuntu 为例。

• 切换到 root 用户：sudo su
• 安装软件包：sudo apt-get install <package>

返回顶部

忏悔：部分图片来自网络，未注明原作者。如果您是这些图片的作者，并认为这会对您造成困扰，请告知我。

data-science-question-answer 快速上手指南

⚠️ 重要提示：本仓库（data-science-question-answer）已弃用。作者建议转向最新的替代项目：Nailing Machine Learning Concepts。

本指南基于原仓库内容整理，旨在帮助数据科学从业者准备面试或快速复习核心概念。本项目主要为知识库/文档类资源，无需复杂的环境配置或安装过程。

环境准备

本项目本质是一个包含面试题解、概念解析和最佳实践的 Markdown 文档集合，因此对系统环境要求极低。

• 操作系统：Windows, macOS, Linux 均可。
• 前置依赖：
  • Git：用于克隆代码仓库。
  • 浏览器 或 Markdown 阅读器：用于查看内容（如 VS Code, Typora, 或直接在 GitHub 网页端浏览）。
  • (可选) Python & Jupyter：如果你希望运行文中提到的部分代码示例（如 PySpark, Scikit-learn 相关），建议安装 Anaconda 或 Miniconda。

安装步骤

由于这是一个文档型仓库，"安装"即为克隆代码到本地。

1. 克隆仓库 打开终端（Terminal 或 CMD），执行以下命令：

   git clone https://github.com/jayinai/data-science-question-answer.git
   

   国内用户加速方案（如果直接克隆速度慢）：

   # 使用 Gitee 镜像（如果有）或通过代理加速
   git clone https://gitee.com/mirror/data-science-question-answer.git 
   # 注：若官方无 Gitee 镜像，建议使用 git clone --depth=1 来减少下载量
   git clone --depth=1 https://github.com/jayinai/data-science-question-answer.git
   

2. 进入目录

   cd data-science-question-answer
   

3. 查看内容

   • 方式 A（推荐）：直接在 GitHub 网页版浏览，体验最佳（含目录跳转和图片渲染）。
   • 方式 B：在本地使用 VS Code 打开文件夹，安装 Markdown Preview Enhanced 插件进行预览。
   • 方式 C：直接使用文本编辑器打开 README.md 文件。

基本使用

本工具的核心用法是按需查阅特定主题的知识要点。以下是几个典型的使用场景示例：

1. 准备简历优化

在 Resume 章节，学习如何将项目经历量化。

• 错误示范：Trained a machine learning system
• 正确示范：Designed and deployed a deep learning model to recognize objects using Keras, Tensorflow, and Node.js. The model has 1/30 model size, 1/3 training time, 1/5 inference time, and 2x faster convergence compared with traditional neural networks.
• 操作：阅读文档中关于简历的建议，检查并修改你自己的简历描述。

2. 复习 SQL 连接区别

在 SQL 章节快速回顾 Join 的类型。

• 操作：搜索 Difference between joins。
• 核心知识点：
  • INNER JOIN: 返回两表匹配的记录。
  • LEFT JOIN: 返回左表所有记录及右表匹配记录。
  • RIGHT JOIN: 返回右表所有记录及左表匹配记录。
  • FULL JOIN: 返回任一表有匹配的所有记录。

3. 理解机器学习工作流

在 Statistics and ML In General -> Project Workflow 章节，掌握标准的数据科学项目流程。

• 关键步骤速查：
  1. Specify business objective: 明确业务目标（如增加营收）。
  2. Define problem: 定义具体问题。
  3. Create a common sense baseline: 建立常识基线（如推荐 Top N 热门商品）。
  4. EDA: 探索性数据分析。
  5. Feature Engineering: 特征工程（核心环节）。
  6. Model Development & Ensemble: 模型开发与集成。
  7. Deploy & Monitor: 部署与监控。

4. 辨析核心概念 (面试高频)

利用文档快速对比易混淆概念，例如：

• L1 vs L2 正则化：
  • L1 (Lasso): 可将系数压缩为 0，用于特征选择，产生稀疏解。
  • L2 (Ridge): 按比例缩小系数但不为 0，防止过拟合。
• MSE vs MAE：
  • MSE: 对大误差惩罚更重（平方级），连续可导。
  • MAE: 对误差线性惩罚，鲁棒性更强但不可导点较多。
• 欠拟合对策：
  • 增加数据量不能解决欠拟合。
  • 解决方法：增加模型复杂度（如增加树深度、神经网络层数、多项式特征等）。

5. 查阅 Spark 速查表

在 Tools and Framework -> Spark 章节。

• 操作：文档提供了 PySpark Cheat Sheet 的链接，适合时间紧迫时快速扫描基础 API。

---

注：本指南仅涵盖基础查阅流程。如需深入某个具体算法（如 Stacking, Bagging, NLP 等），请直接翻阅仓库对应的 Markdown 章节。