搞数仓也得懂几个常用机器学习算法 _机器学习算法

回归算法

一、理解线性回归模型

首先讲回归模型，回归模型研究的是因变量（目标）和自变量（预测器）之间的关系，因变量可以是连续也可以离散，如果是离散的就是分类问题。思考房价预测模型，我们可以根据房子的大小、户型、位置、南北通透等自变量预测出房子的售价，这是最简单的回归模型，在初中里面回归表达式一般这样写，其中x是自变量，y是因变量，w是特征矩阵，b是偏置。

文章插图

在机器学习推导里面引入线性代数的思想，将假设我们用一个表达式来描述放假预测模型，x代表一个房子的特征集，它是一个n×1的列向量，总共有m个特征集，θ是一个n×1的列向量，是我们想要求得未知数。

文章插图

我们采用误差最小的策略，比如有预测表达式：y工资=Θ1*学历+Θ2*工作经验+Θ3*技术能力+.......+Θn*x+基本工资，预测的y值和实际值y_存有差距，策略函数就是使得m个特征集的（真实值y-预测值）的平方和最小。（差值可能是负数，所以采用平方和）；

文章插图

按照对于正规方程的求法，我们对θ 求偏导：

文章插图

也就是，给定特征矩阵X和因变量y，即可以求使误差率最小的θ值，满足后续的回归模型。了解线性代数的童靴可以看出来问题，在θ的表达式中有求逆运算，需要保证矩阵可逆，这一般是无法保证的，这样就会造成θ无解，策略失效；
二、计算机的做法：梯度下降

常规的方程需要大量的矩阵运算，尤其是矩阵的逆运算，在矩阵很大的情况下，会大大增加计算复杂性。，且正规方程法对矩阵求偏导有一定的局限性（无法保证矩阵可逆），下面介绍梯度下降法，也就是计算机的解决方法，每次走一小步，保证这一小步是最有效的一步，可以想象自己正在下山，你不知道目的地（全局最小值）在哪，但是你能够保证自己每次走的都是最陡峭的一步；

文章插图

我们的策略仍然保持不变，就是使得m个特征集的（真实值y-预测值）的平方和最小：