江苏龙网

  1. 主页 > 生活百科 > >

多元回归分析 多项式回归


多元回归分析 多项式回归

文章插图
多项式回归(多元回归分析)
之前我们已经学习了简单线性回归模型的推导，sklearn实战，尝试从零开始搭建简单线性回归模型工具 。
如有疑问，欢迎在下方留言，我会耐心解答 。
然而，我们遇到的数据并不总是线性的 。这个时候，如果我们拟合线性模型，我们的模型效果会大打折扣 。不过不用担心，我们还是可以用线性回归来拟合非线性数据，只是要先对输入数据做一些处理 。
一、快速理解多项式回归的原理让我们先回顾一下简单线性回归的假设:
【多元回归分析 多项式回归】
如果通过散点图发现变量Y和X的关系大致符合二次分布，那么上述假设就不合适 。我们可以假设:

我们的剩余仍然是:

与简单线性回归一样，我们的目标是最小化残差平方和:

然后我们对，1，2取偏导数使之为0，就可以得到三个方程，可以求解 。
这部分推理和简单线性回归非常相似 。有兴趣的可以直接看我的文章《三步教你从零开始掌握简单线性回归》 。
二、sci kit——学实战然后，我们直接进入scikit的实战部分——学习 。先放代码和输出，然后我们再详细解释:
import&n信息资源网bsp;numpy as npfrom sklearn.linear_model import LinearRegressionfrom sklearn.preprocessing import PolynomialFeaturesimport matplotlib.pyplot as pltimport seaborn as snssns.set()X_train = [[6], [8], [10], [14], [18]]y_train = [[7], [9], [13], [17.5], [18]]X_test = [[6], [8], [11], [16]]y_test = [[8],&n信息资源网bsp;[12], [15], [18]]# 简单线性回归model = LinearRegression()model.fit(X_train, y_train)xx = np.linspace(0, 26, 100)yy = model.predict(xx.reshape(xx.shape[0], 1))plt.scatter(x=X_train, y=y_train, color='k')plt.plot(xx, yy, '-g')# 多项式回归quadratic_featurizer = PolynomialFeatures(degree=2)X_train_quadratic = quadratic_featurizer.fit_transform(X_train)X_test_quadratic = quadratic_featurizer.fit_transform(X_test)model2 = LinearRegression()model2.fit(X_train_quadratic, y_train)xx2 = 信息资源网quadratic_featurizer.transform(xx[:, np.newaxis])yy2 = model2.predict(xx2)plt.plot(xx, yy2, '-r')print('X_train:\n', X_train)print('X_train_quadratic:\n', X_train_quadratic)print('X_test:\n', X_test)print('X_test_quadratic:\n', X_test_quadratic)print('简单线性回归R2：', model.score(X_test, y_test))print('二次回归R2：', model2.score(X_test_quadratic, y_test));输出是:
X_train: [[6], [8], [10], [14], [18]]X_train_quadratic: [[ 1. 6. 36.] [ 1. 8. 64.] [ 1. 10. 100.] [ 1. 14. 196.] [ 1. 18. 324.]]X_test: [[6], [8], [11], [16]]X_test_quadratic: [[ 1. 6. 36.] [ 1. 8. 64.] [ 1. 11. 121.] [ 1. 16. 256.]]简单线性回归R2： 0.809726797707665二次回归R2： 0.8675443656345073
三 。步骤的详细说明让我们看看每一步都做了些什么 。
在第一步中，我们导入了必要的库 。
在第二步中，我们创建了一个训练集和一个测试集 。
第三步，拟合简单线性回归，画出预测直线 。
第四步，我们用sk learn . preprocessing . polynomial features方法从我们的原始特征集生成一个n*3的数据集，其中第一列对应一个常数项，相当于x的零次幂，所以这一列全是1；第二列对应的是主项，所以这一列和我们的原始数据是一致的；第三列对应的是二次项，所以这一列是我们原始数据的平方 。
第四步，我们把前面经过多项式特征处理的数据集做一个多元线性回归，然后用训练好的模型预测一条曲线并画出来 。
第五步，输出数据，便于理解；输出模型分数用于比较效果 。
在这里你可能已经明白了，虽然多项式回归拟合了多项式曲线，但其本质仍然是线性回归，只是我们对输入特征做了一些调整，增加了它们数据的多项作为新特征 。其实除了多项式回归，我们还可以用这种方法来拟合更多的曲线，只需要对原始特征进行不同的处理 。
你学会了吗？


    推荐阅读


    上一篇：社区矫正实施办法2020年7月1 社区矫正实施办法

    下一篇：体检早上喝水了怎么办 体检前可以喝水吗