搞数仓也得懂几个常用机器学习算法( 二 ) _机器学习算法

文章插图

四、回归模型使用

数据是2014年5月至2015年5月美国King County的房屋销售价格以及房屋的基本信息。数据分为训练数据和测试数据，分别保存在kc_train.csv和kc_test.csv两个文件中，其中训练数据主要包括10000条记录，14个字段：销售日期,销售价格,卧室数,浴室数,房屋面积,停车面积,楼层数,房屋评分,建筑面积,地下室面积,建筑年份,修复年份,纬度,经度。

import pandas as pdfrom pandas import DataFrameimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineimport seaborn as snsfrom sklearn.linear_model import LogisticRegressionfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.linear_model import LinearRegression# 数据读取baseUrl="C:\Users\71781\Desktop\2020\ML-20200422\houre_price\"house_df=pd.read_csv(baseUrl+'train.csv' )test_df=pd.read_csv(baseUrl+'test.csv')house_df.head()# 删除无关变量house_df=house_df.drop(['saleTime','year','repairYear','latitude','longitude','buildingSize'],axis=1)test_df=test_df.drop(['saleTime','year','repairYear','latitude','longitude','buildingSize'],axis=1)# 模型建立X_price=house_df.drop(['price'],axis=1)# X_price.head()Y_price=house_df['price']Y_price.head()LR_reg=LinearRegression()LR_reg.fit(X_price, Y_price)Y_pred = LR_reg.predict(test_df)LR_reg.score(X_price, Y_price)# 可以选择进行特征缩放#new_house=house_df.drop(['price'],axis=1)#from sklearn.preprocessing import MinMaxScaler#minmax_scaler=MinMaxScaler().fit(new_house)#进行内部拟合，内部参数会发生变化#scaler_housing=pd.DataFrame(minmax_scaler.transform(new_house),columns=new_house.columns)#mm=MinMaxScaler()#mm.fit(test_df)#scaler_t=mm.transform(test_df)#scaler_t=pd.DataFrame(scaler_t,columns=test_df.columns)

02

决策树
一、决策树算法理解
决策树是直观运用概率分析的树形分类器，是很常用的分类方法，属于监管学习，决策树分类过程是从根节点开始，根据特征属性值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。
比如说买瓜的时候，根据瓜的某些特征属性直观判断瓜的好坏，下图依次根据纹理清晰度、根蒂、色泽、触感4个进行分类，生活中我们会将某个最重要或最明显的分类属性放在第一位，然后是次重要属性，这很符合我们平常的判断思维，这就是决策树！

文章插图

在特征属性非常大的时候，就出现了首选哪个特征属性进行分类？如何剪枝？分类的层次是多少？....系列问题，这些就是决策树构建的核心问题，而且不可能再通过生活直觉判，这时候就要运用数学思维。根据上面问题的不同解决方案，决策树又分为了ID3(熵增益)、C4.5(熵增益率)、CART几种同类算法。

二、熵增益（ID3）
通信层面，信息熵衡量信息的不确定性，信息熵越大表明信息越不准确，可以用信息熵的减少值来衡量信息的价值。在决策树模型中把信息确定性叫做熵增益，有了熵增益后，我们就可以根据熵增益来判断特征值的重要程度，从而选取最重要的特征作为第一次切分，再根据相同的方法用其他特征进行切分，直到得到得到每个划分的叶子节点。信息熵的定义是：

文章插图

以某个特征属性值切分后子集熵的和称为条件A下的熵，也叫做条件熵，可以如下表示：