大数据-276 Spark MLib - 基础介绍 机器学习算法 Bagging和Boosting区别 GBDT梯度提升树
Bagging和Boosting区别
数据方面
- Bagging：对数据进行采样训练
- Boosting：根据前一轮学习结果调整数据的重要性
投票方面
- Bagging：所有学习器平权投票
- Boosting：对学习器进行加权投票
学习顺序
- Bagging：学习是并行的，每个学习器没有依赖关系
- Boosting：学习是串行的，学习有先后顺序
主要作用
- Bagging：主要用于提高泛化性能，解决过拟合
- Boosting：主要用于提高训练精度，解决欠拟合
GBDT
基本介绍
GBDT的全称是：Gradient Boosting Decision Tree，梯度提升树，在传统机器学习算法中，GBDT算的上是TOP3的算法。
Decision Tree
无论是处理回归问题还是二分类还是多分类问题，GBDT使用的决策树统统都是CART回归树。
对于回归树算法来说最重要的是寻找最佳的划分点，那么回归树中可划分点包含了所有的特征的所有可取的值。
在分类树中最佳划分点的判断标准是熵或者基尼系数，都是纯度来衡量的，但是在回归树中的样本标签华四连续数值，所以再使用熵之类的指标不再合适，取而代之的是平方误差，他能很好的评判拟合程度。
回归决策树
不管是回归决策树还是分类决策树，都会存在两个问题：
- 如何选择划分点？
- 如何决定叶节点的输出值？
一个回归树对应输入空间（即特征空间）的一个划分以及在划分单元上的输出值。分类决策树中，采用的信息论中的方法信息增益以及信息增益率，通过计算选择最佳划分点。
在回归树中，采用的是启发式的方法，假设数据集有 n 个特征：
假设将输入空间划分为M个单元，R1、R2…Rm，那么每个区域的输出值就是：cm = avg(yi | xi ∈ Rm) 也就是该区域内所有点y值的平均数
举例：
如下图，加入要对楼内居民的年龄进行回归，将楼划分为3个区域R1，R2，R3，那么R1的输出就是第一列居民年龄的平均值，R2输出的就是第二列居民年龄的平均值，R3的输出就是第三、四列八个居民年龄的平均值
算法流程
输入： 训练数据集D
输出： 回归树 f(x)
在训练数据集所在的输入空间中，递归的把每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树：
- 选择最优切分特征j与切分点s，求解：
遍历特征j对固定的切分特征j扫描切分点s，选择使得上式达到最小值的对(j,s)
-
用选定的对（j,s）划分区域并决定相应的输出值：
-
继续对两个子区域调用步骤（1）和（2），直到满足停止条件。
-
将输入空间划分M个区域 R1，R2…Rm，生成决策树：
测试案例
通过一个实例加深对回归决策树的理解
训练数据
训练数据见下表
计算过程
选择最优的切分特征j与最优切分点s：
- 确定第一个问题：选择最优切分特征：在本数据集中，只有一个特征，因此最优切分特征自然是X
- 确定第二个问题：我们考虑9个切分点[1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5]：损失函数定义平方损失函数 Loss（y,f(x)）= (f(x) - y) -y)^2，将上述9个切分点依次带入下面的公式 cm=avg(yi | xi ∈ Rm)
计算子区域的输出值：
例如：取 s = 1.5，此时 R1 = {1}, R2 = {2,3,4,5,6,7,8,9,10}，这两个区域的输出值分别为：
- c1 = 5.56
- c2 = (省略…) = 7.50
同理，可以得到其他各切分点的子区域输出值，如下表所示：
计算损失函数值，找到最优切分点：
把c1,c2的值代入到同平方损失函数 Loss(y, f(x)) = (f(x)- y) ^ 2
当 s = 1.5 时
同理，计算得到其他各切分点的损失函数值，可获得下表：
显然取 s = 6.5 时，m(s)最小，因此，第一个划分变量【j=x, s=6.5】
用选定的 (j, s) 划分区域，并决定输出值：
- 两个区域分别是 R1={1,2,3,4,5,6}, R2={7,8,9,10}
- 输出值 cm = avg(yi | xi ∈ Rm)，c1 = 6, c2 = 8.91
调用步骤（1）、（2），继续划分，对R1继续划分：
取切分点[1.5,2.5,3.5,4.5,5.5]，则各区域的输出值c如下表：
计算损失函数m(s)：
s=3.5，m(s)最小。
生成回归树：
假设在生成3个区域之后停止划分，那么最终生成的回归树形式如下：