提升树算法

作者: 墩er | 来源:发表于2020-07-28 15:32 被阅读0次

提升方法
梯度提升树/GBDT（Gradient Descent Deci
提升树算法
Spark之获取GBT二分类函数的概率值
GBDT
从bgt 到gbdt 再到xgboost
面试题目总结
二分类问题的资料
集成学习算法 Stacking和Blending
高分辨率遥感图像理解读书笔记（2）——精细化遥感目标分割

提升方法采用加法模型（基函数的线性组合）和前向分步算法。

基本分类器 $x<v$ 或者 $x>v$ ，是由一个根结点直接连接两个叶结点的简单决策树，即决策树桩。提升树是以二叉分类树或二叉回归树为基本分类器的提升方法。

提升树模型可以表示为 $f_{M}(x)=\sum_{m=1}^M T(x;\theta _{m})$ ，其中 $T(x;\theta _{m})$ 表示决策树， $\theta _{m}$ 为决策树的参数，M为树的个数。

分类问题

使用指数损失函数和AdaBoost算法。

步骤（1）训练数据集具有均匀的权值分布， $G_{1}(x)$ 是在原始数据上学习的。

步骤（2）使用 $D_{m}$ 加权的训练集学习 $G_{m}(x)$ ，该分类器由 $x<v$ 或 $x>v$ 产生，其阈值v使该分类器的分类误差率最低。

分类误差率 $e_{m}$ 是被 $G_{m}(x)$ 误分类样本的权值之和。 $G_{m}(x)$ 在最终分类器中的重要性 $\alpha _{m}$ 随着 $e_{m}$ 的减小而增大。

更新训练数据的权重分布，可以写成：

$w_{m+1,i}=\left\{ \begin{array}{**lr**} \frac{w_{mi}}{Z_{m}}e^{-\alpha _{m}} , G_{m}(x_{i})=y_{i} & \\ \frac{w_{mi}}{Z_{m}}e^{\alpha _{m}} , G_{m}(x_{i})\neq y_{i} & \end{array} \right.$

因此误分类样本的权值扩大，正确分类样本的权值缩小。两者比较，误分类样本的权值扩大 $e^{2\alpha m}=\frac{1-e_{m}}{e_{m}}$ 倍，下一轮学习中起更大的作用，不断减少训练集上的分类误差率。

步骤（3）线性组合 $f(x)$ 实现M个基本分类器的加权表决。所有 $\alpha _{m}$ 之和不为1。

例 8.1

假设弱分类器由 $x<v$ 或 $x>v$ 产生，其阈值v使该分类器的分类误差率最低。

回归问题

使用平方误差损失函数 $L(y,f(x))=(y-f(x))^2$ 。

其损失变为 $L(y,f_{m-1}(x)+T(x;\theta _{m}))=[y-f_{m-1}(x)-T(x;\theta _{m})]^2=[r-T(x;\theta _{m})]^2$

其中， $r=y-f_{m-1}(x)$ 是当前模型拟合数据的残差(residual)

对于回归问题的提升树算法，就是拟合当前模型的残差。

每一个基分类器是决策树桩，即由一个根结点直接连接两个叶结点的简单决策树，是欠拟合模型。

梯度提升

boosting算法中拟合残差是常用的方式（AdaBoost已经不常使用）

参考：《统计学习方法》

提升方法
提升方法提升方法 AdaBoost 算法 AdaBoost算法的训练误差分析 AdaBoost算法的解释提升树...
梯度提升树/GBDT（Gradient Descent Deci
梯度提升树被认为是统计学习算法中性能最好的算法之一算法释义梯度提升树是以 CART 作为基函数，采用加法模型和...
提升树算法
提升方法采用加法模型（基函数的线性组合）和前向分步算法。基本分类器或者，是由一个根结点直接连接两个叶结点的简单决...
Spark之获取GBT二分类函数的概率值
在Spark中，GBT（Gradient Boost Trees，提升树）函数用于实现机器学习中的提升树算法，...
GBDT
简介 GBDT即梯度提升树，提升方法依然采用的是加法模型与前向分布算法。以决策树为基函数的提升方法称为提升树。对分...
从bgt 到gbdt 再到xgboost
1、boosting decision tree（提升树模型）提升树模型其实是采用了加法模型的前向分布式算法，以...
面试题目总结
算法统计学习方法，每一个算法KNN，朴素贝叶斯，决策树，logistic回归，支持向量机，提升算法，EM算法，隐...
二分类问题的资料
机器学习算法比较梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT 梯...
集成学习算法 Stacking和Blending
Boosting GBM GBM 全称gradient boosting machine，一般叫做梯度提升树算法。...
高分辨率遥感图像理解读书笔记（2）——精细化遥感目标分割
主要内容包括： 1、基于boosting级联学习的遥感目标检测 Adaboost算法、前向分步算法、提升树、梯度提...