Boosting之GBDT原理

Boosting之GBDT原理

前面介绍了Adaboost的相关​​原理​​​,​​实现​​​,​​应用​​，本文主要介绍Boosting算法的另外一个重要算法:GBDT(Gradient Boosting Decison Tree)。GBDT有很多简称，如GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）, MART(Multiple Additive Regression Tree)，其实都是指的同一种算法，本文统一简称GBDT。主要侧重逻辑上能否说得通，理论细节，力有未逮。

1. GBDT概述

2. GBDT框架

2.1 符号标记

2.2 算法逻辑

2.2.1 目标函数

2.2.2 求解-从梯度下降的角度看

2.2.3 为什么要拟合负梯度

2.2.4 求解-从拟合残差的角度看

2.2.5 为什么不直接拟合残差

用泰勒展开去近似残差，为什么不直接拟合残差呢？目前还是一头雾水，记录一些解释：

3 损失函数

下面对损失函数做一个总结。

对数损失函数要谈及逻辑回归，在逻辑回归中，目标函数是似然函数极大化，如果从损失角度看，就是负的似然函数最小化。具体逻辑如下：

4 GBDT分类算法

4.1 二元GBDT分类算法

5 正则化

正则化部分主要参考​​刘建平的博客​​。有三种方式备选：

6 从梯度来看Adaboost

上一节提了指数损失函数时，GBDT退化为Adaboost。SKlearn的源码并没有看得很懂，从理论上说Adaboost并不是直接拟合负梯度，这个问题纠结了蛮久，甚至在​​刘建平​​​的博客下留言询问，以我自己的理解来说，Adaboost可以看做利用梯度信息的另外一种方式。   如果追根溯源的讲，Adaboost刚开始提出时，并没有想到用梯度来解释。Breiman的​​​Arcing classifier​​中，甚至比较多种权重更新的方式。大概讲讲Adaboost是怎么利用梯度信息的。

7 Summary

问题汇总：

加法模型的权重似乎没有了，和基函数整体做基分类器回归树拟合负梯度时候，最终的叶子节点预测值，又重新计算,这个要再确认一下（尽管可以认为最终目的是拟合目标函数，并不是负梯度）拟合的回归树最后是预测梯度？那么实际叶节点应该也是预测负梯度，那么二分类中最后预测类别咋么预测？sign似乎没办法用为什么拟合负梯度解释的还是不够清晰

GBRT的优点:

可以处理多类型的特征预测效果好泛化性能好

GBRT的缺点:

难以并行，可扩展性差

2018-05-24 于南京

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。