机器学习面试题总结

机器学习面试题总结

gbdt梯度提升树到底是拟合的是什么？

gbdt通过每一轮迭代，降低输出概率值（或者回归连续值）和真实值之间产生的loss， 即通过loss降低的梯度方向进行梯度下降，从而降低loss。

针对回归只是一个特殊情况即拟合梯度下降的方向正好是残差。拟合残差并不是通用的说法，拟合loss，找到梯度下降的方向，降低loss才是本质。

误差：bias+variance+噪声

bias vs variance

bagging:主要是通过随机样本采样，来降低方差，提升模型的泛化能力从而降低误差

boost:主要是为了拟合误差，降低bias，同时一定程度的样本和特征列的采样，也降低了variance

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。