人们很少会把Gradient Boosting翻译成中文名词,为了保持版面的整齐,还是使用了中文术语。目前,梯度提升是广泛使用的统计学习方法,其思想来源于数值优化中的最速下降法。梯度提升和最速下降法的主要区别就是:最速下降法中的梯度是基于参数空间的,然而梯度提升中的梯度基于假设空间。

函数估计

在机器学习任务中,在训练数据集上,我们通过最小化损失函数来选择假设空间中的假设

对于回归问题,常用的损失函数包括平方损失和绝对值损失;对于分类问题,常用的损失函数为负对数似然损失

通常我们将假设限制在某一类函数中,其中。在本文中,通过相加将多个单个假设集成

Continue reading