从GB到GBDT到XGBoost

Boosting boosting一句话理解:三个臭皮匠,顶个诸葛亮。 在计算机学习理论里,强可学习和弱可学习是等价的。 弱可学习模型转化为强可学习模型方法:前向分布加法模型。 最简单前向分布加法模型 yk+1 = yk + ( y-yk ) ( y-yk )即为残差,每一个新的弱分类器学习的目标都是残差 这么一个简单的模型,能否得到我们想要的结果? 理论上( y-yk )只有方向是准确的,具体是多少是模糊的。 进阶用梯度代替残差,即GB 理论上( y-yk )只有方向是准确的,具体是多少是模糊的。 用梯度代替( y-yk ): yk+1 = yk + ( ak *梯度), ak为步长 这里的