XGBoost(extreme gradient boosting)的使用例子

梯度提升模型(gradient boosting):它是目前在结构化数据中表现最好的模型。和随机森林类似,都是集成学习的方法。随机森林是将多个决策树的预测值取平均。梯度提升梯度是一种通过循环迭代将模型添加到集合中集成的方法。它首先用单个模型初始化集合,其预测可能非常稚拙的。(即使它的预测非常不准确,随后对集合的添加也会解决这些错误。) 迭代过程: 首先,我们使用当前模型集合为数据集中的每个观测生成预测。为了进行预测,我们将集合中所有模型的预测相加。 用这些预测计算损失函数(例如,均方误差)。 然后我们用损失函数来拟合一个新模型,确定这个模型的参数,使这个模型集成到集合中能带来损失的下降。(梯度