回归树的原理与Python实现

来源于知乎,本文就回归树的基本原理进行讲解,并手把手、肩并肩地带您实现这一算法。我们用人话而不是大段的数学公式来讲讲回归树是怎么一回事。如果预测某个连续变量的大小,最简单的模型之一就是用平均值。比如同事的平均年龄是28岁,那么新来了一批同事,在不知道这些同事的任何信息的情况下,直觉上用平均值28来预测是比较准确的,至少比0岁或者100岁要靠谱一些。我们不妨证明一下我们的直觉:1.定义损失函数L,其中y_hat是对y预测值,使用MSE来评估损失:2.对y_hat求导:3.令导数等于0,最小化MSE,则:4.所以,5.结论,如果要用一个常量来预测y,用y的均值是一个最佳的选择。仍然