树模型学习笔记整理

树模型学习笔记整理一、原理二、特征选择2.1信息增益2.2信息增益比三、生成算法3.1 ID3算法3.2 C4.5的生成算法四、决策树的剪枝五、CART算法5.1 CART生成5.2 分类树的生成5.3 CART剪枝六、提升树6.1 AdaBoost算法6.2 提升树6.2.1 提升树模型6.2.2 提升树算法6.2.3 梯度提升6.2.4 随机森林 VS 梯度提升树6.3 xgboost6.3.1 结构分6.3.2 分解结点6.3.2.1 贪心算法6.3.2.2 近似算法6.3.3 加权分桶6.3.4 缺失值6.3.5 其他优化6.3.5.1 正则化6.3.5.2 计算速度提升6.4 Lig