python数据分析之决策树实践

文章目录1、信息熵1.1 信息熵公式1.2 概率分布与信息熵2、决策树2.1 决策树概念2.2 决策树预测原理3、分类决策树3.1 信息增益3.2 训练规则3.3 分类决策树示例4、不纯度度量标准5、决策树算法5.1 ID35.2 C4.55.3 CART6、回归决策树7、决策树实践7.1 分类决策树实践7.2 回归决策树实践 1、信息熵 信息熵,用来描述系统信息量的不确定度,不确定性越大,则信息熵越大,反之,信息熵越小。 1.1 信息熵公式 假设随机变量X具有M个值,分别为: V1,V2 ,... ,Vm ,并且各个值出现的概率(各概率值的和为1)如下: 则变量X的信息熵为: 1.2 概率