1.ID3C4.5CART SLIQ算法介绍

ID3算法ID3算法以信息增益作为分裂属性的选择标准选择具有最高信息增益的属性最为最佳分裂属性这样熵减少的程度最大使得当前划分后得到的数据集再次划分的时候所需要的信息最小.举例说明有房婚姻状况是否拖欠贷款是单身否否已婚否否单身否是已婚否否离异是否已婚否是离异否否单身是否已婚否否单身是整个数据集D有3个是7个否其信息量熵为I Info373107100.8813假设现在来看有房情况这个属性那么按照它划分后的信息增益计算如下有房无房是03否34310Info03710Info340.690I0.88130.6900.1913同理婚姻状况这个属性离异已婚单身是102否142210Info11410Info04410Info220.6I0.88130.60.2213故选取婚姻状况作为根节点进行分裂