决策树

决策树的分类 信息增益 信息增益 = 分类前后的信息熵之差 信息增益越高,就越应优先选择该属性进行分类 通过信息增益来进行分类,会优先选择类别多的属性进行划分 信息增益率 为了解决信息增益会优先选择类别多的属性进行划分的问题,使用信息增益率。 但是没啥用 基尼系数 基尼值 从数据集D中随机抽取两个样本,其类别标记不一致的概率。故,Gini(D)值越小,数据集D的纯度越高。 基尼系数 选择使划分后基尼系数最小的属性作为最优化分属性。 不同的决策树类型 信息增益 – ID3 决策树 会偏向使用属性更多的类别进行划分 只能处理离散的数据集 信息增益率 – C4.5 决策树 对ID3 决策