统计学习方法 读书笔记(五)

读书笔记仅供个人学习使用 本文主要参考书籍为《统计学习方法》(李航)第二版 参考 Sunning_001的博客 决策树决策树的定义if-then 的理解条件概率分布的理解决策树学习特征选择信息增益信息增益比基尼指数决策树的生成ID3C4.5剪枝CART算法 决策树是一种基本的分类与回归方法。 决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。 (1)是if-then规则的集合 (2)是定义在特征空间与类空间上的条件概率分布 模型的主要优点有:具有可读性,分类速度快 显然,决策树在逻辑上以树的形式存在,包含根节点、内部结点和叶节点。 根节点:包含数据集中的所有数据的集合 内