决策树启发式和修剪:构建和训练决策树。 修剪正则化 源码

决策树启发式和修剪 我们可以将决策树定义为计算树,其中每个节点都包含一个关于属性的问题,节点的每个分支都包含对该问题的答案。 哪个问题/属性应该放在每个节点中,由决策树学习算法确定。 如Mitchel中所述,为学习决策树而开发的大多数算法都是核心算法的变体,该核心算法在可能的决策树的空间中采用了自上而下的贪婪搜索。 决策树什么时候合适? 对于监督学习:该算法需要标记数据可用 分类:目标具有离散值 当我们有嘈杂的数据时:训练数据可能包含错误 算法: ID3 (Examples, Target_Attribute, Attributes) Create a root node for the tree If all examples are positive, Return the single-node tree Root, with label = +. If