机器学习算法总结4:朴素贝叶斯法

朴素贝叶斯(naive Bayes)是基于贝叶斯定理和条件独立假设的分类方法。该方法是生成方法,即通过数据学习输入/输出的联合概率分布,然后基于此模型,对于给定的输入x,求出后验概率最大的输出y。 1.模型 联合概率分布:P(X,Y) 先验概率(边缘概率)分布: 条件概率分布: 三者关系:条件概率分布=联合概率分布/先验概率。 条件概率分布有指数级数量参数,通过条件独立假设(用于分类的特征在类确定的条件下都是条件独立的),将朴素贝叶斯法变得简单,但会牺牲一定的分类准确率。 条件独立性假设得到: 2.策略 贝叶斯公式: 朴素贝叶斯法分类时,对给定的输入x,通过学习计算后验概率分布,将后验