4.2 贝叶斯分类器训练流程详解

贝叶斯分类器的训练在模式识别领域中，贝叶斯分类器是一种常用的分类算法。贝叶斯分类器的基础是贝叶斯公式，它的分类决策规则是依据计算得到的后验概率对样本进行归类，而需要的条件是先验概率和类条件概率已知。贝叶斯分类器的训练过程即是从样本集中估计出先验概率和类条件概率。

• 先验概率 P(ωj)：这是一个值，并非分布函数，表示样本空间中各个类的样本所占的比例。依据大数定理，当训练集中样本量足够大且为随机选取时，可以通过训练集中的各类样本比例来估计P(ωj)。

• 类条件概率 p(x/ωj)：类条件概率的估计方法分为参数估计和非参数估计。参数估计假定类条件概率密度具有某种分布，如正态分布、二项分布，再用训练集对分布参数进行估计。

  • 极大似然估计（MLE）：假定样本独立同分布，且已知类概率密度的分布形式。通过将概率分布的参数设置为条件，获得最可能符合已知样本的参数估计值。

  • 贝叶斯估计：假设先验概率为概率分布，可设定先验概率初值，在已知类条件概率下计算后验概率，用其数学期望更新先验概率。此方法适用于在线学习，可不断逼近真实先验概率。

综上，贝叶斯分类器的训练包括先验概率的估计和类条件概率的估计两大部分。