Boosting算法讲解

Boosting方法是一种用来提高弱分类算法准确度的方法这种方法通过构造一个预测函数系列然后以一定的方式将他们组合成一个PAC probably approximately correct学习模型近似正确错误率不一定为0但需控制在一定范围内弱学习算法识别错误率小于0.5即准确率只比随机猜测略高强学习算法识别准确率很高且能在多项式时间内完成PAC学习模型中弱学习算法和强学习算法的等价性问题即任意给定仅比随机猜测略好的弱学习算法可以将其提升为强学习算法二者等价那么只需找到一个比随机猜测略好的弱学习算法就可以将其提升为强学习算法而不必寻找很难获得的强学习算法.通过对样本集的操作获得样本子集然后用弱分类算法在样本子集上训练生成一系列的基分类器.他可以用来提高其他弱分类算法的识别率也就是将其他的弱分类算法作为基分类算法放于Boosting框架中通过Boosting框架对训练样本集的操作得到不同的训练样本子集用该样本子集去训练生成基分类器每得到一个样本集就用该基分类算法在该样本集上产生一个基分类器这样在给定训练轮数