论文研究 Web页面主题相关性排序算法的研究.pdf

针对Web社区垃圾信息泛滥的问题，采用基于Logistic回归（LR）的分类器区分合法评论和垃圾评论，并和支持向量机（SVM）的性能对比。提出了相关度向量空间模型cVSM作为评论的文档表示模型，讨论了信息增益IG、互信息MI、χ2统计CHI、文档频率DF等不同特征抽取方法对模型的影响。实验结果表明，LR的训练时间不到SVM的1/10；DF和IG比MI和CHI表现更好；与传统的向量空间模型相比，使用cVSM显著提高垃圾评论识别能力。