论文研究具有词判别力学习能力的短文本聚类概率模型研究.pdf

社交媒体的广泛使用使短文本聚类成为一个重要的研究课题。为了解决由于短文本词向量的高维、稀疏性而造成的传统文本聚类方法应用在在短文本上效果欠佳的问题，通过大量的研究调查发现由于短文本词向量的稀疏性，词对簇结构的判别能力对短文本类结构的学习尤为重要。在经典文本聚类模型LDA（latentDirichletallocation）、BTM（bitermtopicmodel）和GSDMM（Gibbssamplingdirichletmultinomialmixturemodel）中增加二项分布来衡量词对类结构学习中的判别力强弱，并通过Gibbs采样算法对模型中的参数进行求解。最后在真实