LightLDA:可扩展快速且轻量级的系统用于大规模主题建模 源码

轻型LDA LightLDA是用于大规模主题建模的分布式系统。 它实现了一个分布式采样器,该采样器支持非常大的数据大小和模型。 LightLDA通过快速的O(1)Metropolis-Hastings算法提高了采样吞吐量和收敛速度,并允许小型集群通过模型调度和数据并行化体系结构处理非常大的数据和模型大小。 出于性能方面的考虑,LightLDA是使用C ++实现的。 我们已经在Microsoft中成功地对大数据(Bing索引页的前10%PageRank值,包含数十亿个文档)进行了大主题模型(具有数万亿个参数)的培训。 有关更多技术细节,请参阅我们的。 有关文档,请访问我们的网站 。 为什么选择LightLDA LightLDA的主要功能是 可扩展:LightLDA可以在具有数十亿个文档的大数据上训练具有数万亿个参数的模型,这是以前的实现无法解决的规模。 快速:采样器每个多核节点每秒