关于LDA模型的数据分析

LDA模型魏源提纲• 介绍LDA模型推导所需要的数学基础什么是概率论的贝叶斯学派基于贝叶斯学派的狄利克雷分布以及多项分布• 介绍LDA模型的功能以及大体结构• 介绍LDA模型的求解推导• 介绍LDA模型训练过程需要的数学基础什么是吉布斯采样gibbs sampling• 介绍LDA模型的训练过程• 介绍如何用LDA模型训练结果得到一篇文章的主题分布概率论的两大派别• 频率学派频率学派站在事件本身解释事件的不确定性.频率学派认为事件的概率分布p是确定的可以根据多次实验通过统计频率近似得到事件的概率.高中以来我们学习概率几乎都是遵从的这一学派的理念• 贝叶斯学派贝叶斯学派是站在事件的观察者角度来解释事件的不确定性.贝叶斯学派认为事件的概率分布p在观察样本D条件下是一个随机变量也有一个概率分布来描述它.记这个概率分布的概率分布为公式1公式1中P D是常数P Dp叫做似然概率.P p叫做先验概率分布相应地P pD叫做后验概率分布.P DP DpP pP