LDA主题模型简介(转载)
在上一篇博文中提到了LDA（Latent Dirichlet Allocation）模型，翻译成中文就是——潜在狄利克雷分配模型。今天进一步对其作简要介绍。需要注意的是，LDA也是有名的Linear Discriminant Analysis（线性判别分析）的缩写。
LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。由于Dirichlet分布随机向量各分量间的弱相关性（之所以还有点“相关”，是因为各分量之和必须为1），使得我们假想的潜在主题之间也几乎是不相关的，这与很多实际问题并不相符，从而造成了LDA的又一个遗留问题。
对于语料库中的每篇文档，LDA定义了如下生成过程（generative process）：
更形式化一点说，语料库中的每一篇文档与?
这个图模型表示法也称作“盘子表示法”（plate notation）。图中的阴影圆圈表示可观测变量（observed variable），非阴影圆圈表示潜在变量（latent variable），箭头表示两变量间的条件依赖性（conditional dependency），方框表示重复抽样，重复次数在方框的右下角。
该模型有两个参数需要推断（infer），一个“文档-主题”分布??。通过学习（learn）这两个参数，我们可以知道文档作者感兴趣的主题，以及每篇文档所涵盖的主题比例。推断方法主要有LDA模型作者提出的变分-EM算法，还有现在常用的Gibbs抽样法。
LDA模型现在已经成为了主题建模（topic modeling）中的一个标准。LDA模型自从诞生之后有了许多扩展，特别是在社会网络和社会媒体研究领域最为常见。
