概率语言模型及其变形系列-LDA及Gibbs Sampling
这篇讲的是概率语言模型系列的第二篇，聚焦于LDA（Latent Dirichlet Allocation）及其参数推断方法Gibbs Sampling。文章从LDA的核心思想切入：如何通过无监督学习，从文本中发现隐含的“主题”结构，从而解决“一词多义”和“一义多词”的语义匹配问题，让搜索结果在语义层面真正相关。 理解LDA的关键在于其概率基础。文章深入剖析了“随机生成过程”视角，解释了文本如何被看作词项的样本集合。重点阐述了多项分布（Multinomial）与其共轭先验狄利克雷分布（Dirichlet）的特性与计算优势——后者被称为“分布之上的分布”，其样本恰好是多项分布的参数。这些数学工具共同构成了LDA模型的基石。 作为PLSA到变形LDA之间的承上启下之作，文章不仅厘清了基础概念，也为后续探讨Twitter LDA、Labeled-LDA等各类变形模型铺平了道路。对于想从理论层面掌握主题模型的读者，这篇系统性的推导提供了扎实的起点。