|
« まなびの秋 | トップページ | 冬は籠もって研究するに限る。 » 2010年11月30日LDA (Latent Dirichlet Allocation) の更新式の崩壊型ギブスサンプリングからの導出LDA (Latent Dirichlet Allocation) は文書の生成モデルの代表的なものであり、文書集合の背後に潜む潜在的なトピック構造を推定する上で大変有効なものである。 上記の論文では変分ベイズに基づく学習が行われているが、実装がより容易であるギブスサンプラを用いる方法がその後提案されている。 また、以下の論文はギブスサンプリングに基づくLDAの学習を詳細に説明しており、大変参考になる。 G. Heinrich, ``Parameter estimation for text analysis,'' Technical Note, Ver. 2.4, 2008. しかしGriffiths and Steyversの論文ならびにHeinrichによる解説ではLDAの生成モデルから具体的なギブスサンプリングの更新式を導出する過程が省略されている。潜在変数の条件付き確率においてパラメータを積分消去する崩壊型ギブスサンプリング(collapsed Gibbs sampling)の手法が使われており、研究室の学生から分かりにくいとの声があったため、解説する資料を作成した。関心のある人にとって意義があるかもしれないと思い、公開する。 LDA (Latent Dirichlet Allocation)の更新式の導出 
Posted by taro at 2010年11月30日 21:12 |
|