潜在的ディリクレ配分法

潜在的ディリクレ配分法（せんざいてきディリクレはいぶんほう、英: Latent Dirichlet Allocation、略称：LDA）は、自然言語処理において使用されるベイジアンネットワークの一種で、生成モデルに分類される確率的手法である。これはトピックモデル（英語版）の一つであり、文書集合内の「トピック」を自動的に抽出することを目的とする。各文書は複数のトピックから構成され、単語の出現は特定のトピックに基づいていると仮定される。

LDAは、もともと集団遺伝学の分野で2000年にジョナサン・プリチャード（英語版）らによって提案され^[1]、 2003年にはデイビッド・ブライ（英語版）、アンドリュー・ン、マイケル・I・ジョーダン（英語版）によって機械学習分野に応用された^[2]。

LDAは、もともと集団遺伝学において、個体群内の遺伝的構造を検出するために提案されたモデルである。このモデルでは、観測された個体が持つ対立遺伝子（遺伝子の変異）は、既存あるいは過去に存在した複数の「元集団」から由来していると仮定する。

LDAとその推論アルゴリズムを用いることで、研究者は各元集団におけるアリル頻度を推定し、各個体が持つアリルがどの集団に由来するかを推定できる。得られた元集団の構造は、後からさまざまな進化のシナリオに照らして解釈される。

また、関連解析（英語版）において、集団構造が存在すると交絡因子によって誤った因果関係が導かれる恐れがある。そのため、LDAは構造の存在を事前に検出する重要なツールとみなされている。

臨床心理学では、LDAを用いて若者が社会的状況で経験するネガティブな自己イメージの共通パターン（テーマ）を抽出する研究が行われている^[3]。たとえば、社会不安を持つ青少年が報告する心象の記述をLDAで解析することで、共通する思考や感情の構造を明らかにできる。

社会科学の分野では、LDAは膨大なソーシャルメディアデータ（例：X/Twitterの投稿）を分析する際にも用いられる。たとえば、処方薬に関する投稿内容から、関心トピックや薬物使用の言及パターンを抽出する研究がある^[4]。

さらに、「共変量付き教師ありLDA（SLDAX）」と呼ばれる拡張モデルも提案されている。これは、LDAによって抽出された潜在トピックと、他の観測変数（例：年齢、性別、臨床スコアなど）を統合し、回帰分析によりメンタルヘルスや行動の予測精度を向上させるものである。SLDAXは、従来の2段階手法（トピック推定 → 回帰分析）に比べて、推定のバイアスや標準誤差の過小評価を回避できる利点がある^[5][6]。

LDAは文化的・地域的差異を捉える研究にも活用されている。たとえば、アメリカと中国における処方薬やライフスタイルの議論を比較したり、歴史的な稲作文化が現代の言語使用やSNS投稿に与える影響を分析する例も報告されている^[7]。

このように、LDAは構造的パターンが隠された自然言語データや大量のテキストデータを扱う際に非常に有効であり、リアルタイムの世論分析や文化調査にも応用可能である^[8][9]。

計算音楽学（英語版）の分野でもLDAは応用されており、楽曲の集合に潜む調性（トーナル）構造を自動的に発見するために用いられている^[10]。

LDAは、自然言語処理におけるトピックモデルの代表的なアルゴリズムであり、文書集合から自動的に「話題（トピック）」を発見するために使われる。

トピックとは、文書中に共起する単語の集合であり、意味的に関連する語（例：「犬」「吠える」「子犬」「ゴールデンレトリバー」）が1つのテーマ（例：犬関連）としてまとまる。一方で、「猫」「ミャオ」「ペルシャ」などは別のテーマ（猫関連）を形成する。

LDAは以下のような前提に基づいている：

1. 各文書は、複数のトピックから単語を混合して構成されている。
2. 単語は複数のトピックにまたがって現れる（多義性）ことがあり、その単語の意味は周辺の語から解釈される。
3. 一つの文書が含むトピックは少数である傾向がある。
4. 各トピック内では、出現頻度が高い単語と低い単語が存在する（偏った分布）。

これらの前提に従って、LDAはベイズ推定とEMアルゴリズムを用いて、各文書におけるトピック分布と各トピックにおける単語分布を学習する。

LDAは、確率的潜在意味解析（英語版）（pLSA）の拡張とみなすことができる^[11]。pLSAは、LDAの前提のうち1と2のみを満たすが、ベイズ的な事前分布を持たないため過学習に陥りやすいという欠点がある。

LDAの利点として以下が挙げられる：

• 単語の意味の曖昧性をより適切に区別できる。

• トピック構造を用いて、新たな「合成文書」を生成できる（生成モデル）。

• pLSAよりも大規模データへのスケーリングがしやすい（例：MapReduceを用いた分散処理が可能）。

このように、LDAは自然言語処理やデータマイニングにおける標準的なトピックモデルであり、文書の自動分類、感情分析、意味理解などに広く活用されている。

LDAモデルは、確率的グラフィカルモデルにおいてよく用いられる「プレート記法（英語版）」を使って記述される。プレート（箱）は反復される要素を表し、外側のプレートは文書を、内側のプレートは文書内の単語位置を示す。各単語位置は、あるトピックの選択と、そのトピックにおける単語の選択に対応する。

変数は以下のように定義される：

M：文書の総数  

N：1つの文書に含まれる単語数（文書 i の長さは ${\displaystyle N_{i}}$）  

α：各文書におけるトピック分布に対するディリクレ分布のパラメータ   β：各トピックにおける単語分布に対するディリクレ分布のパラメータ  

${\displaystyle \theta _{i}}$：文書 i のトピック分布  

${\displaystyle \varphi _{k}}$：トピック k の単語分布  

${\displaystyle z_{ij}}$：文書 i の j 番目の単語が割り当てられたトピック  

${\displaystyle w_{ij}}$：文書 i の j 番目の単語（観測変数）

W は観測変数（実際の単語データ）である一方、それ以外の変数（${\displaystyle \theta }$, ${\displaystyle \varphi }$, ${\displaystyle z}$）はすべて潜在変数である。

元の論文では、トピックにおける単語分布（${\displaystyle \varphi }$）をスパースなディリクレ分布でモデル化することが提案されている。これは、トピック内で少数の単語だけが高頻度で出現するという直感に基づいており、現在最も広く使われているLDAのバリアントである。

プレート記法における ${\displaystyle K}$ はトピックの数を表す。また ${\displaystyle \varphi _{1},\dots ,\varphi _{K}}$ は語彙のサイズ ${\displaystyle V}$ を持つベクトルであり、各トピックにおける単語分布をパラメータ化している。

LDAでは、各文書が複数の潜在的なトピックからなる混合分布で構成されると仮定する。各トピックは語彙全体にわたる単語の確率分布によって表される。

文書集合 ${\displaystyle D}$ に含まれる ${\displaystyle M}$ 件の文書それぞれ（長さ ${\displaystyle N_{i}}$）に対し、以下の確率的生成過程が仮定される：

1. 文書ごとのトピック分布 ${\displaystyle \theta _{i}}$ を、ディリクレ分布 ${\displaystyle \mathrm {Dir} (\alpha )}$ からサンプリングする。

2. 各トピックの単語分布 ${\displaystyle \varphi _{k}}$ を、ディリクレ分布 ${\displaystyle \mathrm {Dir} (\beta )}$ からサンプリングする（全トピックに対して一度）。

3. 各文書の各単語位置 ${\displaystyle j}$ に対して：

(a)トピック ${\displaystyle z_{ij}}$ を、カテゴリカル分布 ${\displaystyle \mathrm {Multinomial} (\theta _{i})}$ からサンプリングする。

(b) 単語 ${\displaystyle w_{ij}}$ を、選ばれたトピックの単語分布${\displaystyle \operatorname {Multinomial} (\varphi _{z_{i,j}})}$からサンプリングする。

ただし、ここでの「多項分布」は1回の試行で1つのカテゴリを選ぶカテゴリカル分布（英語版）を指す。単語数 ${\displaystyle N_{i}}$ は他の変数とは独立に決定される。

以下はLDAモデル内の変数と意味の一覧である：

モデルの変数定義

変数	型	意味
${\displaystyle K}$	整数	トピックの数（例：50）
${\displaystyle V}$	整数	語彙数（例：50,000）
${\displaystyle M}$	整数	文書数
${\displaystyle N_{d}}$	整数	文書 d に含まれる単語数
${\displaystyle \alpha _{k}}$	正の実数	文書中でのトピック k の事前重み（通常 1 未満）
${\displaystyle {\boldsymbol {\alpha }}}$	K次元ベクトル	各 ${\displaystyle \alpha _{k}}$ の集合
${\displaystyle \beta _{w}}$	正の実数	トピック中での単語 w の事前重み（通常 0.01 未満）
${\displaystyle {\boldsymbol {\beta }}}$	V次元ベクトル	各 ${\displaystyle \beta _{w}}$ の集合
${\displaystyle \varphi _{k,w}}$	[0,1] の確率	トピック k における単語 w の出現確率
${\displaystyle \theta _{d,k}}$	[0,1] の確率	文書 d におけるトピック k の割合
${\displaystyle z_{d,n}}$	整数 (1〜K)	文書 d の n 番目の単語のトピック
${\displaystyle w_{d,n}}$	整数 (1〜V)	文書 d の n 番目の単語（語彙のインデックス）

これらの確率変数は以下のように分布づけられる：

${\displaystyle {\begin{aligned}\varphi _{k}&\sim \mathrm {Dirichlet} _{V}({\boldsymbol {\beta }})\\\theta _{d}&\sim \mathrm {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d,n}&\sim \mathrm {Categorical} _{K}(\theta _{d})\\w_{d,n}&\sim \mathrm {Categorical} _{V}(\varphi _{z_{d,n}})\end{aligned}}}$

この生成モデルを逆にたどることで、観測された単語データから潜在的なトピック構造を推定することがLDAの本質である。

文書集合におけるトピック分布（各文書のトピック混合率）、トピックごとの単語分布、各単語のトピック割り当てといったパラメータを求めることは、統計的推論の問題である。

最初に提案されたLDA（プリチャードらによる）では、事後分布をモンテカルロ法で近似する手法が用いられた。特にマルコフ連鎖モンテカルロ法（MCMC）の一種であるギブスサンプリングがよく使用される。^[12]

ギブスサンプリングでは、観測された単語に対する潜在変数（トピック割り当て）を反復的にサンプリングすることで、トピック分布と単語分布の事後分布を近似する。

2003年のBleiらの論文では、変分ベイズ法（英語版）が使用された^[13]。これは解析的に計算が難しい事後分布を、より単純な分布族（たとえば独立したディリクレ分布など）で近似することで、近似推論を効率的に行う方法である。

変分法は反復最適化アルゴリズムであり、計算コストが安定していて収束が早く、大規模データに適している。

対数尤度を直接最大化するブロック緩和法（block relaxation）もLDAの推論に使用される。これはMCMCより高速であり、特に大規模データセットにおいて有効である^[14]。

実際には、トピック数（K）は未知であることが多い。この場合、モデル選択の一環として、リバーシブルジャンプMCMC（英語版）などを用いたベイズ推論により、トピック数の最適な推定が可能である^[15]。

LDAの推論には他にもさまざまな手法が提案されており、その一つが期待伝搬法（英語版）である^[16]。

また、効率的なギブスサンプリングの実装においては、文書と単語のスパース性（それぞれ少数のトピックしか含まないこと）を利用して、計算時間を短縮する高速アルゴリズムも開発されている^[17]。

これにより、大規模なテキストコーパスに対するリアルタイム推論も実現可能となった。

• pLSA：LDAの前身にあたるモデル。LDAはそのベイズ的拡張。
• hLDA：階層的なトピック構造を学習するLDAの拡張。
• 空間LDA：画像解析などに応用。
• 非負値行列因子分解、潜在意味解析なども類似の技術。

• 変分ベイズ法（英語版）
• トピックモデル（英語版）
• 自然言語処理
• Gensim
• tf-idf

• LDAの講義（デイビッド・ブライ）
• Gensim（Python実装）
• R言語パッケージ topicmodels

表 話 編 歴 自然言語処理
基礎用語	AI完全 Bag-of-words（英語版） n-gram bi-gram（英語版） tri-gram（英語版） 計算言語学 自然言語理解 ストップワード（英語版） テキスト処理（英語版）
テキスト分析	コロケーション抽出（英語版） コンセプト・マイニング（英語版） 共参照解析（英語版） 深い言語処理（英語版） 遠読（英語版） 情報抽出 固有表現抽出 オントロジー学習（英語版） 構文解析 品詞タグ付け（英語版） 意味役割付与 意味的類似性（英語版） 感情分析 用語抽出（英語版） テキストマイニング テキスト含意（英語版） Truecasing（英語版） 語義の曖昧性解消 語義推定（英語版） テキストセグメンテーション（英語版） 複合語用語処理（英語版） 見出し語化（英語版） 字句解析 テキストチャンキング ステミング（英語版） 文区切り（英語版） 単語区切り（英語版）
自動要約	複数文書要約（英語版） センテンス抽出（英語版） テキスト平易化（英語版）
機械翻訳	翻訳支援ツール 用例ベース（英語版） ルールベース（英語版） 統計的（英語版） 転送ベース（英語版） ニューラル
分布意味論（英語版）モデル	BERT 単語文書行列（英語版） 明示的セマンティック分析（英語版） fastText（英語版） GloVe（英語版） 潜在意味解析 単語の埋め込み Word2vec
言語資源、 データセット・コーパス	種類・基準 コーパス言語学 Lexical resource（英語版） LLOD（英語版） 機械可読辞書（英語版） 対訳コーパス（英語版） PropBank（英語版） 意味ネットワーク SKOS（英語版） 音声コーパス（英語版） コーパス シソーラス ツリーバンク Universal Dependencies データ BabelNet Bank of English（英語版） DBペディア フレームネット（英語版） Google Ngram Viewer ThoughtTreasure（英語版） UBY（英語版） WordNet
自動認識・ データ取得（英語版）	音声認識 分節化 音声合成 自然言語生成 光学文字認識
トピックモデル（英語版）	文書分類 潜在的ディリクレ配分法 パチンコ配分モデル
レビュー支援 ツール（英語版）	自動エッセイスコアリング（英語版） コンコーダンサ（英語版） 文法チェッカー 入力予測 スペルチェッカ 構文推定（英語版）
自然言語ユーザー インターフェース（英語版）	チャットボット（人工無脳） インタラクティブフィクション 質問応答システム バーチャルアシスタント 音声ユーザーインターフェース（英語版）
他のソフトウェア	NLTK（英語版） spaCy
カテゴリ