指数型分布族

指数型分布族（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。

指数型分布族の概念は、1935 – 1936年に^[1]、EJG Pitman^[2]、G. Darmois^[3] 、BO Koopman^[4]らによって与えられた。

指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。

多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば：

二項分布

試行回数は固定

多項分布

試行回数は固定

負の二項分布

失敗回数は固定

いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。

一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。

単一の実数パラメータに基づく指数型分布族では、 確率密度関数 （離散分布の場合は確率質量関数）が次の形式で表現できる。

${\displaystyle f_{X}(x\mid \theta )=h(x)\exp {\left[\eta (\theta )\cdot T(x)-A(\theta )\right]}}$

ここで、 ${\displaystyle T(x)}$、${\displaystyle h(x)}$、${\displaystyle \eta (\theta )}$、${\displaystyle A(\theta )}$ はいずれも既知の関数である。

しばしば次のように同等の形式で記述される。

${\displaystyle f_{X}(x\mid \theta )=h(x)\,g(\theta )\,\exp {\left[\eta (\theta )\cdot T(x)\right]}}$

次のように記述しても同等である。

${\displaystyle f_{X}(x\mid \theta )=\exp {\left[\eta (\theta )\cdot T(x)-A(\theta )+B(x)\right]}}$

${\displaystyle \theta }$ は指数型分布族のパラメータと呼ばれる。

${\displaystyle \eta (\theta )=\theta }$ の場合、指数型分布族は正準型（canonical form）であるという。 変換後のパラメータ ${\displaystyle \eta =\eta (\theta )}$ をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。

指数型分布族が正準型であるときのパラメータを自然パラメータ（natural parameter）と呼ぶ。

すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。

単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。

${\displaystyle {\boldsymbol {\theta }}=\left(\theta _{1},\theta _{2},\ldots ,\theta _{s}\right)^{\intercal }.}$

確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {\left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})\cdot T_{i}(x)-A({\boldsymbol {\theta }})\right)}}$

またはもっとコンパクトな形で

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x)-A({\boldsymbol {\theta }}){\Big )}}}$

下記のように記載されることも多い。

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x){\Big )}}$

スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。

${\displaystyle \forall i:\quad \eta _{i}(\theta _{i})=\theta _{i}.}$

単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。

複数の確率変数を次のように記述すると、

${\displaystyle \mathbf {x} =\left(x_{1},x_{2},\dotsc ,x_{k}\right).}$

指数型分布族の確率分布は次のように記述される。

${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})\cdot T_{i}(\mathbf {x} )-A({\boldsymbol {\theta }})\right)}$

またはもっとコンパクトな形で

${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(\mathbf {x} )-A({\boldsymbol {\theta }}){\Big )}}$

次のように記述されることも多い。

${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,g({\boldsymbol {\theta }})\,\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}({\boldsymbol {x}}){\Big )}}$

指数型分布族には、統計分析に非常に役立つ多数の性質がある。 多くの場合、これらの特性を持つのは指数型分布族のみである。 例：

• 共役事前分布を持つ

正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。

未知の平均値 ${\displaystyle \mu }$ と既知の分散 ${\displaystyle \sigma ^{2}}$ による正規分布を考える。 確率密度関数は

${\displaystyle f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right).}$

これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。

${\displaystyle {\begin{aligned}h_{\sigma }(x)&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)\\[4pt]T_{\sigma }(x)&={\frac {x}{\sigma }}\\[4pt]A_{\sigma }(\mu )&={\frac {\mu ^{2}}{2\sigma ^{2}}}\\[4pt]\eta _{\sigma }(\mu )&={\frac {\mu }{\sigma }}.\end{aligned}}}$

${\displaystyle \sigma ^{2}=1}$、すなわち ${\displaystyle \eta _{\sigma }(\mu )=\mu }$ の場合、これは正準型となる。

未知の平均 ${\displaystyle \mu }$ と未知の分散 ${\displaystyle \sigma ^{2}}$ を持つ正規分布の場合を考える。 確率密度関数は

${\displaystyle f(x;\mu ,\sigma )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right).}$

これは、次のように設定することで、指数型分布族であることが分かる。

${\displaystyle {\begin{aligned}{\boldsymbol {\eta }}&=\left({\frac {\mu }{\sigma ^{2}}},-{\frac {1}{2\sigma ^{2}}}\right)^{\rm {T}}\\h(x)&={\frac {1}{\sqrt {2\pi }}}\\T(x)&=\left(x,x^{2}\right)^{\rm {T}}\\A({\boldsymbol {\eta }})&={\frac {\mu ^{2}}{2\sigma ^{2}}}+\log |\sigma |=-{\frac {\eta _{1}^{2}}{4\eta _{2}}}+{\frac {1}{2}}\log \left|{\frac {1}{2\eta _{2}}}\right|\end{aligned}}}$

離散変数を対象とする指数型分布族の例として、試行回数 ${\displaystyle n}$ が既知の二項分布を考える。

この分布の確率質量関数は

${\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.}$

これは同等に次のように書くことができる。

${\displaystyle f(x)={n \choose x}\exp \left(x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right),\quad x\in \{0,1,2,\ldots ,n\}.}$

二項分布は指数型分布族であり、その自然パラメーター ${\displaystyle \eta }$ は

${\displaystyle \eta =\log {\frac {p}{1-p}}.}$

となる。 この ${\displaystyle p}$ の関数はロジットと呼ばれる。

次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している^[5]。

スカラー変数とスカラーパラメータの場合：

${\displaystyle f_{X}(x\mid \theta )=h(x)\,\exp {{\Big (}\eta (\theta )\,T(x)-A(\eta ){\Big )}}}$

スカラー変数とベクトルパラメータの場合：

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}(x)-A({\boldsymbol {\eta }}){\Big )}}}$

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}(x){\Big )}}}$

ベクトル変数とベクトルパラメータの場合：

${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}({\boldsymbol {x}})-A({\boldsymbol {\eta }}){\Big )}}}$

確率分布	パラメータ ${\displaystyle {\boldsymbol {\theta }}}$	自然パラメータ ${\displaystyle {\boldsymbol {\eta }}}$	パラメータの逆写像	Base measure ${\displaystyle h(x)}$	十分統計量 ${\displaystyle T(x)}$	Log-partition ${\displaystyle A({\boldsymbol {\eta }})}$	Log-partition ${\displaystyle A({\boldsymbol {\theta }})}$
ベルヌーイ分布[注釈 1]	${\displaystyle p}$	${\displaystyle \log {\frac {p}{1-p}}}$	${\displaystyle {\frac {1}{1+e^{-\eta }}}={\frac {e^{\eta }}{1+e^{\eta }}}}$	${\displaystyle 1}$	${\displaystyle x}$	${\displaystyle \log(1+e^{\eta })}$	${\displaystyle -\log(1-p)}$
二項分布 既知の試行回数 ${\displaystyle n}$	${\displaystyle p}$	${\displaystyle \log {\frac {p}{1-p}}}$	${\displaystyle {\frac {1}{1+e^{-\eta }}}={\frac {e^{\eta }}{1+e^{\eta }}}}$	${\displaystyle {n \choose x}}$	${\displaystyle x}$	${\displaystyle n\log(1+e^{\eta })}$	${\displaystyle -n\log(1-p)}$
ポアソン分布	${\displaystyle \lambda }$	${\displaystyle \log \lambda }$	${\displaystyle e^{\eta }}$	${\displaystyle {\frac {1}{x!}}}$	${\displaystyle x}$	${\displaystyle e^{\eta }}$	${\displaystyle \lambda }$
負の二項分布 with known number of failures ${\displaystyle r}$	${\displaystyle p}$	${\displaystyle \log p}$	${\displaystyle e^{\eta }}$	${\displaystyle {x+r-1 \choose x}}$	${\displaystyle x}$	${\displaystyle -r\log(1-e^{\eta })}$	${\displaystyle -r\log(1-p)}$
指数分布	${\displaystyle \lambda }$	${\displaystyle -\lambda }$	${\displaystyle -\eta }$	${\displaystyle 1}$	${\displaystyle x}$	${\displaystyle -\log(-\eta )}$	${\displaystyle -\log \lambda }$
パレート分布 with known minimum value ${\displaystyle x_{m}}$	${\displaystyle \alpha }$	${\displaystyle -\alpha -1}$	${\displaystyle -1-\eta }$	${\displaystyle 1}$	${\displaystyle \log x}$	${\displaystyle -\log(-1-\eta )+(1+\eta )\log x_{\mathrm {m} }}$	${\displaystyle -\log \alpha -\alpha \log x_{\mathrm {m} }}$
ワイブル分布 with known shape ${\displaystyle k}$	${\displaystyle \lambda }$	${\displaystyle -{\frac {1}{\lambda ^{k}}}}$	${\displaystyle (-\eta )^{-{\frac {1}{k}}}}$	${\displaystyle x^{k-1}}$	${\displaystyle x^{k}}$	${\displaystyle -\log(-\eta )-\log k}$	${\displaystyle k\log \lambda -\log k}$
ラプラス分布 既知の平均 ${\displaystyle \mu }$	${\displaystyle b}$	${\displaystyle -{\frac {1}{b}}}$	${\displaystyle -{\frac {1}{\eta }}}$	${\displaystyle 1}$	${\displaystyle |x-\mu |}$	${\displaystyle \log \left(-{\frac {2}{\eta }}\right)}$	${\displaystyle \log 2b}$
カイ二乗分布	${\displaystyle \nu }$	${\displaystyle {\frac {\nu }{2}}-1}$	${\displaystyle 2(\eta +1)}$	${\displaystyle e^{-{\frac {x}{2}}}}$	${\displaystyle \log x}$	${\displaystyle \log \Gamma (\eta +1)+(\eta +1)\log 2}$	${\displaystyle \log \Gamma \left({\frac {\nu }{2}}\right)+{\frac {\nu }{2}}\log 2}$
正規分布 既知の分散 ${\displaystyle \sigma ^{2}}$	${\displaystyle \mu }$	${\displaystyle {\frac {\mu }{\sigma }}}$	${\displaystyle \sigma \eta }$	${\displaystyle {\frac {e^{-{\frac {x^{2}}{2\sigma ^{2}}}}}{{\sqrt {2\pi }}\sigma }}}$	${\displaystyle {\frac {x}{\sigma }}}$	${\displaystyle {\frac {\eta ^{2}}{2}}}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}}$
正規分布	${\displaystyle \mu }$, ${\displaystyle \sigma ^{2}}$	${\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[10pt]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[15pt]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}$	${\displaystyle {\frac {1}{\sqrt {2\pi }}}}$	${\displaystyle {\begin{bmatrix}x\\x^{2}\end{bmatrix}}}$	${\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\log \sigma }$
対数正規分布	${\displaystyle \mu }$, ${\displaystyle \sigma ^{2}}$	${\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[10pt]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[15pt]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}$	${\displaystyle {\frac {1}{{\sqrt {2\pi }}x}}}$	${\displaystyle {\begin{bmatrix}\log x\\(\log x)^{2}\end{bmatrix}}}$	${\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\log \sigma }$
逆ガウス分布	${\displaystyle \mu }$, ${\displaystyle \lambda }$	${\displaystyle {\begin{bmatrix}-{\dfrac {\lambda }{2\mu ^{2}}}\\[15pt]-{\dfrac {\lambda }{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\sqrt {\dfrac {\eta _{2}}{\eta _{1}}}}\\[15pt]-2\eta _{2}\end{bmatrix}}}$	${\displaystyle {\frac {1}{{\sqrt {2\pi }}x^{\frac {3}{2}}}}}$	${\displaystyle {\begin{bmatrix}x\\[5pt]{\dfrac {1}{x}}\end{bmatrix}}}$	${\displaystyle 2{\sqrt {\eta _{1}\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}$	${\displaystyle -{\frac {\lambda }{\mu }}-{\frac {1}{2}}\log \lambda }$
ガンマ分布	${\displaystyle \alpha }$, ${\displaystyle \beta }$	${\displaystyle {\begin{bmatrix}\alpha -1\\-\beta \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\-\eta _{2}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\x\end{bmatrix}}}$	${\displaystyle \log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})}$	${\displaystyle \log \Gamma (\alpha )-\alpha \log \beta }$
	${\displaystyle k}$, ${\displaystyle \theta }$	${\displaystyle {\begin{bmatrix}k-1\\[5pt]-{\dfrac {1}{\theta }}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\[5pt]-{\dfrac {1}{\eta _{2}}}\end{bmatrix}}}$				${\displaystyle \log \Gamma (k)+k\log \theta }$
逆ガンマ分布	${\displaystyle \alpha }$, ${\displaystyle \beta }$	${\displaystyle {\begin{bmatrix}-\alpha -1\\-\beta \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-\eta _{1}-1\\-\eta _{2}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\{\frac {1}{x}}\end{bmatrix}}}$	${\displaystyle \log \Gamma (-\eta _{1}-1)-(-\eta _{1}-1)\log(-\eta _{2})}$	${\displaystyle \log \Gamma (\alpha )-\alpha \log \beta }$
一般化逆ガウス分布	${\displaystyle p}$, ${\displaystyle a}$, ${\displaystyle b}$	${\displaystyle {\begin{bmatrix}p-1\\-a/2\\-b/2\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\-2\eta _{2}\\-2\eta _{3}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\x\\{\frac {1}{x}}\end{bmatrix}}}$	${\displaystyle \log 2K_{\eta _{1}+1}({\sqrt {4\eta _{2}\eta _{3}}})-{\frac {\eta _{1}+1}{2}}\log {\frac {\eta _{2}}{\eta _{3}}}}$	${\displaystyle \log 2K_{p}({\sqrt {ab}})-{\frac {p}{2}}\log {\frac {a}{b}}}$
スケールされた逆カイ二乗分布	${\displaystyle \nu }$, ${\displaystyle \sigma ^{2}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\nu }{2}}-1\\[10pt]-{\dfrac {\nu \sigma ^{2}}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-2(\eta _{1}+1)\\[10pt]{\dfrac {\eta _{2}}{\eta _{1}+1}}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\{\frac {1}{x}}\end{bmatrix}}}$	${\displaystyle \log \Gamma (-\eta _{1}-1)-(-\eta _{1}-1)\log(-\eta _{2})}$	${\displaystyle \log \Gamma \left({\frac {\nu }{2}}\right)-{\frac {\nu }{2}}\log {\frac {\nu \sigma ^{2}}{2}}}$
ベータ分布 （variant 1)	${\displaystyle \alpha }$, ${\displaystyle \beta }$	${\displaystyle {\begin{bmatrix}\alpha \\\beta \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}\\\eta _{2}\end{bmatrix}}}$	${\displaystyle {\frac {1}{x(1-x)}}}$	${\displaystyle {\begin{bmatrix}\log x\\\log(1-x)\end{bmatrix}}}$	${\displaystyle \log \Gamma (\eta _{1})+\log \Gamma (\eta _{2})-\log \Gamma (\eta _{1}+\eta _{2})}$	${\displaystyle \log \Gamma (\alpha )+\log \Gamma (\beta )-\log \Gamma (\alpha +\beta )}$
ベータ分布 (variant 2)	${\displaystyle \alpha }$, ${\displaystyle \beta }$	${\displaystyle {\begin{bmatrix}\alpha -1\\\beta -1\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\\eta _{2}+1\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\\log(1-x)\end{bmatrix}}}$	${\displaystyle \log \Gamma (\eta _{1}+1)+\log \Gamma (\eta _{2}+1)-\log \Gamma (\eta _{1}+\eta _{2}+2)}$	${\displaystyle \log \Gamma (\alpha )+\log \Gamma (\beta )-\log \Gamma (\alpha +\beta )}$
多変量正規分布	${\displaystyle {\boldsymbol {\mu }}}$, ${\displaystyle {\boldsymbol {\sigma }}}$	${\displaystyle {\begin{bmatrix}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\Sigma }}^{-1}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}\end{bmatrix}}}$	${\displaystyle (2\pi )^{-{\frac {k}{2}}}}$	${\displaystyle {\begin{bmatrix}\mathbf {x} \\[5pt]\mathbf {x} \mathbf {x} ^{\mathrm {T} }\end{bmatrix}}}$	${\displaystyle -{\frac {1}{4}}{\boldsymbol {\eta }}_{1}^{\rm {T}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}-{\frac {1}{2}}\log \left|-2{\boldsymbol {\eta }}_{2}\right|}$	${\displaystyle {\frac {1}{2}}{\boldsymbol {\mu }}^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}+{\frac {1}{2}}\log |{\boldsymbol {\Sigma }}|}$
カテゴリカル分布 (variant 1)[注釈 2]	${\displaystyle p_{1},\dots {},p_{k}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}\\\vdots \\\log p_{k}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=1}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}$	${\displaystyle 0}$	${\displaystyle 0}$
カテゴリカル分布 (variant 2)[注釈 2]	${\displaystyle p_{1},\dots {},p_{k}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}+C\\\vdots \\\log p_{k}+C\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\dfrac {1}{C}}e^{\eta _{1}}\\\vdots \\{\dfrac {1}{C}}e^{\eta _{k}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=C}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}$	${\displaystyle 0}$	${\displaystyle 0}$
カテゴリカル分布 (variant 3)[注釈 2]	${\displaystyle p_{1},\dots {},p_{k}}$ where ${\displaystyle p_{k}=1-\textstyle \sum _{i=1}^{k-1}p_{i}}$	${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{p_{k}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{p_{k}}}\\[15pt]0\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[15pt]0\end{bmatrix}}}$ This is the inverse softmax function, a generalization of the logit function.	${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k-1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[15pt]{\dfrac {1}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\end{bmatrix}}}$ This is the softmax function, a generalization of the logistic function.	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}$	${\displaystyle \log \left(\sum _{i=1}^{k}e^{\eta _{i}}\right)=\log \left(1+\sum _{i=1}^{k-1}e^{\eta _{i}}\right)}$	${\displaystyle -\log p_{k}=-\log \left(1-\sum _{i=1}^{k-1}p_{i}\right)}$
多項分布 (variant 1) 既知の試行回数 ${\displaystyle n}$	${\displaystyle p_{1},\dots {},p_{k}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}\\\vdots \\\log p_{k}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=1}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	${\displaystyle 0}$	${\displaystyle 0}$
多項分布 (variant 2) 既知の試行回数 ${\displaystyle n}$	${\displaystyle p_{1},\dots {},p_{k}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}+C\\\vdots \\\log p_{k}+C\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\dfrac {1}{C}}e^{\eta _{1}}\\\vdots \\{\dfrac {1}{C}}e^{\eta _{k}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}}$ where ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=C}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	${\displaystyle 0}$	${\displaystyle 0}$
多項分布 (variant 3) 既知の試行回数 ${\displaystyle n}$	${\displaystyle p_{1},\dots {},p_{k}}$ where ${\displaystyle p_{k}=1-\textstyle \sum _{i=1}^{k-1}p_{i}}$	${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{p_{k}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{p_{k}}}\\[15pt]0\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[15pt]0\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k-1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[15pt]{\dfrac {1}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\end{bmatrix}}}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	${\displaystyle n\log \left(\sum _{i=1}^{k}e^{\eta _{i}}\right)=n\log \left(1+\sum _{i=1}^{k-1}e^{\eta _{i}}\right)}$	${\displaystyle -n\log p_{k}=-n\log \left(1-\sum _{i=1}^{k-1}p_{i}\right)}$
ディリクレ分布 (variant 1)	${\displaystyle \alpha _{1},\dots {},\alpha _{k}}$	${\displaystyle {\begin{bmatrix}\alpha _{1}\\\vdots \\\alpha _{k}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}\\\vdots \\\eta _{k}\end{bmatrix}}}$	${\displaystyle {\frac {1}{\prod _{i=1}^{k}x_{i}}}}$	${\displaystyle {\begin{bmatrix}\log x_{1}\\\vdots \\\log x_{k}\end{bmatrix}}}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\eta _{i})-\log \Gamma \left(\sum _{i=1}^{k}\eta _{i}\right)}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\alpha _{i})-\log \Gamma \left(\sum _{i=1}^{k}\alpha _{i}\right)}$
ディリクレ分布 (variant 2)	${\displaystyle \alpha _{1},\dots {},\alpha _{k}}$	${\displaystyle {\begin{bmatrix}\alpha _{1}-1\\\vdots \\\alpha _{k}-1\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\\vdots \\\eta _{k}+1\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x_{1}\\\vdots \\\log x_{k}\end{bmatrix}}}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\eta _{i}+1)-\log \Gamma \left(\sum _{i=1}^{k}(\eta _{i}+1)\right)}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\alpha _{i})-\log \Gamma \left(\sum _{i=1}^{k}\alpha _{i}\right)}$
ウィッシャート分布[注釈 3]	${\displaystyle \mathbf {V} }$, ${\displaystyle n}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}\mathbf {V} ^{-1}\\[5pt]{\dfrac {n-p-1}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{{\boldsymbol {\eta }}_{1}}^{-1}\\[5pt]2\eta _{2}+p+1\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\mathbf {X} \\\log |\mathbf {X} |\end{bmatrix}}}$	${\displaystyle -\left(\eta _{2}+{\frac {p+1}{2}}\right)\log |-{\boldsymbol {\eta }}_{1}|}$       ${\displaystyle +\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)=}$ ${\displaystyle -{\frac {n}{2}}\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left({\frac {n}{2}}\right)=}$ ${\displaystyle \left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log |\mathbf {V} |)}$       ${\displaystyle +\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)}$ Three variants with different parameterizations are given, to facilitate computing moments of the sufficient statistics.	${\displaystyle {\frac {n}{2}}(p\log 2+\log |\mathbf {V} |)+\log \Gamma _{p}\left({\frac {n}{2}}\right)}$
逆ウィッシャート分布	${\displaystyle {\boldsymbol {\Psi }}}$, ${\displaystyle m}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\Psi }}\\[5pt]-{\dfrac {m+p+1}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-2{\boldsymbol {\eta }}_{1}\\[5pt]-(2\eta _{2}+p+1)\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\mathbf {X} ^{-1}\\\log |\mathbf {X} |\end{bmatrix}}}$	${\displaystyle {\begin{aligned}&\left(\eta _{2}+{\frac {p+1}{2}}\right)\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left(-{\Big (}\eta _{2}+{\frac {p+1}{2}}{\Big )}\right)\\&=-{\frac {m}{2}}\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left({\frac {m}{2}}\right)\\&=-\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2-\log |{\boldsymbol {\Psi }}|)+\log \Gamma _{p}\left(-{\Big (}\eta _{2}+{\frac {p+1}{2}}{\Big )}\right)\end{aligned}}}$	${\displaystyle {\frac {m}{2}}(p\log 2-\log |{\boldsymbol {\Psi }}|)+\log \Gamma _{p}\left({\frac {m}{2}}\right)}$
ガウス・ガンマ分布	${\displaystyle \alpha }$, ${\displaystyle \beta }$, ${\displaystyle \mu }$, ${\displaystyle \lambda }$	${\displaystyle {\begin{bmatrix}\alpha -{\frac {1}{2}}\\-\beta -{\dfrac {\lambda \mu ^{2}}{2}}\\\lambda \mu \\-{\dfrac {\lambda }{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+{\frac {1}{2}}\\-\eta _{2}+{\dfrac {\eta _{3}^{2}}{4\eta _{4}}}\\-{\dfrac {\eta _{3}}{2\eta _{4}}}\\-2\eta _{4}\end{bmatrix}}}$	${\displaystyle {\dfrac {1}{\sqrt {2\pi }}}}$	${\displaystyle {\begin{bmatrix}\log \tau \\\tau \\\tau x\\\tau x^{2}\end{bmatrix}}}$	${\displaystyle \log \Gamma \left(\eta _{1}+{\frac {1}{2}}\right)-{\frac {1}{2}}\log \left(-2\eta _{4}\right)-}$       ${\displaystyle -\left(\eta _{1}+{\frac {1}{2}}\right)\log \left(-\eta _{2}+{\dfrac {\eta _{3}^{2}}{4\eta _{4}}}\right)}$	${\displaystyle \log \Gamma \left(\alpha \right)-\alpha \log \beta -{\frac {1}{2}}\log \lambda }$