交差エントロピー

情報理論
情報量
情報量 微分エントロピー 条件付きエントロピー 交差エントロピー 結合エントロピー 相互情報量 カルバック・ライブラー情報量 エントロピーレート
通信路
情報源符号化定理 通信路容量 通信路符号化定理 シャノン＝ハートレーの定理
単位
シャノン ナット ハートレー
その他
漸近等分割性（英語版） レート歪み理論（英語版）
カテゴリ
表 話 編 歴

情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（英: cross entropy）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ${\displaystyle p}$ ではなく、ある所定の確率分布 ${\displaystyle q}$ に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。

定義[編集]

同じ確率空間における2つの分布 ${\displaystyle p}$ と ${\displaystyle q}$ において、${\displaystyle q}$ の ${\displaystyle p}$ に対する交差エントロピーは、次のように定義される。

${\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!}$

ここで、${\displaystyle H(p)}$ は ${\displaystyle p}$ のエントロピー、${\displaystyle D_{\mathrm {KL} }(p||q)}$ は ${\displaystyle p}$ から ${\displaystyle q}$ のカルバック・ライブラー情報量（相対エントロピー）である。

${\displaystyle p}$ と ${\displaystyle q}$ が離散確率変数なら、これは次のようになる。

${\displaystyle \mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x)\!}$

連続確率変数なら、同様に次のようになる。

${\displaystyle -\int _{X}p(x)\,\log q(x)\,dx\!}$

なお、${\displaystyle \mathrm {H} (p,q)}$ という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。

対数尤度との関係[編集]

分類問題において、異なる事象の確率を推定したいとする。N サンプルからなる訓練集合内における事象 ${\displaystyle i}$ の頻度（経験的確率）が ${\displaystyle p_{i}}$ である一方、事象 ${\displaystyle i}$ の確率が ${\displaystyle q_{i}}$ と推定されたとすると、訓練集合の尤度は次のようになる。

${\displaystyle {\displaystyle \prod _{i}q_{i}^{Np_{i}}}}$

この対数尤度をNで割ると、

${\displaystyle {\displaystyle {\frac {1}{N}}\log \prod _{i}q_{i}^{Np_{i}}=\sum _{i}p_{i}\log q_{i}=-H(p,q)}}$

となり、この尤度を最大化することは、交差エントロピーを最小化することと同義となる。

交差エントロピー最小化[編集]

交差エントロピー最小化は、最適化問題と希少事象の予測によく使われる技法である（交差エントロピー法）。

確率分布 ${\displaystyle q}$ を参照用固定確率分布 ${\displaystyle p}$ と比較したとき、交差エントロピーとカルバック・ライブラー情報量は（${\displaystyle p}$ が固定なので）付加的な定数を除いて同一である。どちらも ${\displaystyle p=q}$ であるとき最小値となり、カルバック・ライブラーの値は ${\displaystyle 0}$、交差エントロピーの値は ${\displaystyle \mathrm {H} (p)}$ となる。

ただし、カルバック・ライブラー情報量参照のとおり、q を固定の参照用確率分布とし、p を最適化して q に近づけるようにすることもある。この場合の最小化は交差エントロピーの最小化とはならない。文献ではどちらの手法で説明しているか、注意する必要がある。

交差エントロピー誤差[編集]

機械学習・最適化における交差エントロピー誤差（英: cross entropy loss, CE loss）は交差エントロピーを用いた分布間距離表現による損失関数である。

真の確率 ${\displaystyle p_{i}}$が真のラベルであり、与えられた分布 ${\displaystyle q_{i}}$が現在のモデルの予測値である。

ロジスティック回帰[編集]

より具体的に、ロジスティック回帰による二項分類を考える。すなわちロジスティック回帰モデルにより与えられた入力ベクトル ${\displaystyle \mathbf {x} }$ から出力クラス ${\displaystyle y\in \{0,1\}}$ を予測する。確率は標準シグモイド関数 ${\displaystyle g(z)=1/(1+e^{-z})}$ でモデル化される。重みベクトル ${\displaystyle \mathbf {w} }$ を用いて出力 ${\displaystyle y=1}$ を見出す確率は以下で与えられる：

${\displaystyle q(y=1|x)\equiv q_{1}\ =\ {\hat {y}}\ \equiv \ g(\mathbf {w} \cdot \mathbf {x} )\ =1/(1+e^{-\mathbf {w} \cdot \mathbf {x} })}$

同様に、出力 ${\displaystyle y=0}$ を見出す余事象の確率は以下で与えられる：

${\displaystyle q(y=0|x)\equiv q_{0}\ =\ 1-{\hat {y}}}$

真の確率は ${\displaystyle p(y=1|x)\equiv p_{1}=y}$ および ${\displaystyle p(y=1|x)\equiv p_{0}=1-y}$ で定式化される。教師有り二項分類では入力ベクトルに対応するラベルが一意に与えられるため、${\displaystyle p(y|x)}$ は必ず one-hot なカテゴリカル分布になる。このことは ${\displaystyle y\in \{0,1\}}$ と次式より確かめられる：

${\displaystyle p(y|x)=y\ {\text{or}}\ 1-y=1\ {\text{or}}\ 0}$

${\displaystyle p}$ と ${\displaystyle q}$ との間の非類似性の尺度を交差エントロピーで表現すると次式が得られる：

${\displaystyle H(p,q)=-\sum _{i}^{\{1,0\}}p_{i}\log q_{i}=-y\log {\hat {y}}-(1-y)\log(1-{\hat {y}})}$

ロジスティック回帰で用いられる典型的な損失関数は、サンプル中の全ての交差エントロピーの平均を取ることによって計算される。例えば、それぞれのサンプルが${\displaystyle n=1,\dots ,N}$によってラベル付けされた${\displaystyle N}$個のサンプルを持っていることを仮定する。損失関数は次に以下の式となる。

${\displaystyle {\begin{aligned}J(\mathbf {w} )\ &=\ {\frac {1}{N}}\sum _{n=1}^{N}H(p_{n},q_{n})\ =\ -{\frac {1}{N}}\sum _{n=1}^{N}\ {\bigg [}y_{n}\log {\hat {y}}_{n}+(1-y_{n})\log(1-{\hat {y}}_{n}){\bigg ]}\,,\end{aligned}}}$

上式において、${\displaystyle {\hat {y}}_{n}\equiv g(\mathbf {w} \cdot \mathbf {x} _{n})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{n}})}$ である。${\displaystyle y_{n}\in \{0,1\}}$ であるため、損失関数を実際に計算する際には2つある項のうち片方のみの計算で済む（他方は0）。

ロジスティック損失は交差エントロピー損失と呼ばれることがある。また、log lossとも呼ばれる（この場合、二値ラベルは {-1,+1} で示されることが多い）^[1]。

脚注[編集]

関連項目[編集]

• 情報量
• 結合エントロピー

表 話 編 歴 確率論
確率の歴史	アンドレイ・コルモゴロフ トーマス・ベイズ アンドレイ・マルコフ ジョゼフ・L・ドゥーブ 伊藤清
確率の定義	客観確率 統計的確率 古典的確率 公理的確率 主観確率 ベイズ確率 確率の拡張 外確率 負の確率
基礎概念	モデル 試行 結果 事象 標本空間 確率測度 確率空間 確率変数 確率変数の収束 確率分布 離散確率分布 連続確率分布 同時分布 周辺分布 条件付き確率分布 独立同分布 関数 確率質量関数 確率密度関数 累積分布関数 特性関数 用語 独立 期待値 モーメント 条件付き確率 条件付き期待値
確率の解釈	ベルトランの逆説 3囚人問題 モンティ・ホール問題 サンクトペテルブルクのパラドックス 合接の誤謬 ギャンブラーの誤謬
問題	壺問題 クーポンコレクター問題
法則・定理	ベイズの定理 大数の法則 中心極限定理 コルモゴロフの0-1法則 デ・フィネッティの定理 ウィーナー＝ヒンチンの定理
測度論	確率測度の拡張 カラテオドリの拡張定理 E.ホップの拡張定理 コルモゴロフの拡張定理 ヴィタリの収束定理 ルベーグの優収束定理 ラプラス原理 スコロホッドの表現定理
確率微分方程式	伊藤の補題
確率過程	独立増分過程 定常過程 マルチンゲール マルコフ過程 マルコフ性 マルコフ連鎖 マルコフ決定過程 部分観測マルコフ決定過程 マルコフ再生過程 ウィーナー過程 ブラウン運動 幾何ブラウン運動 非整数ブラウン運動 ベルヌーイ過程 ガウス過程 自己相似過程 経験過程 中華料理店過程 オルンシュタイン＝ウーレンベック過程
情報量	最大エントロピー原理 交差エントロピー 結合エントロピー カルバック・ライブラー情報量 相互情報量
応用	数理ファイナンス ブラック–ショールズ方程式 確率的ボラティリティモデル 系統学 ベイズ法
カテゴリ