ラグランジュの未定乗数法

この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "ラグランジュの未定乗数法" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2011年7月)

ラグランジュの未定乗数法（ラグランジュのみていじょうすうほう、英: method of Lagrange multiplier）とは、束縛条件のもとで最適化を行うための数学（解析学）的な方法である。いくつかの変数に対して、いくつかの関数の値を固定するという束縛条件のもとで、別のある1つの関数の極値を求めるという問題を考える。各束縛条件に対して定数（未定乗数、Lagrange multiplier）を用意し、これらを係数とする線形結合を新しい関数（未定乗数も新たな変数とする）として考えることで、束縛問題を普通の極値問題として解くことができる方法である。

ラグランジュの未定乗数法は、次のような定理として記述される。

束縛条件 g(x, y) = 0 の下で、f(x, y) が最大値となる点 (a , b) を求める問題、つまり

maximize ${\displaystyle f(x,y),}$

subject to ${\displaystyle g(x,y)=0}$

という問題を考える。ラグランジュ乗数を λ とし、

とおく。点 (a, b) で ∂g/∂x と ∂g/∂y の少なくとも一方が 0 でないならば、α が存在して点 (a, b, α) で

${\displaystyle {\frac {\partial F}{\partial x}}={\frac {\partial F}{\partial y}}={\frac {\partial F}{\partial \lambda }}=0}$

が成り立つ^[1]。

n 次元空間の点 x = (x₁, …, x_n) のある領域 R を定義域とする被評価関数 z = f(x) が、同じ領域を定義域とする m 次元ベクトル値関数

${\displaystyle {\boldsymbol {G}}({\boldsymbol {x}})={\begin{pmatrix}g_{1}(x_{1},\dots ,x_{n})\\\vdots \\g_{m}(x_{1},\dots ,x_{n})\end{pmatrix}}={\boldsymbol {0}}\qquad (1)}$

の下で、R 内の点 x において極値をとるための必要条件は、その点における f の勾配ベクトル

${\displaystyle \nabla f={}^{t}{\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}},\dots ,{\dfrac {\partial f}{\partial x_{n}}}\end{pmatrix}}}$

が、その点で、m 個の g_i それぞれの勾配ベクトルが張る m 次元線型部分空間に含まれること、すなわち、スカラーの組 λ = (λ₁, …, λ_m) を用いて、

${\displaystyle \nabla f=\sum _{i=1}^{m}\lambda _{i}\nabla g_{i}\qquad (2)}$

が成り立つことである。移項して ∇ を取れば、

${\displaystyle f({\boldsymbol {x}})-\sum _{i=1}^{m}\lambda _{i}g_{i}({\boldsymbol {x}})}$

が停留点をとることである。ただし、{∇g₁, …, ∇g_m} は一次独立、すなわち

${\displaystyle \dim(\nabla g_{1},\dots ,\nabla g_{m})=m}$

でなければならない。式(1)の m 本と式(2)の n 本の式を連立させて、x と λ の (n + m) 個の未知数について解けば、f の極値を与える候補点が得られる^[2]。

簡単のため2次元の場合を考えよう。g (x, y) = c（ここで c は与えられた定数である）という条件の下、関数 f (x, y) を最大化するものとしよう。f の値を高さとしたグラフを考えると、高さが d の f の等高線は f (x, y) = d で与えられる。ここで、任意の曲線に沿って移動する点を考えると、この点が等高線を横切る場合、必ず f (x, y) は増加、もしくは減少するが、この点が等高線に沿って移動する場合は f (x, y) は変化しないことが分かる。この条件と通常の極値の条件を合わせて考えれば、曲線上で f (x, y) が最大をとる点では、f の等高線の接線と曲線の接線が平行となっているか、f の勾配がゼロとなっていることが分かる。ここで g (x, y) = c の接線は、g の勾配ベクトル ∇_x,y g と直交し、また f の等高線 f (x, y) = d の接線は f の勾配ベクトル ∇_x,y f と直交することを踏まえると、前述の条件は

${\displaystyle \nabla _{x,y}f=\lambda \nabla _{x,y}g}$

と書ける。ここで

${\displaystyle \nabla _{x,y}f=\left({\frac {\partial f}{\partial x}},{\frac {\partial f}{\partial y}}\right),\qquad \nabla _{x,y}g=\left({\frac {\partial g}{\partial x}},{\frac {\partial g}{\partial y}}\right)}$

である。定数 λ は f の勾配ベクトルと g の勾配ベクトルが平行ではあるが長さが一般に異なるために必要である。λ = 0 の場合、f (x, y) の勾配がゼロとなる条件になる。これは g (x, y) = c の曲線上にちょうど f の最大値があるため、曲線上で f (x,y ) が最大を取る点と通常の f (x, y ) の最大値が一致する場合である。

前述の式を変形すると

${\displaystyle \nabla _{x,y}(f-\lambda g)=0}$

となることから、f − λ g の極値を求めればいいことになる。

次の類似した２つの問題を考える

問題Ａ
${\displaystyle x\in \mathbb {R} ^{n}}$が束縛条件${\displaystyle g(x)=0}$を満たす条件下で、${\displaystyle f(x)}$を極大にする点を求めよ。

問題Ｂ
${\displaystyle \lambda }$を定数とし、${\displaystyle x\in \mathbb {R} ^{n}}$が${\displaystyle h(x)=f(x)-\lambda g(x)}$を極大にする点を求めよ。

問題Ａは、束縛条件が存在するため「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使えないのに対し、問題Ｂには束縛条件がないので、「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使える。ラグランジュの未定乗数法は、問題Ａと問題Ｂが、実質的に同じであることを言うものである。

問題Ｂ→問題Ａ
${\displaystyle X\in \mathbb {R} ^{n}}$をある${\displaystyle \lambda }$についての問題Ｂの極大点とし、加えて${\displaystyle X}$が${\displaystyle g(X)=0}$を満たせば、${\displaystyle X}$は問題Ａの解である。
なぜなら、${\displaystyle X}$の近傍で${\displaystyle g(x)=0}$となる点${\displaystyle x}$を考えると、
${\displaystyle f(x)=f(x)-\lambda g(x)\leq f(X)-\lambda g(X)=f(X)}$ となるため、${\displaystyle X}$は問題Ａの極大点でもある。

問題Ａ→問題Ｂ
${\displaystyle X\in \mathbb {R} ^{n}}$を問題Ａの極大点とする。
${\displaystyle c(t)\in \mathbb {R} ^{n}}$、${\displaystyle t\in (-1,1)}$を、${\displaystyle g(c(t))=0}$を満たし${\displaystyle X}$を通る曲線とし、${\displaystyle c(0)=X}$とする。
${\displaystyle F(t)=f(c(t))}$を${\displaystyle t}$の関数と考える。
${\displaystyle {\frac {dF}{dt}}=\sum _{i=1}^{n}{\frac {\partial f}{\partial x_{i}}}{\frac {dc_{i}}{dt}}=\nabla f\cdot c'(t)}$
ただし、${\displaystyle \nabla f=(\partial f/\partial x_{1},\cdots ,\partial f/\partial x_{n})}$、${\displaystyle c'(t)=(dc_{1}/dt,\cdots ,dc_{n}/dt)}$、「${\displaystyle \cdot }$」はベクトルの内積である。
一方、${\displaystyle g(c(t))=0}$の両辺を${\displaystyle t}$で微分すれば、
${\displaystyle \nabla g\cdot c'(t)=0}$が言える。
${\displaystyle g(c(t))=0}$を満たし${\displaystyle X}$を通るどのような曲線でも、${\displaystyle t=0}$は、${\displaystyle c(0)=X}$のため${\displaystyle F(t)=f(c(t))}$の極大点であり、${\displaystyle dF/dt(0)=\nabla f(X)\cdot c'(0)=0}$
が言える。ただし${\displaystyle c'(0)}$は、曲線の${\displaystyle X}$での接線ベクトルである。

${\displaystyle X}$が問題Ａの極大点であれば、

${\displaystyle \nabla g(X)\cdot v=0}$を満たすどのような${\displaystyle v\in \mathbb {R} ^{n}}$についても、

${\displaystyle \nabla f(X)\cdot v=0}$である。

${\displaystyle \nabla g(X)\neq 0}$と仮定し、${\displaystyle \nabla f(X)}$を、${\displaystyle \nabla g(X)}$に平行な成分${\displaystyle a}$と、${\displaystyle \nabla g(X)}$に垂直な成分${\displaystyle b}$に分解する。（${\displaystyle \nabla g(X)}$方向の単位ベクトルを${\displaystyle e}$とすると、${\displaystyle a=(\nabla f(X)\cdot e)e}$、${\displaystyle b=\nabla f(X)-a}$である。）${\displaystyle \nabla f(X)=a+b}$
${\displaystyle \nabla g(X)\cdot b=0}$であるため${\displaystyle v=b}$として代入すると、 ${\displaystyle 0=\nabla f(X)\cdot b=a\cdot b+b\cdot b=b\cdot b}$、よって${\displaystyle b=0}$
このため、${\displaystyle \nabla f(X)}$と${\displaystyle \nabla g(X)}$は平行である。

${\displaystyle \nabla f(X)=\lambda \nabla g(X)}$、（ただし${\displaystyle \nabla g(X)\neq 0}$を仮定した。）

この${\displaystyle \lambda }$について問題Ｂを考えると、${\displaystyle \nabla f(X)-\lambda \nabla g(X)=0}$であるため、 ${\displaystyle {\frac {\partial h}{\partial x_{i}}}(X)={\frac {\partial f}{\partial x_{i}}}(X)-\lambda {\frac {\partial g}{\partial x_{i}}}(X)=0}$ となり、全ての偏微分係数がゼロとなるため、${\displaystyle X}$は問題Ｂの極大点でもある。

2次元問題で、束縛条件が1つの場合には、以下のように連立方程式を作ってもよい：

${\displaystyle {\frac {\partial f}{\partial x}}+\lambda '{\frac {\partial f}{\partial y}}=0}$

${\displaystyle {\frac {\partial g}{\partial x}}+\lambda '{\frac {\partial g}{\partial y}}=0}$

${\displaystyle g(x,y)=0}$

ただしこの場合の λ は、もとの定理の λ とは異なる。

この変則版は、極値となる点で全微分 df = 0 となる方向と、dg = 0 となる方向が平行であることから導かれる。

物理学の問題を解くとき、ラグランジュの未定乗数は単なる方便ではなく、ある物理量を表すことが多い。

流体力学において、非圧縮性流れのナビエ-ストークス方程式を解く場合、圧力は速度ベクトル場が連続の式という束縛条件を満たすための未定乗数として求められる^[3]。 連続の式を満たさない速度場 v^* が与えられたとき、ここから連続の式 ∇·v = 0 を満たす速度場 v を求めることは、未定乗数（最終的に圧力場となる）を p として

${\displaystyle R:={\frac {1}{2}}\int _{\Omega }({\boldsymbol {v}}-{\boldsymbol {v}}^{*})^{2}\mathrm {d} \Omega -\int _{\Omega }p\,\nabla \cdot {\boldsymbol {v}}\,\mathrm {d} \Omega }$

を最小化する問題に置き換えられる。ここで Ω は速度場が定義されている領域である。

R を最小化する速度場を v⁺ とし、任意の微小変化 v = v⁺ + δv を考えると、発散定理を使って

${\displaystyle \delta R=\int _{\Omega }\delta {\boldsymbol {v}}\cdot ({\boldsymbol {v}}^{+}-{\boldsymbol {v}}^{*}+\nabla p)\mathrm {d} \Omega +\oint _{\partial \Omega }p\delta {\boldsymbol {v}}\cdot \mathrm {d} {\boldsymbol {S}}.}$

δv の任意性より右辺第1項の括弧の中身が 0 であることと、∇·v⁺ = 0 から

${\displaystyle \nabla ^{2}p=\nabla \cdot {\boldsymbol {v}}^{*}}$

というポアソン方程式が導かれ、これを解いて得られる p を用いて

${\displaystyle {\boldsymbol {v}}^{+}={\boldsymbol {v}}^{*}-\nabla p}$

より速度場が求められる。

情報理論的エントロピーが最大となる離散的確率分布を見出すことを考えよう。このときエントロピーは確率を変数とする関数で、

${\displaystyle f(p_{1},p_{2},\dots ,p_{n})=-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}}$

となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は

${\displaystyle g(p_{1},p_{2},\dots ,p_{n})=\sum _{k=1}^{n}p_{k}-1}$

となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての i（1から n をとる）に対して次の条件が必要である：

${\displaystyle {\frac {\partial }{\partial p_{i}}}(f+\lambda g)=0.}$

従って

${\displaystyle {\frac {\partial }{\partial p_{i}}}\left(-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}+\lambda (\sum _{k=1}^{n}p_{k}-1)\right)=0.}$

これら n 個の方程式から次の式が得られる：

${\displaystyle -\left({\frac {1}{\ln 2}}+\log _{2}p_{i}\right)+\lambda =0.}$

これは、すべての p_i が等しいということを示している（変数は λ だけだから）。

束縛条件 ∑_k p_k = 1 を使って、

${\displaystyle p_{i}={\frac {1}{n}}}$

が分かる。すなわち、すべての事象が等確率の一様分布がエントロピー最大の分布である：つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の期待値が大きいということである。

制約条件を予算制約線、函数を効用関数、極値を最適消費点と置き換えることでミクロ経済学における最適消費点を求める事に利用される^[4]。この際、ラグランジュの未定乗数は、貨幣の限界効用として解釈することができる。

統計力学においては、統計集団があるエネルギー状態をとる確率を導出するために未定乗数法が用いられる。

この節の加筆が望まれています。 （2021年10月）

作用積分が S[q] で与えられる物理系に n 個の拘束条件 ϕ^a(q, t) = 0, (a = 1, ..., n) が課せられているとき、この系の運動方程式は λ_a を未定乗数とする条件付き変分

${\displaystyle {\frac {\delta S}{\delta q}}+\sum _{a=1}^{n}\lambda _{a}{\frac {\partial \phi ^{a}}{\partial q}}=0}$

により表される^[5]。ここで δS/δq は汎関数微分である。ラグランジュの運動方程式で表すなら、ラグランジアンを

${\displaystyle L(q,{\dot {q}},t)+\sum _{a=1}^{n}\lambda _{a}\phi ^{a}(q,t)}$

に置き換えることで拘束を考慮した運動方程式が得られる。

• カルーシュ・クーン・タッカー条件（KKT条件）- ラグランジュの未定乗数法の一般化
• 極値
• 最適化問題
• ジョゼフ＝ルイ・ラグランジュ
• 縁つきヘッセ行列 - 条件つき極値の十分条件を記述するのに用いられる

• 『ラグランジュの未定乗数法と例題』 - 高校数学の美しい物語
• ラグランジュの未定乗数法の解説と直感的な証明
• ラグランジュの未定乗数法とは？ - Qiita
• ラグランジェの未定乗数法 - 物理のかぎしっぽ
• ラグランジュの未定乗数法について (PDF) - 京都大学
• ラグランジュの未定乗数法 (PDF) - 名古屋大学
• Gluss, David; Weisstein, Eric W. "Lagrange Multiplier". mathworld.wolfram.com (英語).

表 話 編 歴 数理最適化 • 最適化問題 : メソッド • ヒューリスティック
非線形（無制約）	… 関数　 黄金分割探索 直線探索 ネルダー–ミード法 放物線補間 パウエル法 勾配法 収束性 信頼領域 ウルフ条件 準ニュートン法 BFGS法 ブロイデン法 L-BFGS法 DFP法 SR1法 BHHH法 その他の求解法 ガウス・ニュートン法 最急降下法（確率的） レーベンバーグ・マーカート法 共役勾配法（非線形共役勾配法） 打ち切りニュートン法 ドッグレッグ法 鏡像 座標 バルジライ・ボールウェイン法 … ヘッセ行列 最適化におけるニュートン法
非線形（制約付き）	一般 バリア関数 ペナルティ関数法 微分可能 ラグランジュの未定乗数法 拡張ラグランジュ関数法 逐次二次計画法 逐次線形計画法
凸最適化	凸最小化 切除平面法 簡約勾配法 劣勾配法 近接勾配法 線形 および 二次 内点法 アフィンスケーリング法 カーマーカーの射影変換法 メロートラの予測子修正子法 基底-交換 単体法 改訂単体法 十文字法 レムケの相補掃き出し法 その他 カチヤンの楕円体法 有効制約法 列生成法 ベンダーズ分解法
組合せ最適化	系列範例 (Paradigms) 近似アルゴリズム 動的計画法 貪欲法 整数計画問題（分枝限定法・分枝カット法・分枝価格法） グラフ理論 最小全域木 ブルーフカ法 クラスカル法 プリム法 最短経路問題 ベルマン–フォード法 ダイクストラ法 ワーシャル–フロイド法 ジョンソン法 ネットワークフロー (最大流問題) ディニッツ法 エドモンズ・カープ法 フォード・ファルカーソン法 プリフロープッシュ法
メタヒューリスティクス	進化的アルゴリズム（進化戦略・遺伝的アルゴリズム） 山登り法 局所探索法 焼きなまし法 タブーサーチ ベイスンホッピング法 量子焼きなまし法
カテゴリ（最適化 • アルゴリズム） • ソフトウェア