Normalité asymptotique locale

La normalité asymptotique locale, souvent abrégé en NAL ou LAN (de l'Anglais Local Asymptotic Normality) est une propriété de certains modèles statistiques. Informellement, un modèle statistique localement asymptotiquement normal a un rapport de vraisemblance dont la distribution peut être approximée par une loi normale sous certaines conditions, cette approximation découlant typiquement d'un développement limité d'ordre deux de la log-vraisemblance. Cette notion a été introduite par le mathématicien Lucien Le Cam, elle est exposée dans un article^[1] publié en 1960 coécrit avec Grace Lo Yang.

Définition informelle[modifier | modifier le code]

Considérons un modèle statistique générant ${\displaystyle n}$ données, dénotées par un vecteur ${\displaystyle X_{n}}$ de taille ${\displaystyle n}$, et dépendant d'un paramètre ${\displaystyle \theta }$. Notons ${\displaystyle \ell _{n}}$ la fonction de log-vraisemblance de ce modèle. Considérons deux valeurs du paramètre : ${\displaystyle \theta _{0}}$ et ${\displaystyle \theta '}$. Supposons que les données ${\displaystyle X_{n}}$ soient générées par ce modèle avec ${\displaystyle \theta _{0}}$ comme valeur de paramètre, et définissons la variables aléatoire ${\displaystyle \delta \ell _{\theta ',\,\theta _{0}}(X_{n})=\ell _{n}(X_{n},\theta ')-\ell _{n}(X_{n},\theta )}$, correspondant à la différence des log-vraisemblances évaluées en ${\displaystyle \theta '}$ et en ${\displaystyle \theta }$.

Si le modèle considéré est asymptotiquement localement normal en ${\displaystyle \theta _{0}}$, alors la loi de la variable aléatoire ${\displaystyle \delta \ell _{\theta ',\,\theta _{0}}(X_{n})}$ peut être approximée par une loi normale. Cette approximation est valable pour ${\displaystyle n}$ grand (d'où le asymptotiquement) et pour tout ${\displaystyle \theta '}$ proche de ${\displaystyle \theta _{0}}$ (d'où le localement).

La condition ${\displaystyle n}$ grand est rendue rigoureuse en utilisant la notion de convergence en loi. La condition et ${\displaystyle \theta '}$ proche de ${\displaystyle \theta _{0}}$ est quant à elle traduite par le fait que et ${\displaystyle \theta '}$ est de la forme ${\displaystyle \theta _{0}+r_{n}h}$ avec ${\displaystyle r_{n}}$une suite de constantes tendant vers 0 (par exemple ${\displaystyle r_{n}=1/{\sqrt {n}}}$ dans le cas de données indépendantes et identiquement distribuées), de sorte que plus ${\displaystyle n}$ est grand, plus ${\displaystyle \theta '}$ est proche de ${\displaystyle \theta _{0}}$.

La variable aléatoire ${\displaystyle \delta \ell _{\theta ',\,\theta _{0}}(X_{n})}$ est la statistique utilisée pour faire un test du rapport de vraisemblance. Elle souvent abusivement appelée rapport de vraisemblance même s'il s'agit en réalité du logarithme du rapport de vraisemblance.

Cas de données indépendantes et identiquement distribuées[modifier | modifier le code]

Définition de la normalité asymptotique locale[modifier | modifier le code]

Soit ${\displaystyle n}$ variables aléatoires ${\displaystyle X_{1},\cdots ,X_{n}}$indépendantes et identiquement distribuées (iid) selon une distribution ${\displaystyle P_{\theta }}$, dépendant d'un paramètre ${\displaystyle \theta \in \mathbb {R} ^{k}}$. Notons sa fonction de vraisemblance ${\displaystyle p_{\theta }(X)}$. La log-vraisemblance ${\displaystyle \ell (\theta ;X_{1},\cdots ,X_{n})}$ de l'échantillon aléatoire ${\displaystyle X_{1},\cdots ,X_{n}}$ s'écrit comme la somme des log-vraisemblances de chaque observation, ${\displaystyle \ell (\theta ;X_{1}\cdots ,X_{n})=\sum _{i=1}^{n}\log \left(p_{\theta }(X_{i})\right)}$, car les données sont iid.

Appelons ${\displaystyle P_{\theta }^{n}}$ le modèle statistique générant ces ${\displaystyle n}$ variables aléatoires. ${\displaystyle P_{\theta }^{n}}$ est localement asymptotiquement normal si lorsque ${\displaystyle X_{1},\cdots ,X_{n}}$ est distribué selon ${\displaystyle P_{\theta }^{n}}$,

${\displaystyle \forall h\in \mathbb {R} ^{k}}$ , ${\displaystyle \ell \left(\theta +h/{\sqrt {n}};X_{1},\cdots ,X_{n}\right)-\ell \left(\theta ;X_{1},\cdots ,X_{n}\right)\xrightarrow {\mathcal {L}} {\mathcal {N}}\left(-{\frac {1}{2}}h^{T}I_{\theta }h\,;h^{T}I_{\theta }h\right)}$,

où ${\displaystyle \xrightarrow {\mathcal {L}} }$ désigne la converge en loi et ${\displaystyle {\mathcal {N}}\left(-{\frac {1}{2}}h^{T}I_{\theta }h\,;h^{T}I_{\theta }h\right)}$ désigne une loi normale d'espérance ${\displaystyle h^{T}I_{\theta }}$ et de variance ${\displaystyle h^{T}I_{\theta }h}$. La matrice ${\displaystyle I_{\theta }}$ est l'information de Fisher du modèle, définie comme ${\displaystyle I_{\theta }=-\mathbb {E} _{\theta }\left[{\frac {\partial ^{2}\log(p_{\theta }(X))}{\partial \theta ^{2}}}\right]}$.

Établissement non rigoureux de la normalité asymptotique locale[modifier | modifier le code]

Donnons ici l'intuition, informelle, de la normalité asymptotique locale dans le cas de données iid. Plaçons nous dans le cas ${\displaystyle k=1}$ (c'est-à-dire ${\displaystyle \theta }$ univarié) et effectuons un développement de Taylor de la log-vraisemblance en ${\displaystyle \theta }$

${\displaystyle {\begin{array}{ccl}\ell (\theta +h/{\sqrt {n}};X_{1},\cdots ,X_{n})&=&\sum _{i=1}^{n}\log \left(p_{\theta +h{\sqrt {n}}}(X_{i})\right)\\&\approx &\sum _{i=1}^{n}\log \left(p_{\theta }(X_{i})\right)+{\frac {h}{\sqrt {n}}}{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{i})\right)+{\frac {h^{2}}{2n}}{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(p_{\theta }(X_{i})\right)\\&=&\ell (\theta ;X_{1},\cdots ,X_{n})+h{\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{i})\right)-{\frac {h^{2}}{2}}{\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(p_{\theta }(X_{i})\right)\,.\end{array}}}$

De sorte que

${\displaystyle l(\theta +h/{\sqrt {n}};X_{1},\ldots X_{n})-l(\theta ;X_{1},\ldots X_{n})\approx h{\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{i})\right)-{\frac {h^{2}}{2}}{\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(p_{\theta }(X_{i})\right)\,.}$

Comme ${\displaystyle X_{1},\ldots ,X_{n}}$ sont iid, le premier terme de cette différence , ${\displaystyle {\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{i})\right)}$ est une somme de variables aléatoires iid, ${\displaystyle {\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{1})\right),\ldots ,{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{n})\right)}$, divisée par ${\displaystyle {\sqrt {n}}}$. Ces variables ont pour espérance ${\displaystyle \mathbb {E} \left[{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{i})\right)\right]=0}$ (d'après la première identité de Bartlett) et pour variance ${\displaystyle \mathrm {var} \left({\frac {\partial }{\partial \theta }}\log(p_{\theta }(X))\right)=I_{\theta }}$ (d'après la seconde identité de Bartlett), où comme précédemment, ${\displaystyle I_{\theta }}$ désigne l'information de Fisher. Le théorème central limite implique alors que ${\displaystyle {\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{i})\right)}$ converge en distribution vers une loi normale d'espérance nulle et de variance ${\displaystyle I_{\theta }}$:

${\displaystyle {\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial }{\partial \theta }}\log \left(p_{\theta }(X_{i})\right)\xrightarrow {\mathcal {L}} {\mathcal {N}}(0,I_{\theta })}$ .

Comme ${\displaystyle X_{1},\ldots ,X_{n}}$ sont iid, second terme du développement de Taylor, ${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(p_{\theta }(X_{i})\right)}$, est aussi une somme de variables aléatoires iid, divisée par ${\displaystyle n}$. Ces variables aléatoires ont pour espérance ${\displaystyle \mathbb {E} _{\theta }\left[-{\frac {\partial ^{2}\log(p_{\theta }(X))}{\partial \theta ^{2}}}\right]=I_{\theta }}$. La loi des grands nombres implique donc que ce terme converge en probabilité vers ${\displaystyle I_{\theta }}$:

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(p_{\theta }(X_{i})\right)\xrightarrow {\mathbb {P} } I_{\theta }}$

On a donc asymptotiquement ${\displaystyle \ell (\theta +h/{\sqrt {n}};X_{1},\cdots ,X_{n})-\ell (\theta ;X_{1},\cdots ,X_{n})\approx hZ-{\frac {h^{2}}{2}}I_{\theta }}$ où ${\displaystyle Z}$ est une variable aléatoire normale d'espérance nulle et de variance ${\displaystyle I_{\theta }}$, ce qui implique que, asymptotiquement, ${\displaystyle \ell (\theta +h/{\sqrt {n}};X_{1},\cdots ,X_{n})-\ell (\theta ;X_{1},\cdots ,X_{n})}$ suit approximativement une loi normale d'espérance ${\displaystyle {\frac {h^{2}}{2}}I_{\theta }}$ et de variance ${\displaystyle h^{2}I_{\theta }}$.

Si le développement précédent avait été fait plus rigoureusement et qu'une convergence en loi avait été établie au lieu du "suit approximativement" de la phrase précédente, cela correspondrait à la définition de la normalité asymptotique locale.

Ce développement, fait sans rigueur dans le but de donner une intuition de la normalité asymptotique locale, peut être rendu rigoureux si le modèle ${\displaystyle P_{\theta }}$ satisfait certaines conditions. Il faut en particulier, pour que les formules écrites ci-dessus aient du sens, que sa log-vraisemblance soit deux fois dérivable, et que ces dérivées aient des moments finis, mais ces conditions seules ne sont pas suffisantes. Une condition suffisante (mais pas nécessaire) est la différentiabilité en moyenne quadratique.

Différentiabilité en moyenne quadratique[modifier | modifier le code]

Si le modèle statistique ${\displaystyle P_{\theta }}$ est différentiable en moyenne quadratique, alors, le modèle ${\displaystyle P_{\theta }^{n}}$, générant ${\displaystyle n}$ variables aléatoires iid selon ${\displaystyle P_{\theta }}$ est localement asymptotiquement normal.

Un modèle est différentiable en moyenne quadratique en ${\displaystyle \theta }$ s'il existe ${\displaystyle {\dot {\ell }}(\theta )\in \mathbb {R} ^{k}}$ tel que pour tout ${\displaystyle h}$, ${\displaystyle \int \left({\sqrt {p_{\theta }+h}}-{\sqrt {p_{\theta }}}-{\frac {1}{2}}h^{T}{\dot {\ell }}(\theta ){\sqrt {p_{\theta }}}\right)^{2}=o(\lVert h\rVert ^{2})}$ où ${\displaystyle p_{\theta }}$ est la vraisemblance du modèle ${\displaystyle P_{\theta }}$ et l'intégrale est prise sur le support de ${\displaystyle p_{\theta }}$et le ${\displaystyle o}$ désigne la notation de Landau au voisinage de 0^[2].

Beaucoup de modèles classiques (par exemple le modèle normal, exponentiel, Poisson) sont différentiables en moyenne quadratique, et le vecteur ${\displaystyle {\dot {\ell }}(\theta )}$ correspond à la dérivée de la log-vraisemblance. Une exception notable est la loi uniforme sur un intervalle ${\displaystyle [0,\theta ]}$ qui n'est pas différentiable en moyenne quadratique, et n'est d'ailleurs pas non plus localement asymptotiquement normal.

Définition générale[modifier | modifier le code]

La définition ci-dessous donne une notion de la normalité asymptotique locale plus générale, qui ne s'applique pas qu'à des variables aléatoires iid.

Une suite ${\displaystyle P_{\theta }^{n}}$ de modèles statistiques de paramètre ${\displaystyle \theta \in \mathbb {R} ^{k}}$ est localement asymptotiquement normale si il existe :

• une suite de matrices carrées inversibles ${\displaystyle r_{n}\in {\mathcal {M}}_{k}(\mathbb {R} )}$,
• une matrice carrée ${\displaystyle I_{\theta }\in {\mathcal {M}}_{k}(\mathbb {R} )}$,
• une suite vecteurs aléatoires ${\displaystyle \Delta _{n,\theta }}$ telle que ${\displaystyle \Delta _{n,\theta }\xrightarrow {\mathcal {L}} {\mathcal {N}}(0,I_{\theta })}$,

tels que pour toute suite ${\displaystyle h_{n}}$ de ${\displaystyle \mathbb {R} ^{k}}$ convergeant vers ${\displaystyle h\in \mathbb {R} ^{k}}$, on ait

${\displaystyle \log \left[{\frac {\mathrm {d} P_{\theta +r_{n}^{-1}h_{n}}^{n}}{\mathrm {d} P_{\theta }^{n}}}(X_{1},\ldots ,X_{n})\right]=h^{T}\Delta _{n,\theta }-{\frac {1}{2}}h^{T}I_{\theta }h+o_{P}(1)}$

lorsque ${\displaystyle X_{1},\ldots ,X_{n}}$ sont générés par ${\displaystyle P_{\theta }^{n}}$^[3].

Ici, la notation ${\displaystyle {\frac {\mathrm {d} P_{\theta +r_{n}^{-1}h_{n}}^{n}}{\mathrm {d} P_{\theta }^{n}}}}$ désigne la dérivée de Radon-Nykodym de la mesure de probabilité du modèle ${\displaystyle P_{\theta +r_{n}^{-1}h_{n}}^{n}}$par rapport à la mesure du modèle ${\displaystyle P_{\theta }^{n}}$. Le modèle ${\displaystyle P_{\theta +r_{n}^{-1}h_{n}}^{n}}$ correspond au modèle ${\displaystyle P_{\theta }^{n}}$ à la différence que le paramètre ${\displaystyle \theta }$ est changé en ${\displaystyle \theta +r_{n}^{-1}\,h_{n}}$, la suite ${\displaystyle r_{n}}$ étant typiquement de norme tendant vers l'infini. En pratique, ${\displaystyle {\frac {\mathrm {d} P_{\theta +r_{n}^{-1}h_{n}}^{n}}{\mathrm {d} P_{\theta }^{n}}}}$ correspond au rapport de la vraisemblance du modèle évaluée en ${\displaystyle \theta +r_{n}^{-1}\,h_{n}}$ sur la vraisemblance du modèle évaluée en ${\displaystyle \theta }$.

La notation ${\displaystyle o_{P}(1)}$ désigne ici une variable aléatoire tendant vers 0 en probabilités. Même si cela n'est pas rendu explicite, il faut noter que ce terme ${\displaystyle o_{P}(1)}$ peut dépendre de ${\displaystyle \theta }$, de sorte que la convergence n'es pas uniforme par rapport à ${\displaystyle \theta }$.

Comme le vecteur ${\displaystyle h^{T}\Delta _{n,\theta }-{\frac {1}{2}}h^{T}I_{\theta }h}$ suit une loi normale d'espérance ${\displaystyle -{\frac {1}{2}}h^{T}I_{\theta }h}$ et de variance ${\displaystyle h^{T}I_{\theta }h}$, cette définition s'interprète souvent comme imposant que le log du rapport de vraisemblance suive asymptotiquement une loi normale ${\displaystyle {\mathcal {N}}(-{\frac {1}{2}}h^{T}I_{\theta }h\,,\,h^{T}I_{\theta }h)}$ d'espérance ${\displaystyle -{\frac {1}{2}}h^{T}I_{\theta }h}$ et de variance ${\displaystyle h^{T}I_{\theta }h}$.

Dans le cas de données iid, ${\displaystyle I_{\theta }}$ correspond à l'information de Fisher et la suite de matrice ${\displaystyle r_{n}}$ est simplement ${\displaystyle r_{n}={\sqrt {n}}\,I_{k}}$ où ${\displaystyle I_{k}}$est la matrice identité de ${\displaystyle \mathbb {R} ^{k}}$.

Lien avec la contiguïté[modifier | modifier le code]

En reprenant les notations précédentes, la normalité asymptotique locale d'un modèle statistique ${\displaystyle P_{\theta }}$ implique la contiguïté mutuelle des mesures ${\displaystyle P_{\theta }}$ et ${\displaystyle P_{\theta +r_{n}^{-1}h_{n}}}$ (ou ${\displaystyle P_{\theta +h/{\sqrt {n}}}}$ dans le cas d'un modèle iid).

La preuve de ce résultat découle du premier lemme de Le Cam.

Application[modifier | modifier le code]

Une application de la normalité asymptotique locale découle d'un corollaire du 3ème lemme de Le Cam. Ce corollaire permet de connaître la distribution asymptotique d'une statistique ${\displaystyle T(X^{n})}$ si les variables aléatoires ${\displaystyle X^{n}}$ sont générées par un modèle statistique dont le paramètre n'est pas fixe, mais converge vers une valeur fixe ${\displaystyle \theta }$. On parle de connaître la distribution asymptotique de ${\displaystyle T(X^{n})}$ sous une suite d'alternatives, ou encore de changement de mesure.

Ce corollaire stipule que si

• ${\displaystyle T(X^{n})}$ est une statistique à valeurs dans ${\displaystyle \mathbb {R} ^{p}}$,
• ${\displaystyle P_{n}}$ et ${\displaystyle Q_{n}}$ sont deux suites de mesures (ou modèles statistiques), telles que le vecteur ${\displaystyle \left(T(X^{n})\,,\,\log {\frac {\mathrm {d} Q_{n}}{\mathrm {d} P_{n}}}\right)\,\xrightarrow {\mathcal {L}} \,{\mathcal {N}}\left(\left({\begin{array}{c}\mu \\-\sigma ^{2}/2\end{array}}\right)\,,\,\left({\begin{array}{cc}\Sigma &\tau \\\tau ^{T}&\sigma ^{2}\end{array}}\right)\right)}$ pour ${\displaystyle \mu ,\tau ,\sigma \in \mathbb {R} \times \mathbb {R} \times \mathbb {R} _{+}}$, lorsque les ${\displaystyle X^{n}}$ sont générés par ${\displaystyle P_{n}}$,

alors, la statistique ${\displaystyle T(X^{n})\xrightarrow {\mathcal {L}} \,{\mathcal {N}}(\mu +\tau \,,\,\Sigma )}$ lorsque les ${\displaystyle X^{n}}$ sont générés par ${\displaystyle Q_{n}}$.

Choisir ${\displaystyle P_{n}=P_{\theta }^{n}}$ et ${\displaystyle Q_{n}=P_{\theta +h/{\sqrt {n}}}^{n}}$ avec un modèle ${\displaystyle P_{\theta }^{n}}$ localement asymptotiquement permet généralement de satisfaire les hypothèses du corollaire. Cela permet alors de connaitre la distribution de ${\displaystyle T(X^{n})}$ lorsque le paramètre qui génère les données ${\displaystyle X^{n}}$ n'est pas ${\displaystyle \theta }$ mais ${\displaystyle \theta +h/{\sqrt {n}}}$.

La normalité asymptotique de ${\displaystyle P_{\theta }^{n}}$ n'implique pas directement que les hypothèses du 3ème lemme de Le Cam soient satisfaites, mais elle y aide. En effet, la normalité asymptotique locale implique que ${\displaystyle \log {\frac {\mathrm {d} P_{\theta +h/{\sqrt {n}}}^{n}}{\mathrm {d} P_{\theta }^{n}}}}$ converge en loi vers une distribution normale ${\displaystyle {\mathcal {N}}(-\sigma ^{2}/2\,,\,\sigma ^{2})}$, avec ${\displaystyle \sigma ^{2}=h^{T}I_{\theta }h}$.

Il est par ailleurs assez classique pour une statistique ${\displaystyle T(X^{n})}$ d'avoir une distribution asymptotique de la forme ${\displaystyle {\mathcal {N}}(\mu ,\Sigma )}$. Il ne reste alors généralement qu'à montrer que le vecteur ${\displaystyle \left(T(X^{n})\,,\,\log {\frac {\mathrm {d} P_{\theta +h/{\sqrt {n}}}^{n}}{\mathrm {d} P_{\theta }^{n}}}\right)}$ est un vecteur gaussien (car deux vecteurs gaussiens ne forment pas nécessairement un vecteur gaussien lorsqu'ils sont concaténés), ce qui est généralement faisable.

Voir aussi[modifier | modifier le code]

• Contiguïté
• Différentiabilité en moyenne quadratique
• Rapport de vraisemblance
• Lucien Le Cam

Références[modifier | modifier le code]

• Portail des probabilités et de la statistique
• Portail de l'analyse