ASE2 - Convergence et estimation

Introduction

Le problème central de l’estimation en statistique est le suivant : disposant d’observations sur un échantillon de taille

$n$ on souhaite en déduire les propriétés de la population dont il est issu.

On cherchera à estimer, par exemple, la moyenne d’une population à partir de la moyenne d’un échantillon. Le mode de tirage le plus important est l’échantillonnage aléatoire simple correspondant à des tirages équiprobables et indépendants les uns des autres.

L’une des premières qualités d’un estimateur est d’être convergent en probabilité vers le paramètre à estimer. Un échantillon de

$X$ est une suite de variables aléatoires

$(X_1,X_2,...,X_n)$ indépendantes et de même loi que

$X$. Un estimateur d’un paramètre

$\theta$ inconnu est une fonction qui dépend de l’échantillon et donc doit converger en probabilité vers le paramètre

$\theta$. La précision d’un estimateur sera mesuré par sa variance.

Rappels de la loi Gamma et la loi Normale

On dit qu’une variable aléatoire positive

$X$ suit une loi gamma de paramètre

$r$, notée

${\gamma }_r$ si sa densité est donnée par :

$$f(x)=\frac{1}{\mathrm{\Gamma }(r)}{e}^{-x}{x}^{r-1}$$

Avec

$\mathrm{\Gamma }(x)={\int }_0^{+\mathrm{\infty }}{e}^{-t}{t}^{x-1}dt$ (fonction Gamma) definie pour

$x>0$

Propriétés de la fonction Gamma

1. $\mathrm{\Gamma }(x+1)=x\mathrm{\Gamma }(x)$ (intégration par partie)
2. $\mathrm{\Gamma }(1)=1$
3. $\mathrm{\Gamma }(n+1)=n!$
4. $\mathrm{\Gamma }(k+\frac{1}{2})=\frac{1.3.5.....(2k-1)}{2^k}\mathrm{\Gamma }(\frac{1}{2})$
5. $\mathrm{\Gamma }(\frac{1}{2})=\sqrt{\pi }$

Espérance de la loi

${\gamma }_r$ : Soit

$X$ une variable aléatoire suivant la loi gamma de paramètre

$r$.

$$E(X)=\frac{1}{\mathrm{\Gamma }(r)}{\int }_0^{+\mathrm{\infty }}t{e}^{-t}{t}^{r-1}dt=\frac{1}{\mathrm{\Gamma }(r)}{\int }_0^{+\mathrm{\infty }}{t}^r{e}^{-t}dt=\frac{\mathrm{\Gamma }(r+1)}{\mathrm{\Gamma }(r)}=r$$

Variance de la loi

${\gamma }_r$ :

$V(X)=E(X^2)-E^2(X)$

$$E(X^2)=\frac{1}{\mathrm{\Gamma }(r)}{\int }_0^{+\mathrm{\infty }}{t}^2{e}^{-t}{t}^{r-1}=\frac{1}{\mathrm{\Gamma }(r)}{\int }_0^{+\mathrm{\infty }}{t}^{r+1}{e}^{-t}dt=\frac{\mathrm{\Gamma }(r+2)}{\mathrm{\Gamma }(r)}=r(r+1)$$

Donc

$V(X)=r(r+1)-r^2=r$.

Loi Normale de paramètres

$(m,\sigma )$

On dit qu’une variable aléatoire

$X$ suit la loi normale notée

$\mathcal{N}(m,\sigma )$ si sa densité est

$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{1}{2}(\frac{x-m}{\sigma }{)}^2}$$

où:

• $m=E(X)$
• $\sigma =\sqrt{V(X)}$ (écart type)

Avec le changement de variable

$U=\frac{X-m}{\sigma }$ (variable normale centrée réduite), la densité de

$U$ est:

$$f(u)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}{u}^2}$$

Demonstration

Montrons que

$V(U)=1$.

On a:

$$V(U)=E(U^2)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}{u}^2{e}^{-\frac{1}{2}{u}^2}du=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}{u}^2{e}^{-\frac{1}{2}{u}^2}du$$

Posons

$t=\frac{u^2}{2}$,

$dt=udu$

$$V(U)=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}2t{e}^{-t}\frac{dt}{\sqrt{2t}}=\frac{2}{\sqrt{\pi }}\mathrm{\Gamma }(\frac{3}{2})=\frac{2}{\sqrt{\pi }}\frac{1}{2}\mathrm{\Gamma }(\frac{1}{2})$$
Donc

$V(U)=\frac{1}{\sqrt{\pi }}\sqrt{\pi }=1$

Moments de la loi normale centrée réduite

Soit

$U$ une variable normale centrée réduite, on appelle moment d’ordre

$k$ de

$U$ :

$u_k=E(U^k)$

• Si
  $k=2p+1$ alors
  $u_{2p+1}=0$ (car fonction impaire)
• Si
  $k=2p$ alors
  $u_{2p}=\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{u}^{2p}{e}^{-\frac{1}{2}{u}^2}du=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}{u}^{2p}{e}^{\frac{1}{2}{u}^2}du$

Posons

$t=\frac{u^2}{2}$,

$dt=udu$

$$\begin{gathered} u_{2p}=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}(2t{)}^p{e}^{-t}\frac{dt}{\sqrt{2t}}=\frac{2^p}{\sqrt{\pi }}{\int }_0^{+\mathrm{\infty }}{t}^{p-\frac{1}{2}}{e}^{-t}dt=\frac{2^p}{\sqrt{\pi }}\mathrm{\Gamma }(p+\frac{1}{2}) \\ \text{Or }\mathrm{\Gamma }(p+\frac{1}{2})=\frac{1.3.5...(2p-1)}{2^p}\mathrm{\Gamma }(\frac{1}{2})\text{ et }\mathrm{\Gamma }(\frac{1}{2})=\sqrt{\pi } \\ \text{Donc }{u}_{2p}=1.3.5....(2p-1)=\frac{(2p)!}{2^{p}p!} \end{gathered}$$

Fonctions caractéristiques

Definition: la fonction caractéristique d’une variable aléatoire réelle

$X$ est la transformée de Fourier de sa loi de probabilité. Elle est notée

${\varphi }_X(t)$ et on a:

$${\varphi }_X(t)=E(e^{itX})\text{ (}i\text{ complexe)}$$

Si

$X$ est une variable à densité (

$X$ est une v.a continue de densité

$f$) alors :

$${\varphi }_X(t)={\int }_{\mathbb{R}}{e}^{itx}f(x)dx$$

Si

$X$ est une variable discrète alors sa fonction caractéristique est :

$${\varphi }_X(t)=\sum _k{e}^{itk}P(X=k)$$

Propriétés

1. ${\varphi }_{\lambda x}={\varphi }_X(\lambda t)$,
   $\mathrm{\forall }\lambda$ un scalaire
2. ${\varphi }_{X+a}(t)=e^{ita}{\varphi }_X(t)$,
   $\mathrm{\forall }a$ un scalaire
3. Si
   $X$ est une variable aléatoire d’espérance
   $m$ et d’écart type
   $\sigma$ et
   $U=\frac{X-m}{\sigma }$

$${\varphi }_{\frac{X-m}{\sigma }}={\varphi }_U(t)=e^{-\frac{itm}{\sigma }}{\varphi }_X(\frac{t}{\sigma })$$

Remarque

La fonction caractéristique se prête bien aux additions de variables aléatoires indépendantes.

Si

$X$ et

$Y$ sont deux variables aléatoires indépendantes alors

$$\begin{gathered} {\varphi }_{X+Y}(t)={\varphi }_X(t){\varphi }_Y(t) \\ \text{En effet }{\varphi }_{X+Y}(t)=E(e^{it(X+Y)})=E(e^{itX}{e}^{itY}) \\ \text{Or }X\text{ et }Y\text{ sont indépendantes }E(e^{itX}{e}^{itY})=E(e^{itX})E(e^{itY}) \\ \text{Donc }{\varphi }_{X+Y}(t)={\varphi }_X(t)+{\varphi }_Y(t) \end{gathered}$$

Proposition

Soit

$X$ une variable aléatoire de fonction de répartition

${\varphi }_X(t)$.

On a

${\varphi }_x(0)=1$ et

$\frac{d^k{\varphi }_X}{d{t}^k}(0)={\varphi }_X^{(k)}(0)=t^{k}E(X^k)$

Démo

Supposons que

$X$ est une variable continue de densité

$f$

On a:

$$\begin{gathered} {\varphi }_X(t)={\int }_{\mathbb{R}}{e}^{itx}f(x)dx\Rightarrow {\varphi }_X(0)={\int }_{\mathbb{R}}f(x)dx=1\text{ (car f est une densité)} \\ \text{En dérivant }{\varphi }_X(t)\text{ par rapport à t: }{\varphi }_X^{\prime }(t)=i{\int }_{\mathbb{R}}x{e}^{itx}f(x)dx \\ \text{Si }t=0:{\varphi }_X^{\prime }(t)i{\int }_{\mathbb{R}}xf(x)dx=iE(x) \\ \text{Si on dérive 2 fois, }{\varphi }_X^{(2)}(t)={\int }_{\mathbb{R}}(itx{)}^2{e}^{itx}f(x)dx \\ \text{En dérivant k fois par rapport à t: }{\varphi }_X(t{)}^k(t)={\int }_{\mathbb{R}}(ix{)}^k{e}^{itx}f(x)dx \\ \text{Donc }{\varphi }_x^{(k)}(0)=(i^k){\int }_{\mathbb{R}}{x}^{k}f(x)dx=i^{k}E(X^k),\mathrm{\forall }k\in \mathbb{N} \end{gathered}$$

Formule de Mac-Laurin

Si

${\varphi }_X(t)$ est indéfiniment dérivable on a:

$${\varphi }_X(t)=\sum _{k=0}^{+\mathrm{\infty }}\frac{t^k}{k!}{\varphi }_X^{(k)}(0)=\sum _{k=0}^{+\mathrm{\infty }}\frac{t^k}{k!}{i}^{k}E(X^k)$$

Exemple 1

Soit X une variable aléatoire continue de densité:

$$f(x)=\{\begin{array}{ll}{e}^{-x}& \text{si }x>0\\ 0& \text{sinon}\end{array}$$

Déterminer la fonction caractéristique de

$X$

Solution

$$\begin{array}{rl}{\varphi }_X(t)& ={\int }_{\mathbb{R}}{e}^{itx}f(x)dx={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{e}^{itx}{e}^{-x}dx={\int }_0^{+\mathrm{\infty }}{e}^{-(1-it)x}dx\\ & ={\int }_0^{+\mathrm{\infty }}{e}^{-(1-it)x}dx=[\frac{-e^{-(1-it)x}}{1-it}{]}_0^{+\mathrm{\infty }}=\frac{1}{1-it}\end{array}$$

Car

$-e^{-(1-it)x}=e^{-x}{e}^{itx}\to 0$ lorsque

$x\to +\mathrm{\infty }$.

Puisque

$e^{itx}$ est bornée de module 1 et

$e^{-x}\to 0$ quand

$x\to +\mathrm{\infty }$

Exemple 2

Déterminer la fonction caractéristique de la loi de Bernoulli de paramètre

$p$

Solution

Soit

$X$ une variable de Bernoulli

$$\{\begin{array}{ll}X=1& \text{avec la probabilité }p\\ X=0& \text{avec la probabilité }1-p\end{array}$$

X étant discrète, donc sa fonction caractéristique est:

$$\begin{array}{rl}{\varphi }_X(t)& =\sum _k{e}^{itk}P(X=k)=\sum _{k=0}^1{e}^{itk}P(X=k)=P(X=0)+e^{it}P(X=1)\\ & =1-p+p{e}^{it}=q+p{e}^{it}\text{ avec }q=1-p\end{array}$$

Convergences des suites de variables aléatoires

Une suite

$(X_n)$ de variables aléatoires étant une suite de fonctions il existe diverses façons de définir la convergence de

$(X_n)$ dont certaines jouent un grand rôle en statistiques.

Convergence en probabilité

Definition
La suite

$(X_n)$ converge en probabilité vers une variable aléatoire

$X$ si

$\mathrm{\forall }\epsilon >0,\eta >0$ (arbitrairement petits) il existe un entier

$n_0$ tel que

$\mathrm{\forall }n>n_0\Rightarrow P(|X_n-X|>\epsilon ){\to }_{n\to +\mathrm{\infty }}0$, c’est-à-dire

$P(|X_n-X|>\epsilon ){\to }_{n\to +\mathrm{\infty }}0$.

On notera

$(X_n){\to }^{P}X$.

Inégalité de Bienaymé-Tchebychev

$$P(|X_n-E(X)|>\epsilon )<\frac{V(X)}{{\epsilon }^2},\mathrm{\forall }\epsilon >0$$

Remarque

Lorsque

$E(X_n){\to }_{n\to +\mathrm{\infty }}a$, il suffit de montrer que

$V(X_n){\to }_{n\to +\mathrm{\infty }}0$ pour établir la convergence en probabilité de la suite

$(X_n)$ vers

$a$.

En effet d’après Tchebychev:

$P(|X_n-E(X_n)|>\epsilon )<\frac{V(X)}{{\epsilon }^2}\to 0$\
Donc en passant à la limite

$\underset{n\to +\mathrm{\infty }}{lim}P(|X_n-a|>\epsilon )=0,\mathrm{\forall }\epsilon >0$

Convergence en moyenne quadratique

On suppose que

$E(|X_n-X{|}^2)$ existe

Definition
On dit qu’une suite de variables aléatoires

$(X_n)$ converge en moyenne quadratique vers une variable

$X$ si

$E(|X_n-X{|}^2){\to }_{n\to +\mathrm{\infty }}0$

On notera

$(X_n){\to }^{m.q}X$

Convergence en loi

Definition
La suite

$(X_n)$ converge en loi vers la variable

$X$ de fonction de répartition

$F$ si en tout point de continuité de

$F$ la suite

$(X_n)$ des fonctions de répartition des

$(X_n)$ converge vers

$F$.

C’est-à-dire

$\underset{n\to +\mathrm{\infty }}{lim}{F}_n(x)=F(x)$ pour tout

$x$ point de continuité de

$F$.

On notera

$(X_n){\to }^{L}X$

Remarque

Pour les variables discrètes, la convergence en loi est équivalente à

$$\underset{n\to +\mathrm{\infty }}{lim}P(X_n=k)=P(X=k)$$

Théorème

Si la suite des fonctions caractéristiques

${\varphi }_{X_n}(t)$ converge vers

${\varphi }_X(t)$ alors

$(X_n){\to }^{L}X$

Applications: Convergence en loi de la binomiale vers la loi Normale

Théorème (Moivre-laplace)

Soit

$(X_n)$ une suite de variables binomiales

$\mathcal{B}(n,p)$ alors

$$\frac{X_n-np}{\sqrt{npq}}{\to }^L\mathcal{N}(0,1)\text{ lorsque }n\to +\mathrm{\infty }$$

Démonstration

La fonction caractéristique de la loi

$\mathcal{B}(n,p)$ est:

$$\begin{gathered} {\varphi }_{X_n}(t)=(p{e}^{it}+1-p{)}^n\text{ donc celle de }{Y}_n=\frac{X_n-np}{\sqrt{npq}}\text{ est:} \\ {\varphi }_{Y_n}(t)=(p{e}^{\frac{it}{\sqrt{npq}}}+1-p{)}^n{e}^{\frac{-itnp}{\sqrt{npq}}} \\ \ln ({\varphi }_{Y_n}(t))=nLn(p(e^{\frac{it}{\sqrt{npq}}}-1)+1)-\frac{itnp}{\sqrt{npq}} \end{gathered}$$

On rappelle le développement limité de l’exponentielle à l’ordre 2

$$\begin{gathered} e^x\simeq 1+x+\frac{x^2}{2}\text{(au voisinage de 0)} \\ \ln ({\varphi }_{Y_n}(t))\simeq n\ln (p(\frac{it}{\sqrt{npq}}-\frac{t^2}{2npq})+1)-\frac{itnp}{\sqrt{npq}} \end{gathered}$$

On rappelle

$\ln (1+x)\simeq x-\frac{x^2}{2}$ (au voisinage de 0)

Donc:

$$\begin{array}{rl}\ln ({\varphi }_{Y_n}(t))& \simeq n[\frac{pit}{\sqrt{npq}}-\frac{p{t}^2}{2npq}+\frac{p^2{t}^2}{2npq}]-\frac{itnp}{\sqrt{npq}}\\ & \simeq -\frac{t^2}{2q}+\frac{p{t}^2}{2q}=\frac{t^2}{2q}(p-1)=-\frac{t^2}{2}\end{array}$$

En composant par l’exponentielle:

$${\varphi }_{Y_n}(t)\simeq e^{-\frac{t^2}{2}}$$

fonction caractéristique de la loi normale

$\mathcal{N}(0,1)$

Conclusion

$\frac{X_n-np}{\sqrt{npq}}{\to }^L\mathcal{N}(0,1)$

Remarque

lorsque n est assez grand on peut donc approximer la loi Binomiale par la loi normale. On donne généralement comme condition

$np$ et

$nq>5$.

Il convient cependant d’effectuer la correction de continuité : on obtient donc une valeur approchée de

$P(X=x)$ par la surface sous la courbe de densité de la loi normale

$\mathcal{N}(np,\sqrt{npq})$ comprise entre les droites d’abscisse

$x-\frac{1}{2}$ et

$x+\frac{1}{2}$

$$\begin{gathered} P(X=x)\simeq P(x-\frac{1}{2}<X<x+\frac{1}{2})=P(\frac{x-\frac{1}{2}-np}{\sqrt{npq}}<\frac{X-np}{\sqrt{npq}}<\frac{x+\frac{1}{2}-np}{\sqrt{npq}}) \\ \text{Et }P(X<x)\simeq P(\frac{X-np}{\sqrt{npq}}<\frac{x+\frac{1}{2}-np}{\sqrt{npq}}) \end{gathered}$$

Exemple

Soit X une variable binomiale

$\mathcal{B}(n=40;p=0,3)$.

La valeur exacte pour

$P(X=11)$ est

$0,1319$.
La formule d’approximation :

$$P(X=11)\simeq P(\frac{11-\frac{1}{2}-12}{\sqrt{8,4}}<\frac{X-12}{\sqrt{8,4}}<\frac{11+\frac{1}{2}-12}{\sqrt{8,4}})=P(-0,52<U\le -0,17)=0,131$$

Avec

$np=12$ et

$npq=8,4$

Donc l’erreur est de moins de

$1\mathrm{\%}$

Convergence en loi de la loi de Poisson vers la loi normale

Theoreme
Soit

$(X_{\lambda })$ une suite de variables de Poisson de paramètre

$\lambda$.

Si

$\lambda \to +\mathrm{\infty }$,

$\frac{X_{\lambda }-\lambda }{\sqrt{\lambda }}{\to }^L\mathcal{N}(0,1)$

Démonstration

on rappelle la fonction caractéristique de la loi de Poisson:

$${\varphi }_{X_i}(t)=e^{\lambda e^{it}-\lambda }$$

On rappelle aussi la formule

${\varphi }_{\frac{X-m}{\sigma }}=e^{-\frac{it\lambda }{\sqrt{\lambda }}+\lambda +\frac{\lambda it}{\sqrt{\lambda }}-\frac{t^2}{2}-\lambda }=e^{-\frac{t^2}{2}}$

On retrouve la fonction caractéristique de la loi normale centrée et réduite.

Conclusion

$\frac{X_{\lambda }-\lambda }{\sqrt{\lambda }}{\to }^L\mathcal{N}(0,1)$

Théorème (Central-limite)

Soit

$(X_n)$ une suite de variables aléatoires, indépendantes et de même loi d’espérance

$m$ et d’écart-type

$\sigma$ alors :

$$\frac{X_1+X_2+....+X_n-nm}{\sigma \sqrt{n}}\to \mathcal{N}(0,1)$$

Démonstration

$$\frac{X_1+X_2+....+X_n-nm}{\sigma \sqrt{n}}\to \mathcal{N}(0,1)=\sum _{i=1}^n\frac{X_i-m}{\sigma \sqrt{n}}$$

Posons

$Y_n=\sum _{i=1}^n\frac{X_i-m}{\sigma \sqrt{n}}$

$$\begin{gathered} E(\frac{X_i-m}{\sigma \sqrt{n}})=\frac{E(X_i)-m}{\sigma \sqrt{n}}=0 \\ \text{et} \\ V(\frac{X_i-m}{\sigma \sqrt{n}})=\frac{1}{{\sigma }^{2}n}V(X_i)=\frac{{\sigma }^2}{n{\sigma }^2}=\frac{1}{n} \end{gathered}$$

La fonction caractéristique de

$Y_n=\sum _{i=1}^n\frac{X_i-m}{\sigma \sqrt{n}}$ est:

$${\varphi }_{Y_n}(t)={\mathrm{\Pi }}_{i=1}^n{\varphi }_{\frac{X_i-m}{\sigma \sqrt{n}}}(t)={\varphi }_{\frac{X_i-m}{\sigma \sqrt{n}}}(t{)}^n=(1-\frac{t^2}{2n}+o(\frac{1}{n^2}){)}^n$$

On rappelle que

$(1+\frac{x}{n}{)}^n\to e^x$
Car

$(1+\frac{x}{n}{)}^n=e^{n\ln (1+\frac{x}{n})}\simeq e^{n\frac{x}{n}}=e^x$
Donc

${\varphi }_{Y_n}(t)=(1-\frac{t^2}{2n}+o(\frac{1}{n^2}){)}^n\to e^{-\frac{t^2}{2}}$ lorsque

$n\to +\mathrm{\infty }$

Estimateurs

Définition
Soit

$(X_1,X_2,...,X_n)$ un échantillon de

$X$, c’est-à-dire une suite de variables aléatoires indépendantes et de même loi que

$X$. La statistique

$\overline{X}$ ou moyenne empirique de l’échantillon est:

$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

$$\begin{gathered} E(\overline{X})=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\frac{nm}{n}=m\text{ où }m=E(X) \\ V(\overline{X})=\frac{1}{n^2}\sum _{i=1}^{n}V(X_i)=\frac{n{\sigma }^2}{n^2}=\frac{{\sigma }^2}{n}\to 0\text{ lorsque }n\to +\mathrm{\infty } \end{gathered}$$

Donc d’après Tchebychev

$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i{\to }^{P}m=E(X)$ quand

$n\to +\mathrm{\infty }$

C’est la loi des grands nombres.