PRST - Seance 3, Convergences

Modes de convergence

Convergence presque sure (p.s.)

1. $(X_i)$ suite de v.a definies sur le même espace
   $\mathrm{\Omega }$ et
   $X$ une variable aléatoire également définie
   $\mathrm{\Omega }$.
2. convergence ponctuelle
3. implique tous les autres.

Convergence en probabilite

1. Meme cadre que precedemment
2. $\mathrm{\forall }\epsilon >0,\underset{n\to +\mathrm{\infty }}{lim}P(|X_n-X|\ge \epsilon )=0$

Convergence

$L^2$

1. aussi appelee convergence en moyenne quadratique
2. $\underset{n\to +\mathrm{\infty }}{lim}E(|X_n-X|)=0$
3. n'a de sens que pour les variables aléatoires telles que
   $E(X^2)<+\mathrm{\infty }$
4. implique la convergence en probabilité,
5. n'a pas de lien avec la convergence presque sûre.

Théorème Central Limite

Théorème 4 (Loi forte des grands nombres)

Soit

$(Xi)$ une suite de variables aléatoires i.i.d. (indépendantes et identiquement distribuées) telle que

$E(|X_1|)<+\mathrm{\infty }$.
Notons

$m:=E(X_1)$.

$$\underset{n\to +\mathrm{\infty }}{lim}{\overline{X}}_n=m$$

au sens de la convergence p.s. où

${\overline{X}}_n:=\frac{X_1+...+X_n}{n}$

Théorème 5 (T.C.L. cas unidimensionnel)

1. Soit
   $(X_i)$ une suite v.a. i.i.d.
2. Notons
   $m:=E(X_i)$ et
   ${\sigma }^2=V(Xi)$
3. $\frac{\sqrt{n}({\overline{X}}_n-m)}{\sigma }$ converge en loi vers une loi normale centrée réduite.

Cas multidimentionnel

1. Soit
   $(X_i)$ une suite de vecteurs aleatoires de
   ${\mathbb{R}}^p$ i.i.d.
2. Notons
   $m:=E(X_i)\in {\mathbb{R}}^p$ et
   $\mathrm{\Sigma }$ la matrice de variances-covariances
3. $\sqrt{n}(\frac{1}{n}\sum _{i=1}^n{X}_i-m)$ converge en loi vers une loi normale multidimensionnelle
   $\mathcal{N}(0,\mathrm{\Sigma })$

Premieres notions de statistique

Echantillon de taille

$n$

• Point de depart: v.a.
  $X$ dont l'ensemble des valeurs est note
  $\mathcal{H}$
• Donnee
  $n$ variables aleatoires i.i.d.
• A parti de l'echantillon, nous voudrons inferer la valeur d'un parametre (fini-dimensionnel) en estimation parametrique ou prendre une decision en decision statistique

Modele statistique

• $\theta \in {\mathbb{R}}^d$
• $\mathrm{\Theta }\subset {\mathbb{R}}^d$ ensemble des parametres
• $\mathcal{P}:=\{{\mathbb{P}}_{\theta }|\theta \in \mathrm{\Theta }\}$ famille de lois indexees par
  $\mathrm{\Theta }$
• But: estimer la valeur
  ${\theta }_0$ ou de
  $g({\theta }_0)$

1. Estimateur: fonction (mesurable)
   $\hat{\theta }:{\mathcal{H}}^n\to {\mathbb{R}}^d$
2. Exemple pour le parametre
   $\lambda$ d'une loi
   $\mathcal{P}(\lambda )$
3. $\mathrm{\Theta }=]0;+\mathrm{\infty }[$
4. $\mathcal{H}=\mathbb{N}$

Rappel

Estimateur propose

1. $\hat{\lambda }:{\mathcal{H}}^n\to ]0;+\mathrm{\infty }[$
2. $\hat{\lambda }(x_1,...,x_i):=\frac{1}{n}\sum _{i=1}^n{x}_i$
3. $\hat{\lambda }$ moyenne empirique

Estimateur sans biais

1. $b({\hat{\theta }}_n):=E({\hat{\theta }}_n)-\theta$
2. dans l'exemple:
   ${\hat{\lambda }}_n$ est sans biais

Pourquoi l'estimateur est-il sans biais ?
Pour tout

$i\in \{1,...,n\}$,

$X_i\sim \mathcal{P}(\lambda )$.

$$\begin{array}{rl}E(X_i)& =\lambda \\ E(\hat{\lambda })& =E(\frac{1}{n}\sum _{i=1}^n{Y}_i)\\ & =\frac{1}{n}\sum _{i=1}^{n}E(X_i)\\ & =\frac{1}{n}\sum _{i=1}^n\lambda \\ & =\frac{1}{n}\times n\lambda =\lambda \end{array}$$

Estimateur convergent

1. ${\hat{\theta }}_n$ convergent si
   ${\hat{\theta }}_n$ converge en probabilité vers
   $\theta$
2. ${\hat{\theta }}_n$ fortement convergent si
   ${\hat{\theta }}_n$ converge presque sûrement vers
   $\theta$

Estimateurs de l'esperance et de la variance: cas general

• Pour l'esperance:
  ${\overline{X}}_n:=\frac{1}{n}\sum _{i=1}^n{x}_i$ a moyenne empirique
• Pour la variance:
  $S_n^{\prime 2}:=\frac{1}{n}\sum _{i=1}^n(x_i-{\overline{x}}_n{)}^2$ qui est aussi égale à
  $\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\overline{x}}_n^2$ la variance empirique
• ${\overline{X}}_n$ sans biais par contre
  $S_n^{\prime 2}$ biaisé
• $S_n^{\prime 2}$ parfois remplacé par
  $S_n^2=\frac{n}{n-1}{S}_n^{\prime 2}$ qui est sans biais
• tous trois fortement convergents d'après la loi forte des grands nombres.

Methode des moments

• Exploiter les moyennes et variances empiriques
• moyennes et variances sont remplaces par leurs contreparties empiriques
• fournit (en général) des estimateurs convergents du fait de la convergence des moyennes et variances empiriques
• Exemple de la loi exponentielle:
  $E(X)=\frac{1}{\lambda }$ donc
  $\lambda =\frac{1}{E(X)}$
• estimateur de
  $\lambda$ donné par la méthode des moments:
  $\hat{\lambda }=\frac{1}{{\overline{X}}_n}$
• $E(X^2)$ peut être remplacé par
  $\frac{1}{n}\sum _{i=1}^n{x}_i^2$ suivant le même principe
• les moments et moments centrés d'ordre supérieur peuvent être utilisés suivant le même principe
• Déterminer un autre estimateur donné par la méthode des moments pour la loi de Poisson.

Methode du maximum de vraisemblance

Principe

Rechercher la valeur de

$\theta$ en fonction des observations

$x_1,...,x_n$ assurant la plus grande probabilité d'obtenir ces observations.

Fonction de vraisemblance

1. $\mathcal{H}$ ensemble des valeurs que peut prendre la variable aléatoire
   $X$
2. pour la loi normale
   $\mathcal{H}=\mathbb{R}$
3. pour la loi normale
   $\mathcal{H}=\mathbb{N}$

1. loi depend de
   $\theta$ donc la densite associee aussi que nous noterons
   $f(x,\theta )$
2. Fonction de vraisembalnce

$$L(x_1,...x_n,\theta ):={\mathrm{\Pi }}_{i=1}^{n}f(x_i,\theta )$$

Maximum de vraisemblance

1. fonction
   $\hat{\theta }$ de
   $x_1,...,x_n$
2. Qui maximise
   $L$ i.e. telle que
3. $L(x,\hat{\theta })\ge L(x,\theta )$ pour tout
   $\theta \in \mathrm{\Theta }$
4. où
   $\mathrm{\Theta }$ est l'espace des paramètres

Cas unidimensionnel

Si

$L$ est de classe

${\mathcal{C}}^2$ (i.e. deux fois derivable par rapport

$\theta$ et de derivee seconde continue),

$\hat{\theta }$ est solution du systeme

$$\{\begin{array}{ll}\frac{\delta L}{\delta \theta }& =0\\ \frac{{\delta }^{2}L}{\delta {\theta }^2}& lt0\end{array}(1)$$

• La condition 1 est nécessaire et la condition 2 est sufisante.
• La condition 1 s'appelle l'équation de vraisemblance
• Pour simplifier les calculs, on peut remplacer la vraisemblance par la log-vraisemblance car la fonction logarithme est de classe
  ${\mathcal{C}}^2$ et strictement croissante sur
  $]0;+\mathrm{\infty }[$.

Ainsi

$\hat{\theta }$ est solution du systeme:

$$\{\begin{array}{ll}\frac{\delta \log L}{\delta \theta }& =0\\ \frac{{\delta }^2\log L}{\delta {\theta }^2}& lt0\end{array}(1)$$

• La condition 1 est nécessaire et la condition 2 est sufisante.

Logarithme

1. Particulierement utile car:
2. $\log (ab)=\log (a)+\log (b)$
3. $\log (\frac{a}{b})=\log (a)-\log (b)$
4. $\log (a^x)=x\log (a)$

Exemple de la loi exponentielle

1. $L(x,\lambda )={\mathrm{\Pi }}_{k=1}^n\lambda e^{-\lambda x_k}={\lambda }^n{e}^{-\lambda }\sum _{k=1}^n{x}_k$
2. $\log (L(x,\lambda ))=n\log (\lambda )-\lambda \sum _{k=1}^n{x}_k$
3. $\log (\frac{\theta L}{\theta \lambda }(x,\lambda ))=\frac{n}{\lambda }-\sum _{k=1}{x}_k$
4. Condition nécessaire :
   $\hat{\lambda }(x)$ solution de :

$$\begin{gathered} \frac{n}{\lambda }-\sum _{k=1}{x}_k=0 \\ \hat{\lambda }(x)=\frac{n}{\sum _{k=1}^n{x}_k} \end{gathered}$$

• Condition sufisante:
  $\frac{{\delta }^2\log L}{\delta {\lambda }^2}=-\frac{n}{{\lambda }^2}<0$
• La condition sufisante est satisfaite donc
  $\hat{\lambda }(x)$ est bien le maximum de vraisemblance.

Estimateur du maximum de vraisemblance

1. ${\hat{\lambda }}_n=\frac{n}{\sum _{k=1}^n}=\frac{1}{{\overline{X}}_n}$
2. Il est fortement convergent d'apres la loi fort des grands nombres