ASE2 - Estimation 3

$\overline{X}$ est un exemple d’estimateur de la moyenne

$m=E(X)$ (sert a approximer la moyenne de la population globale)

Utile quand on a un parametre inconnu.

Definition:
On appelle variance empirique, la statistique :

$$S^2=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2$$

Proposition

$$S^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-(\overline{X}{)}^2$$

Demo

$$\begin{array}{rl}{S}^2& =\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X})=\frac{1}{n}\sum _{i=1}^n(X_i^2-X_i\overline{X}+{\overline{X}}^2)\\ & =\frac{1}{n}\sum _{i=1}^n{X}_i^2-2\overline{X}\sum _{i=1}^n{X}_i+\frac{n}{n}{\overline{X}}^2\\ & =\frac{1}{n}\sum _{i=1}^n{X}_i^2-2{\overline{X}}^2+\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i^{-}(\overline{X})\end{array}$$

Montrons que

$S^2{\to }^P{\sigma }^2$ lorsque

$n\to +\mathrm{\infty }$

D’après la loi des grands nombres, on a:

$\overline{X}\frac{1}{n}\sum _{i=1}^n{X}_i{\to }^{P}m=E(X)$ quand

$n\to +\mathrm{\infty }$
et

$\frac{1}{n}\sum _{i=1}^n{\to }^{P}E(X^2)$ quand

$n\to +\mathrm{\infty }$
Donc

$S^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-(\overline{X}{)}^2{\to }^{P}E(X^2)-E^2(X)={\sigma }^2=V(X)$

$S^2$ est un estimateur de la variance.

Definition
On considère une population

$X$, distribuée suivant une loi de probabilité qui dépend d’un paramètre

$\theta$ inconnu. On prélève un échantillon

$(X_1,X_2,...,X_n)$ de

$X$, on appelle estimateur de

$\theta$, toute variable aléatoire

$T_n$ fonction de l’échantillon:

$$T_n=f(X_1,X_2,...X_n)$$

On appelle biais de l’estimateur la quantité

$b(T_n)=E(T_n)-\theta$

On dit que l’estimateur est sans biais si

$b(T_n)=0\iff E(T_n)=\theta$.

Comme exemple

$\overline{X}$ est un estimateur sans biais de

$m=E(X)$ puisque

$E(\overline{X})=m$

Definition
On dit qu’une suite

$(T_n)$ d’estimateurs de

$\theta$ est asymptotiquement (cad au voisinage de

$+\mathrm{\infty }$) sans biais et si

$$li{m}_{n\to +\mathrm{\infty }}(E(T_n))=\theta$$

On appelle risque quadratique de

$T_n$ ou erreur quadratique:

$$R(T_n)=E((T_n-\theta {)}^2)$$

Propositiom

Le risque quadratique est :

$$R(T_n)=V(T_n)+(E(T_n)-\theta {)}^2$$

Démonstration

$$\begin{gathered} (T_n-\theta {)}^2=(T_n-E(T_n)+E(T_n)-\theta {)}^2 \\ \begin{array}{rl}E((T_n-\theta {)}^2)& =E((T_n-E(T_n){)}^2)+2E((T_n-E(T_n))(E(T_n)-\theta ))+E((E(T_n)-\theta {)}^2)\\ & =V(T_n)+2(E(T_n)-\theta )(E(T_n)-E(T_n))+(E(T_n)-\theta {)}^2\end{array} \\ \text{Donc }R(T_n)=V(T_n)+(E(T_n)=\theta {)}^2 \end{gathered}$$

Remarque

Si l’estimateur est sans biais

$b(T_n)=E(T_n)-\theta =0$
Alors

$R(T_n)=V(T_n)$
Donc si on a deux estimateurs sans biais du paramètre

$\theta$, le plus précis est celui de variance minimale.

Definition
On dit que l’estimateur

$T_n$ est convergent si cet estimateur converge en probabilité vers le paramètre

$\theta$.
On ecrira

$T_n{\to }^P\theta$ lorsque

$n\to +\mathrm{\infty }$

Definition
On appelle vraisemblance de

$\theta$, la densité de l’échantillon

$(X_1,X_2,...,X_n)$:

$$\{\begin{array}{ll}L(x_1,x_2,...,x_n,\theta )={\mathrm{\Pi }}_{i=1}^{n}P(X_i=x_i)& \text{(dans le cas discret)}\\ L(x_1,x_2,...,x_n,\theta )={\mathrm{\Pi }}_{i=1}^{n}f(x_i)& \text{(dans le cas continu)}\end{array}$$