# ASE2 - Estimation 3

$\bar X$ est un exemple d’estimateur de la moyenne $m=E(X)$ (sert a approximer la moyenne de la population globale)

:::danger
Utile quand on a un parametre inconnu.
:::

:::info
**Definition**:
On appelle variance empirique, la statistique :

$$
S^2=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2
$$

:::

### Proposition
$$
S^2 = \frac{1}{n}\sum_{i=1}^nX_i^2-(\bar X)^2
$$

### Demo
$$
\begin{aligned}
S^2&=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X) = \frac{1}{n}\sum_{i=1}^n(X_i^2 - X_i\bar X+\bar X^2)\\
&= \frac{1}{n}\sum_{i=1}^nX_i^2-2\bar X\sum_{i=1}^nX_i+\frac{n}{n}\bar X^2\\
&= \frac{1}{n}\sum_{i=1}^nX_i^2-2\bar X^2+\bar X=\frac{1}{n}\sum_{i=1}^nX_i^-(\bar X)
\end{aligned}
$$

Montrons que $S^2\to^P\sigma^2$ lorsque $n\to+\infty$

D’après la loi des grands nombres, on a:
$\bar X\frac{1}{n}\sum_{i=1}^nX_i\to^Pm=E(X)$ quand $n\to+\infty$
et $\frac{1}{n}\sum_{i=1}^n\to^PE(X^2)$ quand $n\to+\infty$
Donc $S^2=\frac{1}{n}\sum_{i=1}^nX_i^2-(\bar X)^2\to^PE(X^2)-E^2(X)=\sigma^2=V(X)$

:::warning
$S^2$ est un estimateur de la variance.
:::

:::info
**Definition**
On considère une population $X$, distribuée suivant une loi de probabilité qui dépend d’un paramètre $\theta$ inconnu. On prélève un échantillon $(X_1,X_2,...,X_n)$ de $X$, on appelle estimateur de $\theta$, toute variable aléatoire $T_n$ fonction de l’échantillon:

$$
T_n=f(X_1,X_2,...X_n)
$$

:::

On appelle biais de l’estimateur la quantité $b(T_n)=E(T_n)-\theta$

:::danger
On dit que l’estimateur est sans biais si $b(T_n)=0\Leftrightarrow E(T_n)=\theta$.
:::
Comme exemple $\bar X$ est un estimateur sans biais de $m=E(X)$ puisque $E(\bar X) = m$

:::info
**Definition**
On dit qu’une suite $(T_n)$ d’estimateurs de $\theta$ est asymptotiquement (cad au voisinage de $+\infty$) sans biais et si

$$
lim_{n\to+\infty}(E(T_n))=\theta
$$

:::

On appelle risque quadratique de $T_n$ ou erreur quadratique:
$$
R(T_n)=E((T_n-\theta)^2)
$$

### Propositiom
Le risque quadratique est :

$$
R(T_n) = V(T_n)+(E(T_n)-\theta)^2
$$

### Démonstration

$$
(T_n-\theta)^2=(T_n-E(T_n)+E(T_n)-\theta)^2\\
\begin{aligned}
E((T_n-\theta)^2)&=E((T_n-E(T_n))^2)+2E((T_n-E(T_n))(E(T_n)-\theta))+E((E(T_n)-\theta)^2)\\
&= V(T_n)+2(E(T_n)-\theta)(E(T_n)-E(T_n))+(E(T_n)-\theta)^2\\
\end{aligned}\\
\text{Donc } R(T_n) = V(T_n)+(E(T_n)=\theta)^2
$$

### Remarque
Si l’estimateur est sans biais $b(T_n)=E(T_n)-\theta=0$
Alors $R(T_n)=V(T_n)$
Donc si on a deux estimateurs sans biais du paramètre $\theta$, le plus précis est celui de variance minimale.

:::info
**Definition**
On dit que l’estimateur $T_n$ est convergent si cet estimateur converge en probabilité vers le paramètre $\theta$.
On ecrira $T_n\to^P\theta$ lorsque $n\to+\infty$
:::

:::info
**Definition**
On appelle vraisemblance de $\theta$, la densité de l’échantillon $(X_1,X_2,...,X_n)$:

$$
\begin{cases}
L(x_1,x_2,...,x_n,\theta)=\Pi_{i=1}^nP(X_i=x_i) &\text{(dans le cas discret)}\\
L(x_1,x_2,...,x_n,\theta)=\Pi_{i=1}^nf(x_i) &\text{(dans le cas continu)}
\end{cases}
$$

:::