ASE2: Convergence et estimation - 4

Estimateur

Exemple

On considère un échantillon

$(X_1,X_2,...,X_n)$ d'une variable de Poisson de parametre

$\theta$ (inconnu)

La vraisemblance de cet echantillon est:

$$\begin{gathered} L(x-1,x_2,...,x_n,\theta )={\mathrm{\Pi }}_{i=1}^{n}P(X_i=x_i) \\ L(x-1,x_2,...,x_n,\theta )={\mathrm{\Pi }}_{i=1}^n{e}^{-\theta }\frac{{\theta }^{x_i}}{x_i!}=\frac{e^{-n\theta }{\theta }^{\sum _{i=1}^n{x}_i}}{{\mathrm{\Pi }}_{i=1}^n{x}_i!} \end{gathered}$$

Definition: On appelle quantité d’information de Fisher

$I_n(\theta )$ apportée par un échantillon sur le paramètre

$\theta$ la quantité positive:

$$I_n(\theta )=E((\frac{\delta \ln L}{\delta \theta }{)}^2)$$

Proposition

$$I_n(\theta )=-E(\frac{{\delta }^2\ln L(x,\theta )}{\delta {\theta }^2})$$

Demonstration

1. $L$ etant une densite:
   ${\int }_{{\mathbb{R}}^n}L(x,\theta )dx=1$
2. En dérivant par rapport à
   $\theta$:
   ${\int }_{{\mathbb{R}}^n}\frac{\delta L(x,\theta )}{\delta \theta }dx=0(1)$
3. En remarquant que
   $\frac{\delta \ln L(x,\theta )}{\delta \theta }=\frac{\frac{\delta L}{\delta \theta }(x,\theta )}{L(x,\theta )}$
4. $(1)$ donne
   ${\int }_{{\mathbb{R}}^n}\frac{\delta \ln L(x,\theta )}{\delta \theta }L(x,\theta )dx=0$

Ce qui prouve que la variable aléatoire

$\frac{\delta \ln L(x,\theta )}{\delta \theta }$ est centrée et que

$I_n(\theta )=V(\frac{\delta \ln L}{\delta \theta })$

Dérivons une deuxième fois par rapport à

$\theta$:

$$\begin{gathered} {\int }_{{\mathbb{R}}^n}\frac{{\delta }^2\ln L(x,\theta )}{\delta {\theta }^2}L(x,\theta )dx+{\int }_{{\mathbb{R}}^n}\frac{\delta \ln L(x,\theta )}{\delta \theta }\frac{L(x,\theta )}{\delta \theta }dx=0 \\ {\int }_{{\mathbb{R}}^n}\frac{{\delta }^2\ln L(x,\theta )}{\delta {\theta }^2}L(x,\theta )dx+{\int }_{{\mathbb{R}}^n}(\frac{\delta \ln L(x,\theta )}{\delta \theta }{)}^{2}L(x,\theta )dx=0 \end{gathered}$$

Donc:

$$\begin{array}{rl}{I}_n(\theta )& =E((\frac{\delta \ln L}{\delta \theta }{)}^2)\\ & ={\int }_{{\mathbb{R}}^n}(\frac{\delta \ln L(x,\theta )}{\delta \theta }{)}^{2}L(x,\theta )dx\\ & =-{\int }_{{\mathbb{R}}^n}\frac{{\delta }^2\ln L(x,\theta )}{\delta {\theta }^2}L(x,\theta )dx\\ & =-E(\frac{{\delta }^2\ln L(x,\theta )}{\delta {\theta }^2})\end{array}$$

Inégalité de FRECHET-DARMOIS-CRAMER-RAO(FDCR)

On a pour tout estimateur T sans biais de

$\theta$:

$$V(T)\ge \frac{1}{I_n(\theta )}$$

L’estimateur T sera qualifié d’efficace si la borne inférieure est atteinte, c’est-à-dire

$$V(T)=\frac{1}{I_n(\theta )}$$

Méthode du maximum de vraisemblance

Cette méthode consiste, étant donnée un échantillon de valeurs

$x_1,x_2,...,x_n$ à prendre comme estimation de

$\theta$ la valeur de

$\theta$ qui rend maximale la vraisemblance

$L(x_1,x_2,...,x_n,\theta )$

On prend comme estimation de

$\theta$ la solution de l’équation de la vraisemblance

$$\frac{\delta \ln L}{\delta \theta }=0$$