ASE2 - TD 2, suite (encore)

Exercice 16

Soit une variable aleatoire

$X$ de loi de Poisson de parametre

$\lambda$ (

$\lambda >0$). Le but de cet exercice est de trouver une estimation de

$\theta =e^{-\lambda }$.

$(X_1,X_2,...,X_n)$ un echantillon de

$X$ et

$Y_1,Y_2,...,Y_n$ des v.a. definies par

$Y_i=1$ si

$X_i=0$ et

$Y_i=0$ sinon,

$\mathrm{\forall }i\in [[1,n]]$.

$$\begin{gathered} S_n=\sum _{i=1}^n{X}_i \\ {\overline{Y}}_n=\frac{1}{n}\sum _{i=1}^n{Y}_i \\ {T}_n=(\frac{n-1}{n}{)}^{S_n} \end{gathered}$$

1. Montrer que
   ${\overline{Y}}_n$ est un estimateur sans biais et convergent de
   $\theta =e^{-\lambda }$
2. Montrer que
   $T_n$ est un estimateur sans biais et convergent de
   $\theta$
3. a) Etuder le sens de variation de
   $f$ definie sur
   ${\mathbb{R}}_{+}$ par
   $f(t)=n{e}^{\frac{t}{n}}-e^t-n+1$ et deduire son signe
   b) En deduire que
   $T_n$ est un estimateur de
   ${\overline{Y}}_n$

Solution

$Y_i$ suit la loi de Bernoulli, le parametre de

$Y_i$ est

$P(Y_i=1)=P(X_i=0)=e^{-\lambda }=\theta$ donc

$Y_i\sim \mathcal{B}(0)$

$$E({\overline{Y}}_n)=\frac{1}{n}\sum _{i=1}^{n}E(Y_i)=\frac{1}{n}\sum _{i=1}^n\theta =\frac{n\theta }{\theta }=\theta$$

${\overline{Y}}_n$ est sans biais.

$$\begin{gathered} V({\overline{Y}}_n)=\frac{1}{n^2}\sum _{i=1}^{n}V(Y_i)=\frac{n\theta (1-\theta )}{n^2}=\frac{\theta (1-\theta )}{n}{\to }_{n\to +\mathrm{\infty }}0 \\ V({\overline{Y}}_n){\to }_{n\to +\mathrm{\infty }}0 \end{gathered}$$

En appliquant Tchebychev:

$\mathrm{\forall }\epsilon >0$

$$P(|{\overline{Y}}_n-E({\overline{Y}}_n)|\ge \epsilon )\le \frac{V({\overline{Y}}_n)}{{\epsilon }^2}=\frac{\theta (1-\theta )}{n{\epsilon }^2}{\to }_{n\to +\mathrm{\infty }}0$$

Donc

${\overline{Y}}_n{\to }_{n\to +\mathrm{\infty }}^P\theta$

$$\begin{gathered} T_n=(\frac{n-1}{n}{)}^{S_n} \\ \begin{array}{rl}E(T_n)& =E((\frac{n-1}{n}{)}^{S_n})\\ & =\sum _{k=0}^{+\mathrm{\infty }}(\frac{n-1}{n}{)}^{k}P(S_n=k)\text{ (car }E(\varphi (X))=\sum _k\varphi (k)P(X=k))\\ & =\sum _{k=0}^{+\mathrm{\infty }}(\frac{n-1}{n}{)}^k{e}^{-n\lambda }\frac{(n\lambda {)}^k}{k!}\text{ (car }{S}_n=\sum _{i=1}^n{X}_i\text{ somme independantes de Poisson }\mathcal{P}(\lambda ))\end{array} \end{gathered}$$

Donc

$S_n\sim \mathcal{P}(n\lambda )$

$$\begin{array}{rl}E(T_n)& =e^{-n\lambda }\sum _{k=0}^{+\mathrm{\infty }}\frac{((n-1)\lambda {)}^k}{k!}\\ & =e^{-n\lambda }{e}^{(n-1)\lambda }\\ & =e^{-\lambda }=\theta \end{array}$$

Rappel:

$$\sum _0^{+\mathrm{\infty }}\frac{x^k}{k!}=e^x$$

$T_n$ est sans biais

$$\begin{array}{rl}E(T_n^2)& =E((\frac{n-1}{n}{)}^{2S_n})\\ & =\sum _0^{+\mathrm{\infty }}(\frac{n-1}{n}{)}^{2k}P(S_n=k)\\ & =\sum _0^{+\mathrm{\infty }}(\frac{n-1}{n}{)}^{2k}{e}^{-n\lambda }\frac{(n\lambda {)}^k}{k!}\\ & =e^{-n\lambda }\sum _{k=0}^{+\mathrm{\infty }}\frac{(\frac{(n-1{)}^2\lambda }{n}{)}^k}{k!}\\ & =e^{-n\lambda }{e}^{(n-1{)}^2\frac{\lambda }{n}}\\ & =e^{-n\lambda }{e}^{(n^2-2n+1)\frac{\lambda }{n}}\\ & =e^{-2\lambda +\frac{\lambda }{n}}={\theta }^2{e}^{\frac{\lambda }{n}}\end{array}$$

Donc

$$E(T_n^2)={\theta }^2{e}^{\frac{\lambda }{n}}$$

$$\begin{gathered} \begin{array}{rl}V(T_n)& =E(T_n^2)-E^2(T_n)\\ & ={\theta }^2{e}^{\frac{\lambda }{n}}-{\theta }^2\\ & ={\theta }^2(e^{\frac{\lambda }{n}}-1)\end{array} \\ \underset{n\to +\mathrm{\infty }}{lim}V(T_n)=0 \end{gathered}$$

En utilisant Tchebychev:

$\mathrm{\forall }\epsilon >0$

$$\begin{gathered} P(|T_n-\theta |\ge \epsilon )<\frac{V({\overline{Y}}_n)}{{\epsilon }^2}{\to }_{n\to +\mathrm{\infty }}0 \\ \Rightarrow T_n{\to }_{n\to +\mathrm{\infty }}^P\theta \end{gathered}$$

3.a)

$$\begin{gathered} f(t)=n{e}^{\frac{t}{n}}-e^t-n+1\mathrm{\forall }t\in {\mathbb{R}}_{+} \\ {f}^{\prime }(t)=e^{\frac{t}{n}}-e^t \\ \{\begin{array}{ll}\mathrm{\forall }n\ge 1\frac{t}{n}\le t\Rightarrow e^{\frac{t}{n}}\le e^t\Rightarrow f^{\prime }(t)\le 0& \mathrm{\forall }t\in {\mathbb{R}}_{+}\\ \mathrm{\forall }t>0f(t)\text{ est decroissante et comme }f(0)=0& \begin{array}{rl}& \Rightarrow \mathrm{\forall }t\ge 0,f(t)\le f(0)=0\\ & \Rightarrow \text{color}greenf(t)\le 0\mathrm{\forall }t\ge 0\end{array}\end{array} \end{gathered}$$

b)

$$\begin{gathered} E(T_n)=\theta \\ E({\overline{Y}}_n)=\theta \end{gathered}$$

Les deux estimateurs sont sans biais.

Comparons leurs variances

$$\begin{gathered} V({\overline{Y}}_n)=\frac{\theta (1-\theta )}{n},V(T_n)={\theta }^2(e^{\frac{\lambda }{n}}-1) \\ \begin{array}{rl}V(T_n)-V({\overline{Y}}_n)& ={\theta }^2(e^{\frac{\lambda }{n}}-1)-\frac{\theta (1-\theta )}{n}\\ & =\frac{{\theta }^2}{n}(n{e}^{\frac{\lambda }{n}}-n-\frac{1}{\theta }+1)\\ & =\frac{{\theta }^2}{n}(n{e}^{\frac{\lambda }{n}}-n-e^{\lambda }+1)\\ & =\frac{{\theta }^2}{n}f(\lambda )\\ \text{Or }f\text{ est negative}& \Rightarrow V(T_n)-V({\overline{Y}}_n)\le 0\\ & \Rightarrow \text{color}greenV(T_n)\le V({\overline{Y}}_n)\end{array} \end{gathered}$$

$T_n$ est un meilleur estimateur que

${\overline{Y}}_n$

:::

Exercice 17

Soit

$X$ une v.a. de loi

$\mathcal{B}(n,p)$ ou

$p$ est inconnu..
On veut estimer le parametre

$p$.
On considere un echantillon de

$X$:

$(X_1,X_2,...,X_n)$.

1. Determiner la vraisemblance de l'echantillon
2. Determiner l'estimateur de maximum de vraisemblance de
   $p$
3. Cet estimateur est-il sans biais ?
4. Est-il convergent ?
5. Montrer que cet estimateur est efficace

Solution

$X\sim \mathcal{B}(N,p)$,

$\theta =p$ inconnu.

$$L(x_1,x_2,...,x_n,p)=\frac{(N!{)}^n}{{\mathrm{\Pi }}_{i=1}^n{x}_i!(N-x_i)!}{p}^{\sum _{i=1}^n{x}_i}(1-p{)}^{nN-\sum _{i=1}^n{x}_i}$$

d'apres l'exercice 14.

L'equation de la vraisemblance:

$$\begin{gathered} \frac{\delta \ln L}{\delta p}=0 \\ \ln L(x_1,...,x_n,p)=\ln (\frac{(N!{)}^n}{{\mathrm{\Pi }}_{i=1}^n{x}_i!(N-x_i)!})+\sum _{i=1}^n{x}_i\ln (p)+(nN-\sum _{i=1}^n{x}_i)\ln (1-p) \\ \begin{array}{rl}\frac{\delta \ln L}{\delta p}& =\frac{1}{p}\sum _{i=1}^n{x}_i+(nN-\sum _{i=1}^n{x}_i)\frac{-1}{1-p}=0\\ & \iff (1-p)\sum _{i=1}^n{x}_i-p(nN-\sum _{i=1}^n{x}_i)=0\\ & \iff \sum _{i=1}^n{x}_i-pnN=0\\ & \iff \text{color}green\hat{p}=\frac{1}{nN}\sum _{i=1}^n{x}_i\text{ estimation ponctuelle de }p\end{array} \end{gathered}$$

L'estimateur de maximum de vraisemblance est

$$T_n=\frac{1}{nN}\sum _{i=1}^n{X}_i$$

$Tn$ sans biais ?

$$\begin{array}{rl}E(T_n)& =\frac{1}{nN}\sum _{i=1}^{n}E(X_i)\\ & =\frac{1}{nN}\sum _{i=1}^{n}Np\\ & =\frac{nNp}{nN}=\text{color}greenp\end{array}$$

$$E(T_n)=p$$

$T_n$ est sans biais.

Convergence ?

$$\begin{array}{rl}V(T_n)& =\frac{1}{n^2{N}^2}\sum _{i=1}^{n}V(X_i)\\ & =\frac{1}{n^2{N}^2}\sum _{i=1}^{n}Np(1-p)\\ & =\frac{nNp(1-p)}{n^2{N}^2}\\ & =\frac{p(1-p)}{nN}{\to }_{n\to +\mathrm{\infty }}0\end{array}$$

D'apres Tchebychev

$\mathrm{\forall }\epsilon >0$

$$\begin{gathered} P(|T_n-E(T_n)|\ge \epsilon )\le \frac{V(T_n)}{{\epsilon }^2} \\ \Rightarrow P(|T_n-p|\ge \epsilon )\le \frac{p(1-p)}{nN{\epsilon }^2}{\to }_{n\to +\mathrm{\infty }}0 \end{gathered}$$

Donc

$$T_n{\to }_{n\to +\mathrm{\infty }}^{P}p$$

$T_n$ converge en probabilite vers

$p$.

Efficacite

$$\begin{gathered} \underset{\text{information de Fisher}}{\underbrace{I_n(p)}}=-E(\frac{{\delta }^2\ln L}{\delta p^2}) \\ \frac{\delta \ln L}{\delta p}=\frac{1}{p}\sum _{i=1}^n{x}_i-(nN-\sum _{i=1}^n{x}_i)\frac{1}{1-p} \\ \frac{{\delta }^2\ln L}{\delta p^2}=-\frac{1}{p^2}\sum _{i=1}^n{x}_i+(nN-\sum _{i=1}^n{x}_i)\frac{-1}{(1-p{)}^2} \\ \begin{array}{rl}E(\frac{\delta \ln L}{\delta p^2})& =-\frac{1}{p^2}\sum _{i=1}^{n}E(x_i)+(nN-\sum _{i=1}^{n}E(x_i))\frac{-1}{(1-p{)}^2}\\ & =-\frac{1}{p^2}nNp+\frac{1}{(1-p{)}^2}(-nN+nNp)\\ & =\frac{-nN}{p}+\frac{(-nN)}{1-p}\\ & =\frac{-nN(1-p)-nNp}{p(1-p)}\\ & =\frac{-nN}{p(1-p)}\end{array} \\ {I}_n(p)=-E(\frac{\delta \ln L}{\delta p^2})=\frac{nN}{p(1-p)} \end{gathered}$$

Donc

$$I_n(p)=\frac{nN}{p(1-p)}$$

information de Fisher.

Or:

$$V(T_n)=\frac{p(1-p)}{nN}\Rightarrow \text{color}greenV(T_n)=\frac{1}{I_n(p)}$$

Conclusion:

$T_n$ est efficace

:::

Exercice 18

Soit

$X$ une distribution de Poisson

$\mathcal{P}(\theta )$ ou

$\theta$ inconnu.

$(X_1,...,X_n)$ un echantillon de

$X$.

1. Determiner la vraisemblance
2. Determiner un estimateur de
   $\theta$
3. Est-il sans biais ? Convergent ?
4. Est-il efficace ?

Solution

$X\sim \mathcal{P}(\theta )$ Poisson de parametre

$\theta$,

$\theta$: inconnu.

1.La vraisemblance est:

$$\begin{array}{rl}L(x_1,x_2,...,x_n)& ={\mathrm{\Pi }}_{i=1}^{n}P(X_i=x_i)\\ & =\frac{e^{-n\theta }{\theta }^{\sum _{i=1}^n{x}_i}}{{\mathrm{\Pi }}_{i=1}^n{x}_i!}\text{cf. exercice 14.}\end{array}$$

2.Methode du maximum de vraisemblance

$$\begin{gathered} \frac{\delta \ln L}{\delta \theta }=0\text{ (eq. de la vraisemblance)} \\ \ln L(x_1,...,x_m,\theta )=-n\theta +\sum _{i=1}^n\ln \theta -\ln ({\mathrm{\Pi }}_{i=1}^n{x}_i!) \\ \begin{array}{rl}\frac{\delta \ln L}{\delta \theta }=0& \iff -n+\frac{1}{\theta }\sum _{i=1}^n{x}_i=0\\ & \iff \hat{\theta }=\frac{1}{n}\sum _{i=1}^n{x}_i\text{ estimation ponctulle de }\theta \end{array} \end{gathered}$$

L'estimateur de

$\theta$ est

$T_n=\frac{1}{n}\sum _{i=1}^n{X}_i$

3.

$Tn$ sans biais ?

$$\begin{array}{rl}E(T_n)& =\frac{1}{n}\sum _{i=1}^{n}E(X_i)\\ & =\frac{1}{n}\sum _{i=1}^n\theta \\ & =\frac{n\theta }{n}=\text{color}green\theta \end{array}$$

$$E(T_n)=\theta$$

$T_n$ est sans biais.

Convergence?

$$\begin{gathered} \begin{array}{rl}V(T_n)& =\frac{1}{n^2}\sum _{i=1}^{n}V(X_i)\\ & =\frac{n\theta }{n}\\ & =\frac{\theta }{n}\end{array} \\ V(T_n)=\frac{\theta }{n}{\to }_{n\to +\mathrm{\infty }}0 \end{gathered}$$

Donc en utilisant Tchebychev:

$\mathrm{\forall }\epsilon >0$

$$\begin{gathered} P(|T_n-E(T_n)|\ge \epsilon )\le \frac{V(T_n)}{{\epsilon }^2} \\ \Rightarrow P(|T_n-\theta |\ge \epsilon )\le \frac{\theta }{n{\epsilon }^2}{\to }_{n\to +\mathrm{\infty }}0 \end{gathered}$$

Donc

$$T_n{\to }_{n\to +\mathrm{\infty }}^P\theta$$

4.Efficacite

On calcule l'information de Fisher:

$$\begin{gathered} I_n(\theta )=-t(\frac{{\delta }^2\ln L}{\delta {\theta }^2}) \\ \frac{\delta \ln L}{\delta \theta }=-n+\frac{1}{\theta }\sum _{i=1}^n{x}_i \\ \begin{array}{rl}{I}_n(\theta )& =-E(\frac{{\delta }^2\ln L}{\delta {\theta }^2})\\ & =\frac{1}{{\theta }^2}\sum _{i=1}^{n}E(x_i)\\ & =\frac{n\theta }{{\theta }^2}=\text{color}green\frac{n}{\theta }\end{array} \end{gathered}$$

$$V(T_n)=\frac{\theta }{n}=\frac{1}{I_n(\theta )}$$

$T_n$ est efficace.

:::

Exercice 19

Soit

$X$ une v.a. continue de densite

$$f(x)=\frac{A}{x^{1+\frac{1}{\theta }}}\mathrm{\forall }x\ge 1,\theta >0$$

1. Determiner
   $A$ en fonction de
   $\theta$
2. Soit
   $(X_1,X_2,...,X_n)$ un echantillon de
   $X$, Determiner la vraisemblance de cet echantillon
3. Determiner l'estimateur du maximum de vraisemblance de
   $\theta$
4. Est-il sans biais ? Convergent ?
5. Est-il efficace ?

Solution

1.

$f$ etant une densite:

${\int }_{\mathbb{R}}f(x)dx=1$

$$\begin{gathered} A{\int }_1^{+\mathrm{\infty }}\frac{1}{x^{1+\frac{1}{\theta }}}dx=1 \\ A[\frac{-\theta }{x^{\frac{1}{\theta }}}] \\ \Rightarrow A\theta =1\Rightarrow \text{color}greenA=\frac{1}{\theta } \end{gathered}$$

$$\begin{array}{rl}L(x_1,x_2,...,x_n,\theta )& ={\mathrm{\Pi }}_{i=1}^{n}f(x_i)\\ & ={\mathrm{\Pi }}_{i=1}^n\frac{1}{\theta }\frac{1}{x_i^{1+\frac{1}{\theta }}}\\ & =\frac{1}{{\theta }^n}\frac{1}{{\mathrm{\Pi }}_{i=1}^n{x}_i^{1+\frac{1}{\theta }}}\end{array}$$

$$\ln L(x_1,x_2,...,x_n,\theta )=-n\ln \theta -(1+\frac{1}{\theta })\sum _{i=1}^n\ln x_i$$

Equation de la vraisemblance:

$$\frac{\delta \ln L}{\delta \theta }=0$$

$$\begin{array}{rl}\frac{\delta \ln L}{\delta \theta }& =\frac{-n}{\theta }+\frac{1}{{\theta }^2}\sum _{i=1}^n\ln x_i=0\\ & \Rightarrow \text{color}green\hat{\theta }=\frac{1}{n}\sum _{i=1}^n\ln x_i\end{array}$$

L'estimateur de vraisemblance:

$$T_n=\frac{1}{n}\sum _{i=1}^n\ln x_i$$

$$\begin{array}{rl}E(T_n)& =\frac{1}{n}\sum _{i=1}^{n}E(\ln x_i)\\ & =\frac{nE(\ln x)}{n}\\ & =E(\ln x)\end{array}$$

or:

$$\begin{array}{rl}E(\ln x)& ={\int }_1^{+\mathrm{\infty }}\ln xf(x)dx\\ & ={\int }_1^{+\mathrm{\infty }}\frac{\ln x}{{\theta }^{1+\frac{1}{\theta }}}dx\end{array}$$

On integre par parties:

$$\begin{gathered} \{\begin{array}{ll}v=\ln x& v^{\prime }=\frac{1}{x}\\ u^{\prime }=\frac{1}{\theta }{x}^{-1-\frac{1}{\theta }}& u=-x^{-\frac{1}{\theta }}\end{array} \\ \begin{array}{rl}E(\ln x)& =\underset{=0\text{ quand }x\to +\mathrm{\infty }}{\underbrace{[-x^{-\frac{1}{\theta }}\ln x{]}_1^{+\mathrm{\infty }}}}+{\int }_1^{+\mathrm{\infty }}{x}^{-1-\frac{1}{\theta }}dx\\ & =[-\theta x^{-\frac{1}{\theta }}{]}_1^{+\mathrm{\infty }}=\theta \end{array} \end{gathered}$$

Donc

$E(T_n)=\theta$ sans biais.

Convergence ?

$$\begin{gathered} \begin{array}{rl}V(T_n)& =\frac{1}{n^2}\sum _{i=1}^{n}V(\ln x_i)\\ & =\frac{nV(\ln X)}{n^2}\\ & =\frac{V(\ln X)}{n}\end{array} \\ \begin{array}{rl}E({\ln }^{2}x)& ={\int }_1^{+\mathrm{\infty }}\frac{{\ln }^{2}x}{\theta x^{1+\frac{1}{\theta }}}dx\\ & =\underset{=0\text{ quand }x\to +\mathrm{\infty }}{\underbrace{[-x^{-\frac{1}{\theta }}{\ln }^{2}x{]}_1^{+\mathrm{\infty }}}}+{\int }_1^{+\mathrm{\infty }}\frac{1\ln x}{x^{1+\frac{1}{\theta }}}dx\end{array} \\ \{\begin{array}{ll}v={\ln }^{2}x& v^{\prime }=2(\ln x)\frac{1}{x}\\ u^{\prime }=\frac{1}{\theta }{x}^{-1-\frac{1}{\theta }},& u=-x^{-\frac{1}{\theta }}\end{array} \\ \begin{array}{rl}E({\ln }^{2}x)& =1\theta {\int }_1^{+\mathrm{\infty }}\frac{\ln xdx}{\theta x^{1+\frac{1}{\theta }}}\\ & =2\theta E(\ln x)\\ & =2{\theta }^2\end{array} \\ \begin{array}{rl}V(T_n)& =\frac{E({\ln }^{2}x)-E^2(\ln x)}{n}\\ & =\frac{1}{n}(2{\theta }^2-{\theta }^2)\\ & =\frac{{\theta }^2}{n}\end{array} \\ V(T_n)=\frac{{\theta }^2}{n}{\to }_{n\to +\mathrm{\infty }}0 \end{gathered}$$

D'apres Tchebychev

$T_n{\to }_{n\to +\mathrm{\infty }}^P\theta$

5.Efficacite

$$\begin{gathered} I_n(\theta )=-E(\frac{{\delta }^2\ln L}{\delta {\theta }^2}) \\ \frac{\delta \ln L}{\delta \theta }=-\frac{n}{\theta }+\frac{1}{{\theta }^2}\sum _{i=1}^n\ln x-i \\ \frac{{\delta }^2\ln L}{\delta {\theta }^2}=\frac{n}{{\theta }^2}-\frac{2}{{\theta }^3}\sum _{i=1}^n\ln x_i \\ \begin{array}{rl}{I}_n(\theta )& =-E(\frac{{\delta }^2\ln L}{\delta {\theta }^2})\\ & =-\frac{n}{\theta }+\frac{2}{{\theta }^3}\sum _{i=1}^{n}E(\ln x_i)\\ & =-\frac{n}{{\theta }^2}+\frac{2}{{\theta }^3}nE(\ln x)\\ & =-\frac{n}{{\theta }^2}+\frac{2}{{\theta }^3}n\theta =\text{color}green\frac{n}{{\theta }^2}\end{array} \end{gathered}$$

Or

$V(T_n)=\frac{{\theta }^2}{n}=\frac{1}{I_n(\theta )}$

Donc

$T_n$ est efficace.

:::