ASE2 : Convergence et estimation

Introduction

L'estimation: on va considerer une population qui obeit a une loi de probabilite avec un parametre

θ

inconnu.

L'objectif de l'estimation c'est estimer le parametre.

On preleve un echantillon (suite de variables aleatoires independantes

X_{1}

X_{2}

,…,

X_{n}

suivant la meme loi que la population

X

) dans cette population, on va construire un estimateur destine a converger vers le parametre

θ

Un estimateur est une fonction

T = f (X_{1}, X_{2}, . . ., X_{n})

de notre echantillon.

Qualites de l'estimateur:

Etre convergent
Etre precis
- Plus la variance est minimale, plus on a un estimateur precis
Etre efficace

Pour etudier la convergeance, on va voir 3 types:

Convergence en proba
Convergence quadratique
Convergence discrete

Rappels de la loi Gamma et la loi Normale

On dit qu'une variable aleatoire positive

X

suit une loi gamma de parametre r, notee

γ_{r}

si sa densite est donnee par

f (x) = \frac{1}{Γ (r)} \exp (- x) x^{γ - 1}

Avec

Γ (x) = \int_{0}^{+ \infty} \exp (- t) t^{x - 1} d t

(fonction Gamma) definie pour

x > 0

Propriete de la fonction Gamma

$Γ (x + 1) = x Γ (x)$ (integration par partie)
$Γ (1) = 1$
$Γ (n + 1) = n!$
$Γ (k + \frac{1}{2}) = \frac{1.3 .5 . . . . . (2 k - 1)}{2^{k}} Γ (\frac{1}{2})$
$Γ (\frac{1}{2}) = \sqrt{π}$

Esperance de la loi

γ_{r}

: soit

X

une variable aleatoire suivant la loi gamma de parametre r.
On a:

E (x) = \frac{1}{Γ} \int_{0}^{+ \infty} t^{T} \exp (- t) d t = \frac{Γ (r + 1)}{Γ (r)} = r

Variance de la loi

γ_{r} : V (X) = E (X^{2}) - E^{2} (X)

E (X^{2}) = \frac{1}{Γ (r)} \int_{0}^{+ \infty} t^{2} \exp (- t) t^{r - 1} d t = \frac{1}{Γ (r)} t^{r + 1} \exp (- t) d t = \frac{Γ (r + 2)}{Γ (r)} = r (r + 1)

Donc

V (X) = r (r + 1) - r^{2} = r

Loi Normale de parametre
$(m, σ)$

On dit qu'une variable aleatoire

X

suit la loi normale notee

N (m, σ)

si sa densite est

f (x) = \frac{1}{σ \sqrt{1 π}} \exp (- \frac{1}{2} (\frac{x - m}{σ})^{2})

ou:

$m = E (X)$
$σ = \sqrt{V (X)}$ (ecart-type)

Avec le changement de variable

U = \frac{X - m}{σ}

(variable normale centree reduite), la densite de

U

est

f (u) = \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} u^{2})

Montrons que
$V (U) = 1$

On a

V (U) = E (U^{2}) = \int_{- \infty}^{+ \infty} \frac{1}{\sqrt{2 π}} u^{2} \exp (- \frac{1}{2} u^{2}) d u = \frac{2}{\sqrt{2 π}} \int_{0}^{+ \infty} u^{2} \exp (- \frac{1}{2} u^{2}) d u

.
Posons:

$t = \frac{u^{2}}{2}$
ut = udu

\begin{aligned} V (U) & = \frac{2}{\sqrt{2 π}} \int_{0}^{+ \infty} 2 t \exp (- t) \frac{d t}{\sqrt{2 t}} \\ = \frac{2}{\sqrt{π}} \int_{0}^{+ \infty} t^{\frac{1}{2}} \exp (- t) d t \\ = \frac{2}{\sqrt{π}} Γ (\frac{3}{2}) \\ = \frac{2}{\sqrt{π}} \frac{1}{2} Γ (\frac{1}{2}) \end{aligned}

Donc

V (U) = \frac{1}{\sqrt{π}} \sqrt{π} = 1

Moments de la loi normale centree reduite

Soit

U

une variable normale centree reduite, on appelle moment d'ordre

k

U

u_{k} = E (U^{k})

Si
$k = 2 p + 1$ alors
$u_{2 p + 1} = 0$ (car fonction impaire)
Si
$k = 2 p$ alors
$u_{2 p} = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{+ \infty} u^{2 p} \exp (- \frac{1}{2} u^{2}) d u = \frac{2}{\sqrt{2 π}} \int_{0}^{+ \infty} u^{2 p} \exp (- \frac{1}{2} u^{2}) d u$

Posons:

$t = \frac{u^{2}}{2}$
$d t = u d u$

\begin{aligned} u_{2 p} & = \frac{2}{\sqrt{2 π}} \int_{0}^{+ \infty} (2 t)^{p} \exp (- t) \frac{d t}{\sqrt{2 π}} \\ = \frac{2^{p}}{\sqrt{π}} \int_{0}^{+ \infty} t^{p - \frac{1}{2}} \exp (- t) d t \\ = \frac{2^{p}}{\sqrt{π}} Γ (p + \frac{1}{2}) \end{aligned}

Γ (p + \frac{1}{2}) = \frac{1.3 .5 . . . (2 p - 1)}{2^{p}}

Γ (\frac{1}{2}) = \sqrt{π}

Donc

u_{2 p} = 1.3 .5 . . . . . (2 p - 1) = \frac{(2 p)!}{2^{p} p!}

Fonctions caracteristiques

Definition

la fonction caractéristique d’une variable aléatoire réelle

X

est la transformée de Fourier de sa loi de probabilité. elle est notée

ϕ_{x} (t)

et on a

ϕ_{x} E (\exp (i t X))

(

i

complexe)

X

est une variable a densite (

X

est une VA continue de densite

f

) alors:

ϕ_{X} (t) = \int_{R} \exp (i t x) f (x) d x

X

est une variable discrète alors sa fonction caractéristique est:

ϕ_{X} (t) = \sum_{k} \exp (i t k) P (X = k)

Proprietes

$ϕ_{λ X} = ϕ_{X} (λ t)$
$\forall λ$ un scalaire
$ϕ_{X + a} (t) = \exp (i t a) π_{X} (t)$
Si
$X$ est une variable aleatoire d'esperance et d'ecrat-type
$σ$ et
$U = \frac{X - m}{σ}$

$ϕ_{\frac{X - m}{σ}} (t) = ϕ_{U} (T) = \exp (- \frac{i t m}{σ}) ϕ_{X} (\frac{1}{σ})$

Remarque

la fonction caractéristique se prête bien aux additions de variables aléatoires indépendantes :
Si

X

Y

sont deux variables aléatoires indépendantes alors

ϕ_{X + Y} (t) = ϕ_{X} (t) ϕ_{Y} (t)

En effet

ϕ_{X + Y} (t) = E (\exp (i t (X + Y))) = E (\exp (i t X) \exp (i t Y))

X

Y

sont indépendantes

E (\exp (i t X) \exp (i t Y)) = E (\exp (i t X)) E (\exp (i t Y))

Donc

ϕ_{X + Y} (t) = ϕ_{X} (t) ϕ_{Y} (t)

Proposition

Soit

X

une variable aléatoire de fonction de répartition

ϕ_{X} (t)

.
On a:

$ϕ_{X} (0) = 1$
$\frac{d^{k} ϕ_{X}}{d t^{k}} (0) = ϕ_{X}^{(k)} (0) = t^{k} E (X^{k})$

Demo

Supposons que

X

est une variable continue de densité

f

On a

ϕ_{X} (t) = \int_{R} \exp (i t x) f (x) \Rightarrow ϕ_{X} (0) = \int_{R} f (x) d x = 1

(car

f

est une densité)
En derivant

ϕ_{X} (t)

par rapport a t:

ϕ_{x}^{'} (t) = i \int_{R} x \exp (i t x) f (x) d x

Si
$t = 0$ ,
$ϕ_{X}^{'} (0) = i \int_{R} x f (x) d x = i E (X)$

Si on dérive 2 fois,

ϕ_{X}^{(2)} (t) = \int_{R} (i x)^{2} \exp (i t x) f (x) d x

Pour
$t = 0$ ,
$ϕ_{X}^{(2)} (0) = (i)^{2} \int_{R} x^{2} f (x) d x = - \int_{R} x^{2} f (x) d x = - E (X^{2})$

En dérivant

k

fois par rapport à

t

ϕ_{x}^{(k)} (t) = \int_{R} (i x)^{k} \exp (i t x) f (x) d x

$ϕ_{X}^{(k)} (0) = (i^{k}) \int_{R} x^{k} f (x) d x = i^{k} E (X^{k})$
$\forall k \in N$

Formule de Mac-Laurin

ϕ_{X} (t)

est indéfiniment dérivable on a:

ϕ_{x} (t) = \sum_{k = 0}^{+ \infty} \frac{t^{k}}{k!} i^{k} E (X^{k})

Exemple 1

Soit X une variable aléatoire continue de densité:

{\begin{cases} f (x) = \exp (- x) & si x > 0 \\ f (x) = 0 & sinon \end{cases}

Determiner la fonction caracteristique de

X

Solution

On a

\begin{aligned} ϕ_{X} (t) & = \int_{R} \exp (i t x) f (x) d x = \int_{0}^{+ \infty} \exp (i t x) \exp (- x) d x = \int_{0}^{+ \infty} \exp (- (1 - i t) x) d x \\ = \int_{0}^{+ \infty} \exp (- (1 - i t) x) d x = [\frac{- \exp (- (1 - i t) x)}{(1 - i t)}]_{0}^{+ \infty} = \frac{1}{1 - i t} \end{aligned}

car

\exp (- (1 - i t) x) = \exp (- x) \exp (i t x) \to 0

lorsque

x \to + \infty

Puisque

\exp (i t x)

est bornee de module 1 et

\exp (- x) \to 0

quand

x \to + \infty

Exemple 2

Déterminer la fonction caractéristique de la loi de Bernoulli de paramètre

p

Solution

Soit X une variable de Bernoulli :

$X = 1$ avec la probabilite
$p$
$X = 0$ avec la probabilité
$1 - p$

X

étant discrète, donc sa fonction caractéristique est:

ϕ_{X} (t) \sum_{k} \exp (i t k) P (X = k) = \sum_{k = 0}^{1} \exp (i t k) P (X = k) = P (X = 0) + \exp (i t) P (X = 1) ϕ_{X} (t) = 1 - p + p \exp (i t) = q + p \exp (i t) avec q = 1 - p

Convergence des suites de variables aleatoires

Une suite

X_{n}

de variables aléatoires étant une suite de fonctions il existe diverses façons de définir la convergence de

X_{n}

dont certaines jouent un grand rôle en statistiques.

Convergence en probabilite

Definition

La suite

X_{n}

converge en probabilité vers une variable aléatoire

X

\forall ε > 0, η > 0

( arbitrairement petits) il existe un entier

n_{0}

tel que

\forall n > n_{o} \Rightarrow P (| X_{n} - X | > ε) < η

C’est-à-dire

P (| X_{n} - X | > ε) \to_{n \to + \infty} 0

On notera

(X_{n}) \to^{P} X

Inégalité de Bienaymé-Tchebychev:

P (| X - E (X) | > ε) < \frac{V (X)}{ε^{2}} \forall ε > 0

Remarque

Lorsque

E (X_{n}) \to_{n \to + \infty} 0

, il suffit de montrer que

V (X_{n}) \to_{n \to + \infty} 0

pour établir la convergence en probabilité de la suite

(X_{n})

vers a.

En effet d’après Tchebychev:

P (| X_{n} - E (X_{n}) | > ε) < \frac{V (X_{n})}{ε^{2}} \to 0

Donc en passant a la limite:

lim_{n \to + \infty} P (| X_{n} - a | > ε) = 0 \forall ε > 0

Convergence en moyenne quadratique

On suppose que

E (| X_{n} - X |^{2})

existe.

Definition

On dit qu’une suite de variables aléatoires

(X_{n})

converge en moyenne quadratique vers une variable X si

E (| X_{n} - X |^{2}) \to_{n \to + \infty}

On notera

(X_{n}) \to^{m . q} X

Convergence en loi

Definition

La suite

(X_{n})

converge en loi vers la variable

X

de fonction de répartition

F

si en tout point de continuité de

F

la suite

(F_{n})

des fonctions de répartition des

(X_{n})

converge vers

F

, c’est-à-dire

lim_{n \to + \infty} F_{n} (x) = F (x)

pour tout x point de continuité de F

On noter

X_{n} \to^{L} X

Remarque

Pour les variables discrètes, la convergence en loi est équivalente à

lim_{n \to + \infty} P (X_{n} = k) = P (X = k)

Theoreme

Si la suite des fonctions caractéristiques

ϕ_{x_{n}} (T)

converge vers

ϕ_{X} (t)

alors

(X_{n}) \to^{L} X

Applications - Convergence en loi de la binomiale vers la loi Normale

Théorème (Moivre-laplace)

Soit

(X_{n})

une suite de variables binomiales

B (n, p)

Alors

\frac{X_{n} - n p}{\sqrt{n p q}} \to^{L} N (0, 1)

lorsque

n \to + \infty

Demonstration

La fonction caractéristique de la loi

B (n, p)

est:

\begin{aligned} ϕ_{X_{n}} (t) & = (p \exp (i t) + 1 - p)^{n} donc celle de Y_{n} = \frac{X_{n} - n p}{\sqrt{n p q}} est: \\ ϕ_{Y_{n}} & = (p \exp (\frac{i t}{\sqrt{n p q}}) + 1 - p)^{n} \exp (- \frac{i t n p}{\sqrt{n p q}}) \\ L n (ϕ_{Y_{n}} (t)) & = n L n (p (\exp (\frac{i t}{\sqrt{n p q}}) - 1) + 1) - \frac{i t n p}{\sqrt{n p q}} \end{aligned}

On rappelle le développement limité de l’exponentielle à l’ordre 2:

\exp (x) \approx 1 + x + \frac{x^{2}}{2}

(au voisinage de 0)

L n (ϕ_{Y_{n}} (t)) \approx n L n (p (\frac{i t}{\sqrt{n p q}} - \frac{t^{2}}{2 n p q}) + 1) - \frac{i t n p}{\sqrt{n p q}}

On rappelle

L n (1 + x) \approx x - \frac{x^{2}}{2}

(au voisinage de 0)
Donc:

\begin{aligned} L n (ϕ_{Y_{n}} (t)) & \approx n [\frac{p i t}{\sqrt{n p q}} - \frac{p t^{2}}{2 n p q} + \frac{p^{2} t^{2}}{2 n p q}] - \frac{i t n p}{\sqrt{n p q}} \\ \approx - \frac{t^{2}}{2 q} + \frac{p t^{2}}{2 q} = \frac{t^{2}}{2 q} (p - 1) = - \frac{t^{2}}{2} \end{aligned}

En composant par l’exponentielle:

ϕ_{Y_{n}} (t) \approx \exp (- \frac{t^{2}}{2}) caractéristique de la loi normale N (0, 1)

Conclusion:

\frac{X_{n} - n p}{\sqrt{n p q}} \to^{L} N (0, 1)

Remarque

Lorsque

n

est assez grand on peut donc approximer la loi Binomiale par la loi normale. On donne généralement comme condition

n p

n q > 5

Il convient cependant d’effectuer la correction de continuité : on obtient donc une valeur approchée de

P (X = x)

par la surface sous la courbe de densité de la loi normale

N (n p, \sqrt{n p q})

comprise entre les droites d’abscisse

x - \frac{1}{2}

x + \frac{1}{2}

P (X = x) \approx P (x - \frac{1}{2} < X < x + \frac{1}{2}) = P (\frac{x - \frac{1}{2} - n p}{\sqrt{n p q}} < \frac{X - n p}{\sqrt{n p q}} < \frac{x + \frac{1}{2} - n p}{\sqrt{n p q}})

P (X \leq x) \approx P (\frac{X - n p}{\sqrt{n p q}} < \frac{x + \frac{1}{2} - n p}{\sqrt{n p q}})

n1tsu

2021/04/25 14:43:43

La fonction caractéristique de la loi $B(n,p)$ est: $$ \begin{aligned} \phi_{X_n}(t) &= (p\exp(it)+1-p)^n \text{ donc celle de } Y_n=\frac{X_n-np}{\sqrt{npq}} \text{ est:}\\ \phi_{Y_n} &=(p\exp(\frac{it}{\sqrt{npq}})+1-p)^n\exp(-\frac{itnp}{\sqrt{npq}})\\ Ln(\phi_{Y_n}(t)) &= nLn(p(\exp(\frac{it}{\sqrt{npq}})-1)+1) - \frac{itnp}{\sqrt{npq}} \end{aligned} $$ On rappelle le développement limité de l’exponentielle à l’ordre 2: $\exp(x) \approx 1+x+\frac{x^2}{2}$ (au voisinage de 0) $$ Ln(\phi_{Y_n}(t)) \approx nLn(p(\frac{it}{\sqrt{npq}} - \frac{t^2}{2npq})+1)-\frac{itnp}{\sqrt{npq}} $$ On rappelle $Ln(1+x)\approx x - \frac{x^2}{2}$ (au voisinage de 0) Donc: $$ \begin{aligned} Ln(\phi_{Y_n}(t))&\approx n[\frac{pit}{\sqrt{npq}}-\frac{pt^2}{2npq}+\frac{p^2t^2}{2npq}]-\frac{itnp}{\sqrt{npq}}\\ &\approx -\frac{t^2}{2q} + \frac{pt^2}{2q} = \frac{t^2}{2q}(p-1)=-\frac{t^2}{2} \end{aligned} $$ En composant par l’exponentielle: $$ \phi_{Y_n}(t)\approx\exp(-\frac{t^2}{2}) \text{ caractéristique de la loi normale } N(0,1) $$ Conclusion: $\frac{X_n-np}{\sqrt{npq}}\to^LN(0,1)$

Il me semble que le Ln ne devrait pas être là dans la partie 'En composant par l'exponentielle' (Edited)

lemasymasa

2021/05/07 08:41:16

Oui tu as raison (Edited)

ASE2 : Convergence et estimation

Introduction

Rappels de la loi Gamma et la loi Normale

Propriete de la fonction Gamma

Loi Normale de parametre (m,σ)

Montrons que V(U)=1

Moments de la loi normale centree reduite

Fonctions caracteristiques

Definition

Proprietes

Remarque

Proposition

Demo

Formule de Mac-Laurin

Exemple 1

Exemple 2

Convergence des suites de variables aleatoires

Convergence en probabilite

Definition

Remarque

Convergence en moyenne quadratique

Definition

Convergence en loi

Definition

Remarque

Theoreme

Applications - Convergence en loi de la binomiale vers la loi Normale

Théorème (Moivre-laplace)

Demonstration

Remarque

Loi Normale de parametre
$(m, σ)$

Montrons que
$V (U) = 1$