# PRF - Amphi 3

[Slides](https://moodle.insa-lyon.fr/pluginfile.php/69055/mod_resource/content/6/4tc-prf-04_CMTD_new.pdf)

###### tags : `PRF` `Amphi`

## Chaînes de Markov à Temps Discret (CMTD)

### Définitions et propriétés

Propriété de Markov : Le processus ne dépend que de l'état présent (on ne prend pas en compte ce qu'il s'est passé avant)

CMTD : Processus stochastique à espace d'états discret et à temps discret qui respecte la propriété de Markov

CMTD homogène si les probabilité d'évolution ne dépendent pas de l'état actuel n (ne dépend pas du temps)

1. Pas une CMTD car dépend du chemin emprunté
2. CMTD homogène
3. CMTD non homogène (car la distribution de probabilités dépend de n)

Chaine de Markov d'ordre 1 : dépend de l'état présent.
Chaine de Markov d'ordre 2 : dépend de l'état présent et de l'état précédent.
Globalement, chaine de Markov d'ordre supérieur dépend d'un petit passé (quelques états précédents mais pas tout le chemin parcouru).

La somme des lignes de la matrice de transition fait 1.

### Etude du régime transitoire

#### Probabilité des états


#### Temps de séjour

[Loi géométrique](https://fr.wikipedia.org/wiki/Loi_g%C3%A9om%C3%A9trique)


$P[K=i]=(P_{jj})^{i-1}*(1-P_{jj})$

#### CMTD Périodiques/Apériodiques


#### Classification des états

**CMTD irréductible** : on peut atteindre n'importe quel autre état en un nombre fini d'étapes (Pas de sous-chaîne ou d'état absorbant)

$f_{jj}$ : Probabilité de revenir à un état pour la première fois après l'avoir quitté

$f_{jj}^{(n)}$ : Probabilité de revenir à un état après exactement $n$ étapes

$f_{jj} = \sum_{n=1}^{\infty} f_{jj}^{(n)}$

Temps moyen pour revenir à un état : $M_j = \sum_{n=1}^{\infty} n*f_{jj}^{(n)}$

Si $M_j < \infty$ : état récurrent non nul
Si $M_j = \infty$ : état récurrent nul (il faut une chaîne infinie pour être dans ce cas)

Exemple :

**Propriétés** :
- Tous les états d'une CMTD irréductible sont de la même nature
- Tous les états d'une CMTD irréductible finie sont récurrents non nuls

**Définition** : Une CMTD homogène est dite *ergodique* si et seulement si elle est apériodique, irréductible et tous ses états sont récurrents non nuls