# PRF - Amphi 5

[Slides CMTD](https://moodle.insa-lyon.fr/pluginfile.php/69055/mod_resource/content/6/4tc-prf-04_CMTD_new.pdf)

[Slides CMTC](https://moodle.insa-lyon.fr/pluginfile.php/93353/mod_resource/content/5/4tc_prf_cours_CMTC.pdf)

###### tags : `PRF` `Amphi`

## Chaînes de Markov à Temps Discret (CMTD)

### Etude du régime permanent

La distribution stationnaire existe et est indépendante de l'état intial si la CMTD est *irréductible* et *apériodique* (cf. [Amphi 3](https://hackmd.io/PaZvR4ngQn2BgJzfAnMqdw?both)).

On sait que $\pi^n = \pi^{n-1} \cdot P$
Si $\pi^n$ tend vers une valur stationnaire $\overline{\pi}$ alors $\overline{\pi} = \overline{\pi} \cdot P$
On aussi : $\sum_{i \in E}\overline{\pi_i} = 1$

Prenons cette CMTD :
On doit résoudre alors ce système d'équations.

$\overline{\Pi_1} = 0.6\times\overline{\Pi_1} + 0.2 \times\overline{\Pi_2} + 0\times\overline{\Pi_3}$
$\overline{\Pi_2} = 0.4\times\overline{\Pi_1} + 0.6\times\overline{\Pi_2} + 0.4\times\overline{\Pi_3}$
$\overline{\Pi_3} = 0\times\overline{\Pi_1} + 0.2\times\overline{\Pi_2} + 0.6\times\overline{\Pi_3}$
$\overline{\Pi_1} + \overline{\Pi_2} + \overline{\Pi_3} = 1$

Solution : $\overline{\pi} = (0,25 \ 0,5 \ 0,25)$

$\overline{\pi_i} \neq 0$ : état récurrent non nul
$\overline{\pi_i} = 0$ : état récurrent nul ou état transitoire

#### Analyse des CMTD non stationnaires

*CMTD périodiques* : Admet une solution qui représente la proportion de temps passé dans les différents états

*CMTD réductible* : On peut calculer la probabilité de tomber dans chaque sous chaîne absorbante. On peut ensuite étudier le régime stationnaire à l'intérieur de ces sous-chaînes.

## Chaînes de Markov à Temps Continu (CMTC)

*Définition* : Une CMTC est un processus stochastique à espace d’état discret et à temps continu qui respecte la propriété de Markov :
- Ne dépend pas des états précédents
- Ne dépend pas du temps passé dans un état

Une seule distribution satisfait cette condition : Distribution exponentielle $T_{i,j} \sim Exp(\lambda_{ij})$

*Lexique :*
- $T_{i,j}$ : Temps de transition direct de $i$ vers $j$
- $\vec{P_{i,j}(t)}$ : Probabilité de transition directe de $i$ vers $j$ en un temps inférieur ou égal à t
- $P_{i,j}(t)$ : Probabilité de transition de $i$ vers $j$

Le temps passé dans chaque état $i$ suit aussi une loi exponentielle de paramètre $\sum_{j \in E}\lambda_{ij}$