Chaînes de Markov et espérances

Un problème, une question, un nouveau théorème ?
BlaieBlaie

Chaînes de Markov et espérances

Message par BlaieBlaie » 23 mai 2017 15:51

Bonjour,

Sujet un peu long... On considère la chaîne de Markov X sur l'espace d'état E = {1,2,3,4,5,6,7}, de matrice de transition :

$ \begin{pmatrix}
0 & 1/2 & 1/2 & 0 & 0 & 0 & 0\\
1/3 & 0 & 1/3 & 0 & 1/3 & 0 & 0\\
1/3 & 1/3 & 0 & 0 & 0 & 1/3 & 0\\
2/7 & 1/7 & 2/7 & 2/7 & 0 & 0 & 0\\
0 & 1/3 & 0 & 0 & 0 & 1/3 & 1/3\\
0 & 0 & 1/3 & 0 & 1/3 & 0 & 1/3\\
0 & 0 & 0 & 0 & 1/2 & 1/2 & 0
\end{pmatrix} $

J'ai dessiné le diagramme entre les différents états :
Image

Voilà les questions auxquelles je dois répondre :
1. Décomposer l'espace d'états en classes de communication. Lesquelles parmi ces classes sont transientes ? récurrentes ?

Ici, j'ai écrit que {4} est une classe transiente (car 4 conduit à d'autres états) et {1,2,3,5,6,7} est une classe récurrente (ils communiquent entre eux et conduisent à aucun autre état).

2. On note $ \tilde{E} = \{1,2,3,5,6,7\} $ . Quelle est la loi de $ T_{\tilde{E}} $ sous $ \mathbb{P}_4 $ ? Quelle est la loi de $ X_{T_{\tilde{E}}} $ toujours sous $ \mathbb{P}_4 $ ?

Comme $ T_{\tilde{E}} $ représente le temps du premier retour à l'état $ \tilde{E} $ de la chaîne, et $ \mathbb{P}_i $ est la probabilité sachant que l'on commence la chaîne à l'état i.
Alors $ T_{\tilde{E}} $ sous $ \mathbb{P}_4 $ suit une loi géométrique de paramètre 2/7 + 1/7 + 2/7 = 5/7.

Cependant, je ne vois pas du tout ce que représente $ X_{T_{\tilde{E}}} $. Quelqu'un pourrait m'éclaircir ?

3. Calculer $ \mathbb{E}_i (T_7) $, $ i \in \tilde{E} $. En déduire $ \mathbb{E}_4 (T_7) $.

Sachant que $ \mathbb{E}_x (T_y) $ est le temps moyen de premier passage en y en partant de x, j'ai fait :

$ \mathbb{E}_1 (T_7) = 1 + \dfrac{1}{2} \mathbb{E}_2 (T_7) + \dfrac{1}{2} \mathbb{E}_3 (T_7) $
$ \mathbb{E}_2 (T_7) = 1 + \dfrac{1}{3} \mathbb{E}_1 (T_7) + \dfrac{1}{3} \mathbb{E}_3 (T_7) + \dfrac{1}{3} \mathbb{E}_5 (T_7) $
$ \mathbb{E}_3 (T_7) = 1 + \dfrac{1}{3} \mathbb{E}_1 (T_7) + \dfrac{1}{3} \mathbb{E}_2 (T_7) + \dfrac{1}{3} \mathbb{E}_6 (T_7) $
$ \mathbb{E}_5 (T_7) = 1 + \dfrac{1}{3} \mathbb{E}_2 (T_7) + \dfrac{1}{3} \mathbb{E}_6 (T_7) $
$ \mathbb{E}_6 (T_7) = 1 + \dfrac{1}{3} \mathbb{E}_3 (T_7) + \dfrac{1}{3} \mathbb{E}_5 (T_7) $
$ \mathbb{E}_7 (T_7) = 0 $

$ \mathbb{E}_4 (T_7) = 1 + \dfrac{2}{7} \mathbb{E}_1 (T_7) + \dfrac{1}{7} \mathbb{E}_2 (T_7) + \dfrac{2}{7} \mathbb{E}_3 (T_7) + \dfrac{2}{7} \mathbb{E}_4 (T_7) $

Est-ce juste ? Cependant, je ne vois pas du tout comment résoudre ce système sans que cela dure une éternité ! Avez-vous une idée ?

Merci d'avance.

BlaieBlaie

Re: Chaînes de Markov et espérances

Message par BlaieBlaie » 15 juin 2017 15:10

Bonjour, la question précédente étant faite, j'aimerais savoir si vous savez comment évaluer $\lim_{n \rightarrow +\infty} \mathbb{P}_1 (X_n \text{ est pair}) $ ? ça m'aiderait vraiment beaucoup... Je précise que $\mathbb{P}_1$ est la matrice ligne (1,0,0,0,0,0,0)

Répondre