Théorème 3Chaînes de Markov

Propriété de Markov forte

Un temps d'arrêt de la chaîne est un temps d'arrêt pour la filtration $(\mathcal F_n)$ (Martingales) : une variable $T$ à valeurs dans $\mathbb N \cup \{+\infty\}$ telle que $\{T = n\} \in \mathcal F_n$ pour tout $n$ . Soit $\mathcal F_\infty$ la tribu engendrée par la réunion des $\mathcal F_n$ . La tribu du passé avant $T$ est $\mathcal F_T = \{A \in \mathcal F_\infty : A \cap \{T = n\} \in \mathcal F_n \ \forall n\}.$ Sur $\{T < +\infty\}$ , on note $X_T = X_{T(\omega)}(\omega)$ et $\theta_TX = (X_{T+k})_{k \in \mathbb N}$ .

Pour $y \in I$ , le temps d'atteinte de $y$ est $H_y = \inf\{n \geqslant 0 : X_n = y\}$ et son temps de retour est $T_y = \inf\{n \geqslant 1 : X_n = y\}$ , avec $\inf \varnothing = +\infty$ .

Énoncé

(i) $H_y$ et $T_y$ sont des temps d'arrêt. Pour un temps d'arrêt $T$ , $\mathcal F_T$ est une tribu, qui contient les événements $\{T = n\}$ et $\{T < +\infty, X_T = x\}$ .

(ii) Markov forte. Soient $T$ un temps d'arrêt, $x \in I$ tel que $P(T < +\infty, X_T = x) > 0$ , $A \in \mathcal F_T$ , et $G = A \cap \{T < +\infty, X_T = x\}$ . Pour tout $B \in \mathcal C$ , $\begin{aligned} &P(G \cap \{\theta_TX \in B\}) \\ &= P(G)\,P_x(X \in B), \end{aligned}$ et, pour toute $F : I^{\mathbb N} \to [0, +\infty]$ mesurable pour $\mathcal C$ , $E[\mathbf 1_G\,F(\theta_TX)] = P(G)\,E_x[F(X)]$ . Sous $P(\cdot \mid T < +\infty, X_T = x)$ , la suite $\theta_TX$ est donc une chaîne issue de $x$ , indépendante de $\mathcal F_T$ .

Démonstration

(i) On a $\{H_y = n\} = \{X_0 \neq y, \dots, X_{n-1} \neq y, X_n = y\} \in \mathcal F_n$ , et de même pour $T_y$ en commençant à l'instant $1$ .

La partie $\mathcal F_T$ contient $\Omega$ ; elle est stable par complémentaire, puisque $A^c \cap \{T = n\} = \{T = n\} \setminus (A \cap \{T = n\})$ , et par réunion dénombrable, le complémentaire et la réunion restant dans la tribu $\mathcal F_\infty$ . Les événements $\{T = m\}$ et $\{T < +\infty, X_T = x\} = \bigcup_n \{T = n, X_n = x\}$ appartiennent à $\mathcal F_\infty$ . L'intersection $\{T = m\} \cap \{T = n\}$ est vide ou égale à $\{T = n\}$ , et $\begin{aligned} &\{T < +\infty, X_T = x\} \cap \{T = n\} \\ &= \{T = n\} \cap \{X_n = x\}, \end{aligned}$ qui appartient à $\mathcal F_n$ .

(ii) Posons $A_n = A \cap \{T = n\} \in \mathcal F_n$ . L'événement $G$ est la réunion disjointe des $A_n \cap \{X_n = x\}$ , et, sur $\{T = n\}$ , $\theta_TX = \theta_nX$ ; ainsi $G \cap \{\theta_TX \in B\}$ est la réunion disjointe des $A_n \cap \{X_n = x\} \cap \{\theta_nX \in B\}$ , qui sont des événements.

Par la propriété de Markov (Propriété de Markov, (ii)), appliquée pour chaque $n$ tel que $P(X_n = x) > 0$ , les autres termes étant nuls, $\begin{aligned} &P(A_n \cap \{X_n = x\} \cap \{\theta_nX \in B\}) \\ &= P(A_n \cap \{X_n = x\})\,P_x(X \in B). \end{aligned}$ On somme sur $n$ , par σ-additivité. La formule pour $F$ s'en déduit comme au point (iii) du même nœud.

□

Remarque

L'hypothèse que $T$ est un temps d'arrêt ne peut pas être levée. Pour la chaîne de l'exemple du nœud Matrices de transition, issue de $1$ , soit $L$ le dernier instant $n \leqslant 10$ tel que $X_n = 1$ . Si $L < 10$ , alors $X_{L+1} \neq 1$ , donc $X_{L+1} = 2$ , puisque depuis $1$ on ne peut aller qu'en $1$ ou en $2$ ; comme $\theta_LX$ part de $1$ et que, si $L = 10$ , $X_{11}$ vaut $2$ avec probabilité $\frac12$ , la propriété de Markov à l'instant $10$ donne $\begin{aligned} P(X_{L+1} = 2) &= P(L < 10) + \tfrac12P(L = 10) \\ &> \tfrac12, \end{aligned}$ puisque $P(L < 10) \geqslant P(X_1 = 2, \dots, X_{10} = 2) > 0$ , alors qu'une chaîne issue de $1$ fait son premier pas vers $2$ avec probabilité $\frac12$ . L'événement $\{L = n\}$ dépend de l'avenir après $n$ .

Remarque

La propriété de Markov forte découpe une trajectoire, à chaque passage par un état $x$ , en morceaux indépendants et de même loi, les excursions hors de $x$ . C'est elle qui donne la loi géométrique du nombre de visites au nœud Récurrence et transience, et qui, jointe à la loi forte des grands nombres, donne le théorème ergodique (Théorème ergodique).

Repose sur

Propriété de Markov Martingales et temps d'arrêt

Sert à

États récurrents et transients