Définition 2Chaînes de Markov

Chaînes de Markov et lois fini-dimensionnelles

Soit $(\Omega, \mathcal A, P)$ un espace probabilisé. Une variable à valeurs dans $I$ est une application $X : \Omega \to I$ telle que $\{X = x\} \in \mathcal A$ pour tout $x \in I$ ; sa loi est la probabilité $x \mapsto P(X = x)$ sur $I$ .

Soient $\mu$ une probabilité et $Q$ une matrice de transition sur $I$ . Une suite $(X_n)_{n \in \mathbb N}$ de variables à valeurs dans $I$ est une chaîne de Markov de loi initiale $\mu$ et de matrice $Q$ , ou chaîne $(\mu, Q)$ , si pour tout $n \in {\mathbb N}$ et tous $x_0, \dots, x_n \in I$ , $\begin{aligned} &P(X_0 = x_0, \dots, X_n = x_n) \\ &= \mu(x_0)Q(x_0, x_1)\cdots Q(x_{n-1}, x_n). \end{aligned}$

Si cette égalité n'est demandée que pour $n \leqslant m$ , on parle de chaîne $(\mu, Q)$ jusqu'à l'instant $m$ . Une chaîne issue de $x$ est une chaîne $(\delta_x, Q)$ , où $\delta_x(x) = 1$ et $\delta_x(y) = 0$ pour $y \neq x$ .

Sur l'ensemble $I^{\mathbb N}$ des suites d'états, la tribu des trajectoires $\mathcal C$ est la tribu engendrée par les cylindres $\begin{aligned} &C(x_0, \dots, x_n) \\ &= \{w \in I^{\mathbb N} : w_0 = x_0, \dots, w_n = x_n\}. \end{aligned}$

Énoncé

(i) Forme conditionnelle. $(X_n)$ est une chaîne $(\mu, Q)$ si et seulement si $P(X_0 = x) = \mu(x)$ pour tout $x$ et, pour tous $n$ et $x_0, \dots, x_{n+1}$ tels que $P(X_0 = x_0, \dots, X_n = x_n) > 0$ , $\begin{aligned} &P(X_{n+1} = x_{n+1} \mid X_0 = x_0, \dots, \\ &\qquad X_n = x_n) = Q(x_n, x_{n+1}). \end{aligned}$

(ii) Pour $m \leqslant n$ et $x_0, \dots, x_m, y \in I$ , $\begin{aligned} &P(X_0 = x_0, \dots, X_m = x_m, X_n = y) \\ &= P(X_0 = x_0, \dots, X_m = x_m) \\ &\quad \cdot Q^{n-m}(x_m, y). \end{aligned}$ En particulier, la loi de $X_n$ est $\mu Q^n$ .

(iii) L'application $X : \Omega \to I^{\mathbb N}$ , $\omega \mapsto (X_n(\omega))_n$ , est mesurable pour $\mathcal C$ , et sa loi $B \mapsto P(X \in B)$ sur $\mathcal C$ ne dépend que de $\mu$ et de $Q$ . Pour une chaîne issue de $x$ , on la note $P_x(X \in B)$ , et $E_x$ l'espérance correspondante.

La notation $P_x$ suppose qu'il existe une chaîne issue de $x$ . Une chaîne $(\mu, Q)$ donnée en fournit une, sans aucun choix, pour chaque état $x$ tel que $P(X_n = x) > 0$ pour un $n$ (propriété de Markov, nœud suivant, (ii)) ; si $Q$ est irréductible, c'est le cas de tous les états. À défaut d'une chaîne donnée, le théorème d'existence du nœud suivant, (iii), en construit une, au prix du choix dénombrable (⋆).

Démonstration

(i) Si $(X_n)$ est une chaîne $(\mu, Q)$ , le quotient des formules aux rangs $n + 1$ et $n$ est $Q(x_n, x_{n+1})$ .

Réciproquement, montrons la formule par récurrence sur $n$ ; elle vaut pour $n = 0$ . Si $P(X_0 = x_0, \dots, X_n = x_n) > 0$ , on la multiplie par la probabilité conditionnelle donnée. Sinon, l'événement de rang $n + 1$ , contenu dans celui de rang $n$ , est de probabilité nulle, et le second membre aussi, puisque $\mu(x_0)\cdots Q(x_{n-1}, x_n) = 0$ par l'hypothèse de récurrence.

(ii) L'événement du premier membre est la réunion disjointe, indexée par $I^{n-m-1}$ , qui est dénombrable (ℚ est dénombrable) ou fini, des événements où l'on fixe aussi $X_{m+1}, \dots, X_{n-1}$ ; pour $n = m$ ou $n = m + 1$ , il n'y a rien à sommer.

Par σ-additivité, par la définition et par la formule des chemins (Matrices de transition, (iii)) appliquée de $x_m$ à $y$ , sa probabilité est $\mu(x_0)\cdots Q(x_{m-1}, x_m)\,Q^{n-m}(x_m, y),$ ce qui est le second membre. Avec $m = 0$ et en sommant sur $x_0$ , on obtient $P(X_n = y) = (\mu Q^n)(y)$ .

(iii) L'image réciproque du cylindre $C(x_0, \dots, x_n)$ est $\{X_0 = x_0, \dots, X_n = x_n\} \in \mathcal A$ . Les parties $B$ de $I^{\mathbb N}$ telles que $X^{-1}(B) \in \mathcal A$ forment une tribu qui contient les cylindres, donc $\mathcal C$ .

Deux cylindres sont disjoints, ou l'un contient l'autre : les cylindres, $\varnothing$ et $I^{\mathbb N}$ forment un π-système, qui engendre $\mathcal C$ . Les lois de deux chaînes $(\mu, Q)$ y coïncident, par la définition, et elles ont la même masse $1$ ; elles sont donc égales, par le lemme de Dynkin (Classes monotones, (ii)).

□

Remarque

Pour deux états et $Q = \begin{pmatrix} 1 - a & a \\ b & 1 - b \end{pmatrix}$ , avec $a, b \in [0, 1]$ et $a + b > 0$ , la relation $Q^{n+1}(1, 1) = (1 - a - b)\,Q^n(1, 1) + b$ donne, par récurrence, $Q^n(1, 1) = \frac{b}{a + b} + \frac{a}{a + b}(1 - a - b)^n.$

Pour $a = 0{,}3$ et $b = 0{,}1$ , $Q^n(1, 1) = \frac14 + \frac34 \cdot 0{,}6^n$ , qui vaut déjà $0{,}2545$ pour $n = 10$ : la chaîne oublie vite son point de départ, et la probabilité d'être en $1$ se stabilise vers $\frac14$ . Pour $a = b = 1$ , au contraire, la chaîne alterne entre les deux états, et $Q^n(1, 1)$ , qui vaut $1$ ou $0$ selon la parité de $n$ , n'a pas de limite ; c'est le phénomène de période du nœud Classes, période.

Remarque

L'erreur la plus répandue est de croire qu'une fonction d'une chaîne de Markov en est encore une. Sur $\{1, 2, 3\}$ , la chaîne déterministe $1 \to 2 \to 3 \to 1$ issue d'un état tiré uniformément est une chaîne de Markov ; avec $f(1) = f(2) = a$ et $f(3) = b$ , la suite $Y_n = f(X_n)$ vérifie $\begin{aligned} P(Y_2 = b \mid Y_0 = a, Y_1 = a) &= 1, \\ P(Y_2 = b \mid Y_0 = b, Y_1 = a) &= 0, \end{aligned}$ puisque le premier conditionnement impose $X_0 = 1$ , $X_1 = 2$ et le second $X_0 = 3$ , $X_1 = 1$ . Le présent $Y_1 = a$ ne suffit plus à prédire l'avenir.

Remarque

Markov a introduit ces suites en 1906, dans un article sur l'extension de la loi des grands nombres à des grandeurs dépendantes, publié dans les Izvestiia de la Société physico-mathématique de Kazan. Kolmogorov a développé en 1936 la théorie des chaînes à une infinité dénombrable d'états (Anfangsgründe der Theorie der Markoffschen Ketten mit unendlich vielen möglichen Zuständen, Recueil mathématique de Moscou), qui est le cadre de ce chapitre.

Repose sur

Matrices de transition et chemins

Sert à

Construction d'une chaîne à partir de variables uniformes Propriété de Markov Classes de communication, irréductibilité et période