ATLAS Ouvrir dans l'atlas →

Théorème 9Chaînes de Markov

Convergence vers l'équilibre par couplage

Soit II fini et QQ irréductible et apériodique. Soient N⩾1N \geqslant 1 tel que QN(x,y)>0Q^N(x, y) > 0 pour tous x,yx, y (Classes, période, (iii)) et δ=min⁡x,yQN(x,y)>0\delta = \min_{x, y}Q^N(x, y) > 0.

Énoncé

(i) Pour toutes probabilités μ\mu et ν\nu sur II et tout n∈ℕn \in \mathbb N, ∑y∈I∣(μQn)(y)−(νQn)(y)∣⩽2(1−δ)⌊n/N⌋.\begin{aligned} &\sum_{y \in I}\big|(\mu Q^n)(y) - (\nu Q^n)(y)\big| \\ &\leqslant 2(1 - \delta)^{\lfloor n/N\rfloor}. \end{aligned}

(ii) QQ a une unique probabilité invariante π\pi, et, pour toute probabilité μ\mu, ∑y∈I∣(μQn)(y)−π(y)∣⩽2(1−δ)⌊n/N⌋.\sum_{y \in I}\big|(\mu Q^n)(y) - \pi(y)\big| \leqslant 2(1 - \delta)^{\lfloor n/N\rfloor}. En particulier, pour toute chaîne (μ,Q)(\mu, Q), P(Xn=y)→π(y)P(X_n = y) \to \pi(y) pour tout yy, à vitesse géométrique.

Démonstration

(i) Le couplage. Fixons nn. Sur l'ensemble fini Ω=In+1×In+1\Omega = I^{n+1} \times I^{n+1}, muni de toutes ses parties, soit PP la probabilité de poids p(x0,…,xn; y0,…,yn)=μ(x0)Q(x0,x1)⋯Q(xn−1,xn)⋅ν(y0)Q(y0,y1)⋯Q(yn−1,yn),\begin{aligned} &p(x_0, \dots, x_n;\ y_0, \dots, y_n) \\ &= \mu(x_0)Q(x_0, x_1)\cdots Q(x_{n-1}, x_n) \\ &\quad \cdot \nu(y_0)Q(y_0, y_1)\cdots Q(y_{n-1}, y_n), \end{aligned} produit des poids de deux chaînes à horizon fini (Existence, (ii)). En sommant sur l'autre composante, les coordonnées XkX_k forment une chaîne (μ,Q)(\mu, Q) jusqu'à l'instant nn, et les YkY_k une chaîne (ν,Q)(\nu, Q) ; donc P(Xn=y)=(μQn)(y)P(X_n = y) = (\mu Q^n)(y) et P(Yn=y)=(νQn)(y)P(Y_n = y) = (\nu Q^n)(y) (Chaînes de Markov, (ii)). Soit T=min⁡{k⩽n:Xk=Yk}T = \min\{k \leqslant n : X_k = Y_k\}, et T=+∞T = +\infty s'il n'y en a pas.

Après la rencontre. Pour t⩽nt \leqslant n et z,y∈Iz, y \in I, l'événement {T=t,Xt=Yt=z}\{T = t, X_t = Y_t = z\} ne porte que sur les coordonnées d'indices ⩽t\leqslant t. En sommant les poids sur les coordonnées d'indices >t> t, sauf xn=yx_n = y, le facteur de la première chaîne donne Qn−t(z,y)Q^{n-t}(z, y) par la formule des chemins, celui de la seconde donne 11, d'où P(T=t, Xt=z, Xn=y)=P(T=t, Xt=z) Qn−t(z,y),\begin{aligned} &P(T = t,\ X_t = z,\ X_n = y) \\ &= P(T = t,\ X_t = z)\,Q^{n-t}(z, y), \end{aligned} et la même formule pour YY, par symétrie. En sommant sur t⩽nt \leqslant n et zz, P(Xn=y, T⩽n)=P(Yn=y, T⩽n)P(X_n = y,\ T \leqslant n) = P(Y_n = y,\ T \leqslant n), puis ∑y∣(μQn)(y)−(νQn)(y)∣=∑y∣P(Xn=y, T>n)−P(Yn=y, T>n)∣⩽2P(T>n).\begin{aligned} &\sum_y\big|(\mu Q^n)(y) - (\nu Q^n)(y)\big| \\ &= \sum_y\big|P(X_n = y,\ T > n) \\ &\qquad - P(Y_n = y,\ T > n)\big| \\ &\leqslant 2P(T > n). \end{aligned}

La rencontre. Soit jj tel que (j+1)N⩽n(j + 1)N \leqslant n. Par le même calcul, appliqué à l'instant jNjN et aux événements {T>jN,XjN=a,YjN=b}\{T > jN, X_{jN} = a, Y_{jN} = b\}, avec a≠ba \neq b, la probabilité que les deux chaînes soient au même point à l'instant (j+1)N(j + 1)N sachant cet événement est ∑z∈IQN(a,z) QN(b,z)⩾δ∑zQN(b,z)=δ.\begin{aligned} \sum_{z \in I}Q^N(a, z)\,Q^N(b, z) &\geqslant \delta\sum_z Q^N(b, z) \\ &= \delta. \end{aligned} Comme {T>(j+1)N}\{T > (j + 1)N\} est contenu dans {T>jN}∩{X(j+1)N≠Y(j+1)N}\{T > jN\} \cap \{X_{(j+1)N} \neq Y_{(j+1)N}\}, en sommant sur les couples (a,b)(a, b) on obtient P(T>(j+1)N)⩽(1−δ) P(T>jN)P(T > (j + 1)N) \leqslant (1 - \delta)\,P(T > jN), et, par récurrence, P(T>n)⩽P(T>jN)⩽(1−δ)jP(T > n) \leqslant P(T > jN) \leqslant (1 - \delta)^j pour j=⌊n/N⌋j = \lfloor n/N\rfloor.

(ii) Existence. Soit μ\mu une probabilité. Appliqué à ν=μQk\nu = \mu Q^k, pour k∈ℕk \in \mathbb N, le point (i) donne ∣(μQn)(y)−(μQn+k)(y)∣⩽2(1−δ)⌊n/N⌋|(\mu Q^n)(y) - (\mu Q^{n+k})(y)| \leqslant 2(1 - \delta)^{\lfloor n/N\rfloor} : pour chaque yy, la suite ((μQn)(y))n((\mu Q^n)(y))_n est de Cauchy, donc converge vers un réel π(y)\pi(y) (Complétude). Les sommes sur II étant finies, π\pi est une probabilité, et πQ=lim⁡n (μQn)Q=lim⁡nμQn+1=π.\pi Q = \lim_n\,(\mu Q^n)Q = \lim_n \mu Q^{n+1} = \pi.

Unicité et vitesse. Pour une probabilité invariante π′\pi', π′Qn=π′\pi'Q^n = \pi', et (i), appliqué à μ\mu et à ν=π′\nu = \pi', donne l'inégalité annoncée avec π′\pi' ; en la prenant pour μ=π\mu = \pi, invariante, son premier membre vaut ∑y∣π(y)−π′(y)∣\sum_y|\pi(y) - \pi'(y)| pour tout nn, et tend vers 00 : π=π′\pi = \pi'.

□
Remarque

Pour la chaîne à trois états du nœud Matrices de transition, Q2Q^2 a tous ses coefficients non nuls, le plus petit étant Q2(3,1)=112Q^2(3, 1) = \frac1{12} ; on peut prendre N=2N = 2 et δ=112\delta = \frac1{12}.

n 5 10 0,5 1 n 10 20 30 1 10−2 10−4 10−6 10−8 borne écart
À gauche, les probabilités P(Xn=y)P(X_n = y) pour la chaîne à trois états issue de 11, en rouge, bleu et vert pour y=1,2,3y = 1, 2, 3 : elles s'approchent des valeurs 29\frac29, 49\frac49 et 13\frac13 de π\pi, en pointillé. À droite, en échelle logarithmique, l'écart total ∑y∣P(Xn=y)−π(y)∣\sum_y|P(X_n = y) - \pi(y)|, en rouge, et la borne 2(1−112)⌊n/2⌋2(1 - \frac1{12})^{\lfloor n/2\rfloor} du théorème, en gris : toutes deux décroissent géométriquement, mais la borne beaucoup plus lentement.

L'écart vaut 0,00680{,}0068 pour n=10n = 10, alors que la borne vaut 1,291{,}29 ; le vrai taux, 13+1012≈0,597\frac13 + \frac{\sqrt{10}}{12} \approx 0{,}597 par pas, est le plus grand module des valeurs propres de QQ autres que 11. Le couplage donne la convergence et sa nature géométrique sans aucune algèbre linéaire, mais pas la meilleure constante.

Remarque

L'idée de faire marcher deux copies indépendantes de la chaîne jusqu'à leur rencontre est due à Doeblin, dans son exposé de 1938 sur les chaînes à un nombre fini d'états (Exposé de la théorie des chaînes simples constantes de Markoff à un nombre fini d'états, Revue mathématique de l'Union interbalkanique 2). - | Le couplage est construit ici sur un ensemble fini, à horizon nn fixé, et la probabilité invariante est obtenue comme limite des lois μQn\mu Q^n, sans passer par les temps de retour : le théorème ne demande ni suite infinie de variables indépendantes ni mesure de Lebesgue, et il est démontré sans aucune forme du choix. Par le nœud Récurrence positive, on a de plus π(x)=1/Ex[Tx]\pi(x) = 1/E_x[T_x]. Une autre démonstration passe par le théorème de Perron-Frobenius sur les matrices à coefficients positifs, qui n'est pas établi dans l'atlas.

Ouvrir dans l'atlas interactif →