ATLAS Ouvrir dans l'atlas →

Définition 3Chaînes de Markov

Classes de communication, irréductibilité et période

On dit que xx mène à yy, et l'on écrit x→yx \to y, s'il existe n∈ℕn \in \mathbb N tel que Qn(x,y)>0Q^n(x, y) > 0 ; xx et yy communiquent, ce que l'on note x↔yx \leftrightarrow y, si x→yx \to y et y→xy \to x. Les classes d'équivalence de ↔\leftrightarrow sont les classes de communication ; une classe CC est fermée si x∈Cx \in C et x→yx \to y entraînent y∈Cy \in C. La matrice QQ, ou toute chaîne de matrice QQ, est irréductible s'il n'y a qu'une classe.

Soit xx un état tel que l'ensemble R(x)={n⩾1:Qn(x,x)>0}R(x) = \{n \geqslant 1 : Q^n(x, x) > 0\} soit non vide. Le sous-groupe de ℤ{\mathbb Z} engendré par R(x)R(x), formé des combinaisons a1s1+⋯+arsra_1s_1 + \cdots + a_rs_r à coefficients entiers d'éléments de R(x)R(x), s'écrit dℤd\mathbb Z pour un unique entier d⩾1d \geqslant 1 (Idéaux de ℤ) : c'est le plus grand commun diviseur des éléments de R(x)R(x), et on l'appelle la période d(x)d(x) de xx. L'état est apériodique si d(x)=1d(x) = 1.

Énoncé

(i) ↔\leftrightarrow est une relation d'équivalence sur II.

(ii) Si x≠yx \neq y communiquent, R(x)R(x) et R(y)R(y) sont non vides, et xx et yy ont la même période. En particulier, si QQ est irréductible, R(x)R(x) est non vide pour tout xx, et tous les états ont la même période.

(iii) Si xx est apériodique, il existe NN tel que Qn(x,x)>0Q^n(x, x) > 0 pour tout n⩾Nn \geqslant N. Si II est fini et QQ irréductible et apériodique, il existe NN tel que Qn(x,y)>0Q^n(x, y) > 0 pour tous x,y∈Ix, y \in I et tout n⩾Nn \geqslant N.

Démonstration

(i) La relation est réflexive, puisque Q0(x,x)=1Q^0(x, x) = 1, symétrique par définition, et transitive par l'inégalité Qm+n(x,z)⩾Qm(x,y) Qn(y,z)Q^{m+n}(x, z) \geqslant Q^m(x, y)\,Q^n(y, z) (Matrices de transition, (iii)).

(ii) Si I={x}I = \{x\}, alors Q(x,x)=1Q(x, x) = 1 et 1∈R(x)1 \in R(x). Sinon, soit y≠xy \neq x ; il existe a,b⩾1a, b \geqslant 1 tels que Qa(x,y)>0Q^a(x, y) > 0 et Qb(y,x)>0Q^b(y, x) > 0, et Qa+b(x,x)⩾Qa(x,y)Qb(y,x)>0Q^{a+b}(x, x) \geqslant Q^a(x, y)Q^b(y, x) > 0 : a+b∈R(x)a + b \in R(x), et de même a+b∈R(y)a + b \in R(y).

Pour n∈R(y)n \in R(y), on a de même Qa+n+b(x,x)⩾Qa(x,y)Qn(y,y)Qb(y,x)>0,\begin{aligned} &Q^{a+n+b}(x, x) \\ &\geqslant Q^a(x, y)Q^n(y, y)Q^b(y, x) > 0, \end{aligned} donc a+n+b∈R(x)a + n + b \in R(x). L'entier d(x)d(x) divise a+ba + b et a+n+ba + n + b, donc nn : il divise tout élément de R(y)R(y), donc tout élément du sous-groupe d(y)ℤd(y)\mathbb Z qu'ils engendrent, et d(x)∣d(y)d(x) \mid d(y). Par symétrie, d(y)∣d(x)d(y) \mid d(x), et ces entiers positifs sont égaux.

(iii) R(x)R(x) est stable par addition, puisque Qm+n(x,x)⩾Qm(x,x)Qn(x,x)Q^{m+n}(x, x) \geqslant Q^m(x, x)Q^n(x, x). Comme 11 appartient au sous-groupe engendré, écrivons 1=a1s1+⋯+arsr1 = a_1s_1 + \cdots + a_rs_r avec si∈R(x)s_i \in R(x), et séparons les coefficients positifs et négatifs : 1=A−B1 = A - B, où AA et BB sont des sommes, éventuellement vides, d'éléments de R(x)R(x).

Si B=0B = 0, alors 1=A∈R(x)1 = A \in R(x), et tout n⩾1n \geqslant 1 est dans R(x)R(x). Sinon, BB et B+1=AB + 1 = A sont dans R(x)R(x). Pour n⩾B2n \geqslant B^2, la division euclidienne donne n=qB+rn = qB + r avec 0⩽r<B⩽q0 \leqslant r < B \leqslant q, et n=(q−r)B+r(B+1)n = (q - r)B + r(B + 1) est une somme d'éléments de R(x)R(x), puisque q−r⩾1q - r \geqslant 1. On prend N=B2N = B^2.

Si II est fini et QQ irréductible et apériodique, chaque xx a un tel NxN_x, et pour tous x,yx, y il existe axya_{xy} tel que Qaxy(x,y)>0Q^{a_{xy}}(x, y) > 0. Pour n⩾Nx+axyn \geqslant N_x + a_{xy}, Qn(x,y)⩾Qn−axy(x,x) Qaxy(x,y)>0,Q^n(x, y) \geqslant Q^{n - a_{xy}}(x, x)\,Q^{a_{xy}}(x, y) > 0, et l'on prend pour NN le plus grand des entiers Nx+axyN_x + a_{xy}, en nombre fini.

□
Remarque

Sur {0,…,m−1}\{0, \dots, m - 1\}, avec m⩾3m \geqslant 3, la marche sur le cycle va de xx à x+1x + 1 ou à x−1x - 1 modulo mm avec probabilité 12\frac12. Elle est irréductible. Un chemin de 00 à 00 qui fait pp pas en avant et qq en arrière a pour longueur p+qp + q, et mm divise p−qp - q.

Si mm est pair, p−qp - q est pair, donc la longueur p+q=(p−q)+2qp + q = (p - q) + 2q aussi : R(0)⊂2ℤR(0) \subset 2\mathbb Z, et comme 2∈R(0)2 \in R(0), la période vaut 22. Si mm est impair, 22 et mm sont dans R(0)R(0), et la période divise 2∧m=12 \wedge m = 1.

0 1 2 3 4 5 m = 6 : période 2 0 1 2 3 4 m = 5 : période 1
Les marches sur les cycles à 66 et à 55 états, chaque arête étant parcourue dans les deux sens avec probabilité 12\frac12. Sur le cycle pair, les états alternent entre rouge et bleu, et chaque pas change de couleur : un retour demande un nombre pair de pas. Sur le cycle impair, aucune telle coloration n'existe, puisque le tour complet, en rouge, revient au départ en 55 pas.
Remarque

L'erreur la plus répandue est de croire qu'une chaîne irréductible finie oublie toujours son point de départ. Pour la marche sur un cycle pair, Qn(0,0)=0Q^n(0, 0) = 0 pour tout nn impair : la loi de XnX_n oscille et ne converge pas. Le nœud Convergence vers l'équilibre montre que l'apériodicité suffit à rétablir la convergence ; il suffit pour l'obtenir d'un seul état xx tel que Q(x,x)>0Q(x, x) > 0, puisqu'alors 1∈R(x)1 \in R(x).

Ouvrir dans l'atlas interactif →