Définition 3Chaînes de Markov
Classes de communication, irréductibilité et période
On dit que mène à , et l'on écrit , s'il existe tel que ; et communiquent, ce que l'on note , si et . Les classes d'équivalence de sont les classes de communication ; une classe est fermée si et entraînent . La matrice , ou toute chaîne de matrice , est irréductible s'il n'y a qu'une classe.
Soit un état tel que l'ensemble soit non vide. Le sous-groupe de engendré par , formé des combinaisons à coefficients entiers d'éléments de , s'écrit pour un unique entier (Idéaux de ℤ) : c'est le plus grand commun diviseur des éléments de , et on l'appelle la période de . L'état est apériodique si .
(i) est une relation d'équivalence sur .
(ii) Si communiquent, et sont non vides, et et ont la même période. En particulier, si est irréductible, est non vide pour tout , et tous les états ont la même période.
(iii) Si est apériodique, il existe tel que pour tout . Si est fini et irréductible et apériodique, il existe tel que pour tous et tout .
Démonstration
(i) La relation est réflexive, puisque , symétrique par définition, et transitive par l'inégalité (Matrices de transition, (iii)).
(ii) Si , alors et . Sinon, soit ; il existe tels que et , et : , et de même .
Pour , on a de même donc . L'entier divise et , donc : il divise tout élément de , donc tout élément du sous-groupe qu'ils engendrent, et . Par symétrie, , et ces entiers positifs sont égaux.
(iii) est stable par addition, puisque . Comme appartient au sous-groupe engendré, écrivons avec , et séparons les coefficients positifs et négatifs : , où et sont des sommes, éventuellement vides, d'éléments de .
Si , alors , et tout est dans . Sinon, et sont dans . Pour , la division euclidienne donne avec , et est une somme d'éléments de , puisque . On prend .
Si est fini et irréductible et apériodique, chaque a un tel , et pour tous il existe tel que . Pour , et l'on prend pour le plus grand des entiers , en nombre fini.
□Sur , avec , la marche sur le cycle va de à ou à modulo avec probabilité . Elle est irréductible. Un chemin de à qui fait pas en avant et en arrière a pour longueur , et divise .
Si est pair, est pair, donc la longueur aussi : , et comme , la période vaut . Si est impair, et sont dans , et la période divise .
L'erreur la plus répandue est de croire qu'une chaîne irréductible finie oublie toujours son point de départ. Pour la marche sur un cycle pair, pour tout impair : la loi de oscille et ne converge pas. Le nœud Convergence vers l'équilibre montre que l'apériodicité suffit à rétablir la convergence ; il suffit pour l'obtenir d'un seul état tel que , puisqu'alors .