Théorème 9Chaînes de Markov
Convergence vers l'équilibre par couplage
Soit fini et irréductible et apériodique. Soient tel que pour tous (Classes, période, (iii)) et .
(i) Pour toutes probabilités et sur et tout ,
(ii) a une unique probabilité invariante , et, pour toute probabilité , En particulier, pour toute chaîne , pour tout , à vitesse géométrique.
Démonstration
(i) Le couplage. Fixons . Sur l'ensemble fini , muni de toutes ses parties, soit la probabilité de poids produit des poids de deux chaînes à horizon fini (Existence, (ii)). En sommant sur l'autre composante, les coordonnées forment une chaîne jusqu'à l'instant , et les une chaîne ; donc et (Chaînes de Markov, (ii)). Soit , et s'il n'y en a pas.
Après la rencontre. Pour et , l'événement ne porte que sur les coordonnées d'indices . En sommant les poids sur les coordonnées d'indices , sauf , le facteur de la première chaîne donne par la formule des chemins, celui de la seconde donne , d'où et la même formule pour , par symétrie. En sommant sur et , , puis
La rencontre. Soit tel que . Par le même calcul, appliqué à l'instant et aux événements , avec , la probabilité que les deux chaînes soient au même point à l'instant sachant cet événement est Comme est contenu dans , en sommant sur les couples on obtient , et, par récurrence, pour .
(ii) Existence. Soit une probabilité. Appliqué à , pour , le point (i) donne : pour chaque , la suite est de Cauchy, donc converge vers un réel (Complétude). Les sommes sur étant finies, est une probabilité, et
Unicité et vitesse. Pour une probabilité invariante , , et (i), appliqué à et à , donne l'inégalité annoncée avec ; en la prenant pour , invariante, son premier membre vaut pour tout , et tend vers : .
□Pour la chaîne à trois états du nœud Matrices de transition, a tous ses coefficients non nuls, le plus petit étant ; on peut prendre et .
L'écart vaut pour , alors que la borne vaut ; le vrai taux, par pas, est le plus grand module des valeurs propres de autres que . Le couplage donne la convergence et sa nature géométrique sans aucune algèbre linéaire, mais pas la meilleure constante.
L'idée de faire marcher deux copies indépendantes de la chaîne jusqu'à leur rencontre est due à Doeblin, dans son exposé de 1938 sur les chaînes à un nombre fini d'états (Exposé de la théorie des chaînes simples constantes de Markoff à un nombre fini d'états, Revue mathématique de l'Union interbalkanique 2). - | Le couplage est construit ici sur un ensemble fini, à horizon fixé, et la probabilité invariante est obtenue comme limite des lois , sans passer par les temps de retour : le théorème ne demande ni suite infinie de variables indépendantes ni mesure de Lebesgue, et il est démontré sans aucune forme du choix. Par le nœud Récurrence positive, on a de plus . Une autre démonstration passe par le théorème de Perron-Frobenius sur les matrices à coefficients positifs, qui n'est pas établi dans l'atlas.