ChapitreMartingales

Chaînes de Markov à espace d'états fini ou dénombrable

Une chaîne de Markov est une suite de variables à valeurs dans un ensemble fini ou dénombrable d'états, dont chaque pas suit une loi qui ne dépend que de l'état présent, donnée par une matrice de transition. Le chapitre construit ces chaînes à partir d'une suite de variables uniformes indépendantes, sans théorème d'extension, et établit les propriétés de Markov simple et forte, cette dernière en un temps d'arrêt.

Il classe les états : classes de communication, période, récurrence et transience, caractérisées par la divergence de la série $\sum_n Q^n(x, x)$. La marche aléatoire simple sur ${\mathbb Z}^d$ est récurrente en dimensions $1$ et $2$ et transiente en dimension $3$ (Pólya), par des encadrements élémentaires de coefficients binomiaux et trinomiaux qui remplacent la formule de Stirling. Une chaîne irréductible récurrente a une mesure invariante non nulle à valeurs finies, unique à un facteur près parmi celles-ci ; elle a une probabilité invariante $\pi$ si et seulement si ses temps de retour sont d'espérance finie, et alors $\pi(x) = 1/E_x[T_x]$.

Le chapitre est placé dans la branche des martingales parce qu'il en emploie trois outils : les temps d'arrêt, l'arrêt borné, qui résout la ruine du joueur, et la loi forte des grands nombres pour des variables seulement intégrables, qui donne le théorème ergodique : la fréquence des visites en un état $x$ tend vers $\pi(x)$. Pour une chaîne finie irréductible et apériodique, la loi de $X_n$ converge vers $\pi$ à vitesse géométrique, par le couplage de Doeblin, sans le théorème de Perron-Frobenius. Aucune forme du choix n'intervient, en dehors de l'existence de variables uniformes indépendantes sur $[0, 1[$, qui dépend de la mesure de Lebesgue. Les énoncés écrits avec $P_x$ supposent une chaîne issue de $x$ : une chaîne irréductible donnée en fournit une pour chaque état sans choix, et, à défaut, cette existence les rend tributaires du choix dénombrable ; la convergence vers l'équilibre par couplage, construite sur un ensemble fini, reste sans choix.