Récurrence positive et probabilité invariante

Pour la chaîne à trois états du nœud Matrices de transition, on résout $\pi Q = \pi$ : la première équation, $\pi(1) = \frac12\pi(1) + \frac14\pi(2)$, donne $\pi(2) = 2\pi(1)$, la troisième $\pi(3) = \frac34\pi(2)$, et la normalisation $\pi = (\frac29, \frac49, \frac13)$. Partant de $1$, la chaîne y revient donc en $\frac92$ pas en moyenne, ce que confirme la résolution exacte du système des temps moyens d'atteinte.

Dans le modèle proposé par les Ehrenfest pour discuter les objections faites à Boltzmann, $N$ boules sont réparties entre deux urnes, et à chaque instant on choisit une boule uniformément pour la changer d'urne. Le nombre $X_n$ de boules de la première urne est une chaîne irréductible sur $\{0, \dots, N\}$, avec $Q(k, k - 1) = \frac kN$ et $Q(k, k + 1) = \frac{N - k}N$, de période $2$ puisque chaque pas change la parité de $X_n$. La loi binomiale $\pi(k) = \binom Nk 2^{-N}$ est invariante, puisque $\binom N{k-1}(N - k + 1) = \binom Nk k$ et $\binom N{k+1}(k + 1) = \binom Nk(N - k)$ (Coefficients multinomiaux, (i)).

Le temps moyen de retour à l'état où toutes les boules sont dans la seconde urne vaut donc $E_0[T_0] = 2^N$, soit $1024$ pour $N = 10$ et environ $1{,}27 \cdot 10^{30}$ pour $N = 100$, alors que le retour à l'état équilibré $5$, pour $N = 10$, ne demande en moyenne que $\frac{1024}{252} \approx 4{,}06$ pas. Le modèle a été proposé en 1907 (Über zwei bekannte Einwände gegen das Boltzmannsche H-Theorem, Physikalische Zeitschrift 8) ; le calcul ci-dessus éclaire l'objection de récurrence : le retour à un état très ordonné est certain, mais son attente dépasse toute échelle physique.

Pour la marche simple sur $\mathbb Z$, de transitions $Q(x, x \pm 1) = \frac12$, la mesure de comptage est invariante, chaque état recevant la moitié de la masse de chacun de ses deux voisins. Il n'y a pas de probabilité invariante : une telle $\pi$ vérifierait $\pi(x) = \frac12\pi(x - 1) + \frac12\pi(x + 1)$, c'est-à-dire $\pi(x + 1) - \pi(x) = \pi(x) - \pi(x - 1)$, pour tout $x$ ; elle serait donc de la forme $\pi(x) = \pi(0) + dx$, et sa positivité sur tout $\mathbb Z$ imposerait $d = 0$, si bien que sa masse serait nulle ou infinie. La marche étant irréductible, puisque $Q^{|y - x|}(x, y) = 2^{-|y - x|} > 0$, le théorème montre qu'aucun état n'est récurrent positif.

La marche est récurrente : c'est le théorème de Pólya, démontré dans une branche voisine de ce chapitre (Théorème de Pólya, (ii)) et admis ici. Elle est donc récurrente nulle : elle revient presque sûrement en $0$, mais $E_0[T_0] = +\infty$.

Kac a démontré en 1947 (On the notion of recurrence in discrete stochastic processes, Bulletin of the AMS 53) une formule de même nature pour les suites stationnaires : partant d'un ensemble $A$, le temps moyen de retour dans $A$ est l'inverse de la probabilité de $A$ sous la loi stationnaire, sous une hypothèse d'ergodicité.