Théorème ergodique pour les chaînes de Markov

(i) Les $R_r$ sont des temps d'arrêt, comme au point (i) du nœud Récurrence et transience, et ils sont finis presque sûrement, puisque $y$ est visité une infinité de fois (même nœud, (v)).

Montrons par récurrence sur $r$ que, pour tous entiers $a_0 \geqslant 0$ et $a_1, \dots, a_r \geqslant 1$, $$\begin{aligned} &P(R_0 = a_0, S_1 = a_1, \dots, S_r = a_r) \\ &= P(R_0 = a_0)\prod_{i=1}^r P_y(T_y = a_i). \end{aligned}$$ L'événement $G = \{R_0 = a_0, S_1 = a_1, \dots, S_{r-1} = a_{r-1}\}$ appartient à $\mathcal F_{R_{r-1}}$, puisque son intersection avec $\{R_{r-1} = n\}$ ne dépend que de $X_0, \dots, X_n$ ; sur $G$, $X_{R_{r-1}} = y$ et $S_r$ est le temps de retour en $y$ de $\theta_{R_{r-1}}X$. La propriété de Markov forte (Markov forte, (ii)) donne $P(G \cap \{S_r = a_r\}) = P(G)\,P_y(T_y = a_r)$.

En sommant sur $a_0$ et sur les $a_i$ omis, la formule produit vaut pour toute sous-famille finie des $S_r$. Les événements $\{S_r = a\}$, avec $\varnothing$, forment un π-système qui engendre $\sigma(S_r)$, et les $S_r$ sont indépendantes (Indépendance, (i)).

(ii) Cas transient. Si $Q$ est transiente, $P_y(T_y = +\infty) > 0$, donc $m_y = +\infty$. Par la propriété de Markov forte au temps $H_y$ et le point (ii) du nœud Récurrence et transience, le nombre total de visites $N_y$ est presque sûrement fini, et $V_n(y) \leqslant N_y$ donne $V_n(y)/n \to 0$.

Cas récurrent. Par (i), $R_r = R_0 + S_1 + \cdots + S_r$, où les $S_i$ sont indépendantes, de même loi, à valeurs entières $\geqslant 1$, d'espérance $m_y$. La loi forte de Kolmogorov (Loi forte de Kolmogorov, (ii) si $m_y < +\infty$, (iii) sinon) donne $R_r/r \to m_y$ presque sûrement, puisque $R_0/r \to 0$.

Pour $n > R_0$, on a $V_n(y) \geqslant 1$, et la $V_n(y)$-ième visite a lieu avant $n$, la suivante après : $R_{V_n(y) - 1} < n \leqslant R_{V_n(y)}$. Donc $$\frac{R_{V_n(y)-1}}{V_n(y)} < \frac n{V_n(y)} \leqslant \frac{R_{V_n(y)}}{V_n(y)}.$$ Comme $V_n(y) \to +\infty$ presque sûrement, les deux bornes tendent vers $m_y$, et $n/V_n(y) \to m_y$, ce qui est l'énoncé, y compris si $m_y = +\infty$.

(iii) Par le nœud Récurrence positive, $\pi(y) = 1/m_y$. L'intersection $\Omega_0$ des événements $\{V_n(y)/n \to \pi(y)\}$, indexée par l'ensemble dénombrable $I$, est de probabilité $1$. Soient $\omega \in \Omega_0$, $c$ un majorant de $|f|$, $\varepsilon > 0$, et $J \subset I$ fini tel que $\pi(I \setminus J) < \varepsilon$, formé des premiers états de l'énumération.

Comme $\sum_y V_n(y)/n = 1 = \sum_y \pi(y)$, $$\begin{aligned} \sum_{y \notin J}\frac{V_n(y)}n &= \sum_{y \in J}\Big(\pi(y) - \frac{V_n(y)}n\Big) \\ &\quad + \pi(I \setminus J) \\ &\leqslant \delta_n + \varepsilon, \end{aligned}$$ où $\delta_n = \sum_{y \in J}|V_n(y)/n - \pi(y)|$ tend vers $0$. Donc $$\begin{aligned} &\Big|\frac1n\sum_{k<n}f(X_k) - \sum_y\pi(y)f(y)\Big| \\ &= \Big|\sum_y\Big(\frac{V_n(y)}n - \pi(y)\Big)f(y)\Big| \\ &\leqslant c\,\delta_n + c\,(\delta_n + \varepsilon) + c\,\varepsilon, \end{aligned}$$ dont la limite supérieure est au plus $2c\varepsilon$.