États récurrents et transients

(i) Soient $T^{(0)} = 0$ et $T^{(k+1)} = \inf\{n > T^{(k)} : X_n = x\}$ les instants successifs de passage en $x$. Ce sont des temps d'arrêt : par récurrence, $$\begin{aligned} &\{T^{(k+1)} = n\} = \bigcup_{l < n}\big(\{T^{(k)} = l\} \\ &\cap \{X_n = x\} \cap \{X_j \neq x,\ l < j < n\}\big). \end{aligned}$$

Sous $P_x$, $X_0 = x$, si bien que $N_x > k$ équivaut à $T^{(k)} < +\infty$. Sur cet événement, $X_{T^{(k)}} = x$, et $T^{(k+1)} - T^{(k)}$ est le temps de retour en $x$ de la chaîne décalée $\theta_{T^{(k)}}X$.

La propriété de Markov forte (Markov forte, (ii)), avec $A = \Omega$ et l'ensemble $B$ des suites $w$ telles que $w_n = x$ pour un $n \geqslant 1$, réunion dénombrable de cylindres, donne $$P_x(T^{(k+1)} < +\infty) = P_x(T^{(k)} < +\infty)\,f_x,$$ les deux membres étant nuls si $P_x(T^{(k)} < +\infty) = 0$. D'où $P_x(N_x > k) = f_x^k$ par récurrence.

Comme $N_x = \sum_{k \geqslant 0}\mathbf 1_{\{N_x > k\}}$, la convergence monotone (Convergence monotone) donne $E_x[N_x] = \sum_k f_x^k$, qui vaut $\frac1{1 - f_x}$ si $f_x < 1$ et $+\infty$ si $f_x = 1$. Elle donne aussi $E_x[N_x] = \sum_n P_x(X_n = x) = \sum_n Q^n(x, x)$ (Chaînes de Markov, (ii)).

(ii) Si $f_x = 1$, les événements $\{N_x > k\}$, de probabilité $1$, décroissent vers $\{N_x = +\infty\}$, qui est donc de probabilité $1$, et la série diverge par (i). Si $f_x < 1$, la série converge par (i), et $N_x$, d'espérance finie, est presque sûrement fini (Intégrale, (iv)).

(iii) Soit $x$ récurrent et $m$ tel que $Q^m(x, y) > 0$. Si l'on avait $y \not\to x$, une chaîne issue de $y$ ne visiterait jamais $x$, puisque $P_y(X_k = x) = Q^k(y, x) = 0$ pour tout $k$. La propriété de Markov à l'instant $m$ (Propriété de Markov, (ii)) donnerait alors $$\begin{aligned} &P_x(X_m = y,\ X_k \neq x \ \forall k \geqslant m) \\ &= Q^m(x, y)\,P_y(H_x = +\infty) \\ &= Q^m(x, y) > 0, \end{aligned}$$ alors que sur cet événement $N_x \leqslant m$, ce qui contredit (ii).

Donc $y \to x$ ; soit $b$ tel que $Q^b(y, x) > 0$. Pour tout $n$, $$\begin{aligned} &Q^{b+n+m}(y, y) \\ &\geqslant Q^b(y, x)\,Q^n(x, x)\,Q^m(x, y), \end{aligned}$$ et la série des $Q^n(y, y)$ diverge avec celle des $Q^n(x, x)$ : $y$ est récurrent par (ii). Enfin, si $x$ est dans une classe récurrente $C$ et $x \to y$, alors $y \to x$, donc $y$ communique avec $x$ et appartient à $C$ : la classe est fermée, au sens du nœud Classes, période.

(iv) Soit $C$ une classe fermée finie et $x \in C$. Pour tout $n$, $Q^n(x, y) = 0$ si $y \notin C$, donc $\sum_{y \in C} Q^n(x, y) = 1$, et $$\sum_{y \in C}\sum_{n \geqslant 0} Q^n(x, y) = +\infty.$$ La somme sur $y$ étant finie, il existe $y \in C$ tel que $\sum_n Q^n(x, y) = +\infty$. Comme $y \leftrightarrow x$, il existe $b$ tel que $Q^b(y, x) > 0$, et $Q^{b+n}(y, y) \geqslant Q^b(y, x)Q^n(x, y)$ : la série des $Q^n(y, y)$ diverge, $y$ est récurrent, et toute la classe aussi par (iii).

(v) Soient $x, y \in I$ et $m$ tel que $Q^m(y, x) > 0$. Comme $y$ est récurrent, une chaîne issue de $y$ repasse en $y$ après l'instant $m$, presque sûrement, par (ii). En décomposant selon la valeur de $X_m$ et par la propriété de Markov à l'instant $m$, $$1 = \sum_z Q^m(y, z)\,P_z(T_y < +\infty),$$ la somme portant sur les $z$ tels que $Q^m(y, z) > 0$. Comme $\sum_z Q^m(y, z) = 1$ et que chaque $P_z(T_y < +\infty)$ vaut au plus $1$, tous valent $1$, en particulier pour $z = x$ : $P_x(H_y < +\infty) = 1$.

Pour une chaîne $(\mu, Q)$, la propriété de Markov à l'instant $0$ donne alors $P(H_y < +\infty) = \sum_x \mu(x)\,P_x(H_y < +\infty) = 1$, et la propriété de Markov forte au temps $H_y$ montre que $N_y = +\infty$ presque sûrement, puisque $P_y(N_y = +\infty) = 1$.