Existence et unicité d'une mesure invariante

(i) Une autre écriture. Sous $P_x$, $T_x < +\infty$ presque sûrement, et $X_{T_x} = x = X_0$ ; on peut donc compter les visites aux instants $1, \dots, T_x$ au lieu de $0, \dots, T_x - 1$, et, par convergence monotone, $$\gamma_x(y) = \sum_{n \geqslant 1} P_x(X_n = y,\ n \leqslant T_x).$$

Pour $n \geqslant 1$, l'événement $\{n \leqslant T_x\}$ est le complémentaire de $\{T_x \leqslant n - 1\}$, donc appartient à $\mathcal F_{n-1}$ ; la propriété de Markov à l'instant $n - 1$ (Propriété de Markov, (ii)) donne $$\begin{aligned} &P_x(X_{n-1} = z,\ X_n = y,\ n \leqslant T_x) \\ &= P_x(X_{n-1} = z,\ n - 1 < T_x)\,Q(z, y). \end{aligned}$$

Invariance. En sommant sur $z$, puis sur $n \geqslant 1$, par paquets, $$\begin{aligned} \gamma_x(y) &= \sum_z\Big(\sum_{m \geqslant 0}P_x(X_m = z,\ m < T_x)\Big) \\ &\qquad \cdot Q(z, y) \\ &= \sum_z \gamma_x(z)\,Q(z, y). \end{aligned}$$ Comme $X_n \neq x$ pour $0 < n < T_x$, seule la visite de l'instant $0$ compte dans $\gamma_x(x)$, qui vaut $1$.

Positivité et finitude. Par récurrence, $\gamma_x = \gamma_xQ^n$ pour tout $n$. Soient $m$ et $r$ tels que $Q^m(x, y) > 0$ et $Q^r(y, x) > 0$ ; alors $\gamma_x(y) \geqslant \gamma_x(x)Q^m(x, y) > 0$, et $1 = \gamma_x(x) \geqslant \gamma_x(y)Q^r(y, x)$, d'où $\gamma_x(y) < +\infty$.

(ii) Minoration. En remplaçant, dans $\lambda(y) = Q(x, y) + \sum_{z_1 \neq x}\lambda(z_1)Q(z_1, y)$, chaque $\lambda(z_1)$ par sa propre expression, et ainsi de suite $k$ fois, on obtient $$\begin{aligned} \lambda(y) = {}&\sum_{n=1}^{k}\ \sum_{z_1, \dots, z_{n-1} \neq x} Q(x, z_{n-1}) \\ &\qquad \cdots Q(z_1, y) + R_k(y), \end{aligned}$$ où $R_k(y) \geqslant 0$ est la somme des termes contenant encore $\lambda$. Par la formule des chemins, le terme d'indice $n$ est $P_x(X_n = y,\ n \leqslant T_x)$ ; donc $\lambda(y) \geqslant \sum_{n=1}^k P_x(X_n = y,\ n \leqslant T_x)$ pour tout $k$, et $\lambda \geqslant \gamma_x$ par l'écriture de (i).

Égalité. $\lambda$ est finie, comme $\gamma_x$ en (i), puisque $1 = \lambda(x) \geqslant \lambda(y)Q^r(y, x)$. La différence $\nu = \lambda - \gamma_x$ est donc une mesure invariante, nulle en $x$. Pour tout $y$, $0 = \nu(x) \geqslant \nu(y)Q^r(y, x)$, d'où $\nu(y) = 0$.

Les autres mesures invariantes. Si $\lambda$ est invariante et $\lambda(y) = +\infty$, alors $\lambda(z) \geqslant \lambda(y)Q^m(y, z) = +\infty$ pour tout $z$, $m$ étant choisi tel que $Q^m(y, z) > 0$ ; la mesure identiquement égale à $+\infty$ est d'ailleurs invariante. Si $\lambda$ est non nulle et à valeurs finies, $\lambda(z) > 0$ pour un $z$, et $\lambda(x) \geqslant \lambda(z)Q^r(z, x) > 0$ ; la mesure $\lambda/\lambda(x)$ vaut $1$ en $x$, donc égale $\gamma_x$.

(iii) Par convergence monotone, en sommant d'abord sur $y$ : $$\begin{aligned} \sum_y\gamma_x(y) &= E_x\Big[\sum_{n=0}^{T_x - 1}\sum_y\mathbf 1_{\{X_n = y\}}\Big] \\ &= E_x[T_x]. \end{aligned}$$