Propriété de Markov

(i) Ces événements forment une tribu, puisque l'image réciproque par $(X_0, \dots, X_n)$ respecte complémentaires et réunions ; elle contient les générateurs de $\mathcal F_n$. Elle est contenue dans $\mathcal F_n$, car $D$ est fini ou dénombrable et chaque $\{X_0 = x_0, \dots, X_n = x_n\}$ appartient à $\mathcal F_n$.

(ii) Cylindres. Soit $A = \{X_0 = x_0, \dots, X_n = x_n\}$ avec $x_n = x$, et $B = C(z_0, \dots, z_k)$. Si $z_0 \neq x$, le premier membre est nul. Sinon, la définition donne $$\begin{aligned} &P(A \cap \{X_{n+1} = z_1, \dots, X_{n+k} = z_k\}) \\ &= P(A)\,Q(x, z_1)\cdots Q(z_{k-1}, z_k). \end{aligned}$$ Par (i) et la σ-additivité, on passe de ces événements $A$ à tout événement de $\mathcal F_n$, ceux pour lesquels $x_n \neq x$ ne contribuant à aucun des deux membres.

La chaîne décalée. Avec $A = \Omega$, on vient de voir que $P(\theta_nX \in C(z_0, \dots, z_k) \mid X_n = x)$ vaut $\delta_x(z_0)Q(z_0, z_1)\cdots Q(z_{k-1}, z_k)$ : sous $P(\cdot \mid X_n = x)$, $\theta_nX$ est une chaîne issue de $x$. Il en existe donc une, et $P_x$ est bien défini (Chaînes de Markov, (iii)) ; la formule de (ii) vaut ainsi pour les cylindres.

Toute la tribu. Pour $A$ fixé, les deux membres sont, comme fonctions de $B$, des mesures finies sur $\mathcal C$, puisque $\{\theta_nX \in B\}$ est un événement : $\theta_nX$ est mesurable par l'argument de Chaînes de Markov, (iii). Elles coïncident sur le π-système des cylindres, de $\varnothing$ et de $I^{\mathbb N}$, qui engendre $\mathcal C$, donc partout par le lemme de Dynkin (Classes monotones, (ii)).

(iii) Pour $F = \mathbf 1_B$, c'est (ii) ; par linéarité, la formule vaut pour les fonctions étagées positives, puis pour $F$ mesurable positive, limite croissante de fonctions étagées (Fonctions étagées), par convergence monotone (Convergence monotone).