Moments exponentiels et inégalité de Hoeffding

On note $e^x = \exp x$ (Puissances réelles, (ii)).

(i) Inégalité de Markov (Espérance, variance) appliquée à $e^{tX} \geqslant 0$ et à $e^{ta}$, la fonction $\exp$ étant strictement croissante (Exponentielle, (i)), de sorte que $X \geqslant a$ équivaut à $e^{tX} \geqslant e^{ta}$ pour $t > 0$.

(ii) La convexité de l'exponentielle (Convexité, (ii)) donne, pour tout $x \in [-1, 1]$, $$e^{tx} \leqslant \frac{1 - x}2 e^{-t} + \frac{1 + x}2 e^t.$$ On applique cette inégalité à $x = X(\omega)$ et l'on prend l'espérance, qui est croissante et vérifie $E[aY + bZ] = aE[Y] + bE[Z]$ (Fonctions intégrables, (i)) ; comme $E[X] = 0$, le membre de droite a pour espérance $\frac12(e^{-t} + e^t) = \cosh t$. Ainsi $E[e^{tX}] \leqslant \cosh t$, et $\cosh t \leqslant e^{t^2/2}$ par Convexité, (iii).

(iii) Par indépendance (Espérance, variance, (iv), et regroupement), $$E[e^{tS_n}] = \prod_i E[e^{tX_i}] \leqslant e^{nt^2/2}.$$ Par (i), $P(S_n \geqslant a) \leqslant e^{-ta + nt^2/2}$, et l'on prend $t = a/n$.