Exercice 84

Pour une variable $Z$ et un réel $b$, la linéarité de l'espérance donne $$\mathrm{E}\big((Z - b)^{2}\big) = \mathrm{E}(Z^{2}) - 2b\mathrm{E}(Z) + b^{2} = \mathrm{V}(Z) + \big(\mathrm{E}(Z) - b\big)^{2},$$ par la formule de König-Huygens. On l'applique à $Z = Y - aX$, dont la variance se développe par bilinéarité (proposition 23) : $$\mathrm{V}(Y - aX) = \mathrm{V}(Y) - 2a\operatorname{Cov}(X, Y) + a^{2}\mathrm{V}(X).$$ On obtient, en posant $a^{\ast} = \frac{\operatorname{Cov}(X, Y)}{\mathrm{V}(X)}$ et en complétant le carré, $$\mathrm{E}\Big(\big(Y - (aX + b)\big)^{2}\Big) = \mathrm{V}(X)\,(a - a^{\ast})^{2} + \big(b - \mathrm{E}(Y) + a\mathrm{E}(X)\big)^{2} + \mathrm{V}(Y) - \frac{\operatorname{Cov}(X, Y)^{2}}{\mathrm{V}(X)}.$$ Les deux premiers termes sont positifs, puisque $\mathrm{V}(X) > 0$, et ils sont nuls simultanément si et seulement si $a = a^{\ast}$ et $b = \mathrm{E}(Y) - a^{\ast}\mathrm{E}(X)$. Ainsi le minimum est atteint en un unique couple : $$\boxed{a = \frac{\operatorname{Cov}(X, Y)}{\mathrm{V}(X)}, \qquad b = \mathrm{E}(Y) - a\,\mathrm{E}(X), \qquad \min = \mathrm{V}(Y) - \frac{\operatorname{Cov}(X, Y)^{2}}{\mathrm{V}(X)}}$$ Ce minimum est positif : on retrouve l'inégalité de Cauchy-Schwarz $\operatorname{Cov}(X, Y)^{2} \leqslant \mathrm{V}(X)\mathrm{V}(Y)$ du théorème 12, et il est nul si et seulement si $\mathrm{P}(Y = aX + b) = 1$ (théorème 11 (iii)). Si $\mathrm{V}(Y) > 0$, il s'écrit $\mathrm{V}(Y)(1 - \rho^{2})$, où $\rho$ est le coefficient de corrélation : plus $|\rho|$ est proche de $1$, mieux $Y$ est approchée par une fonction affine de $X$.

Si l'on munit un nuage de points $(x_{1}, y_{1})$, …, $(x_{m}, y_{m})$ de la probabilité uniforme, et que $X$ et $Y$ sont l'abscisse et l'ordonnée d'un point tiré au hasard, la quantité minimisée est $\frac{1}{m}\sum_{i} \big(y_{i} - (ax_{i} + b)\big)^{2}$, et l'on retrouve exactement la droite des moindres carrés de la proposition 14 du chapitre 19 : pente $a = \frac{\operatorname{Cov}(X, Y)}{\mathrm{V}(X)}$, comme le dit la remarque qui suit le théorème 12, et droite passant par le point moyen $(\bar{x}, \bar{y}) = \big(\mathrm{E}(X), \mathrm{E}(Y)\big)$.

À retenir. La minimisation se fait sans dériver, en complétant deux carrés : d'abord en $b$, à $a$ fixé, puis en $a$. C'est la méthode du chapitre 19, où la droite des moindres carrés était une projection orthogonale ; ici, $aX + b$ est la meilleure approximation de $Y$ par une fonction affine de $X$, au sens de l'écart quadratique moyen.