Exercice 94

1. Par définition du produit matriciel, puis par la bilinéarité de la covariance (proposition 23 (ii)), appliquée à chaque argument, $$\Lambda^{T}C\Lambda = \sum_{i=1}^{n}\sum_{j=1}^{n} \lambda_{i}\lambda_{j}\operatorname{Cov}(X_{i}, X_{j}) = \operatorname{Cov}\Big(\sum_{i=1}^{n} \lambda_{i}X_{i}, \sum_{j=1}^{n} \lambda_{j}X_{j}\Big), \qquad \boxed{\Lambda^{T}C\Lambda = \mathrm{V}(\lambda_{1}X_{1} + \cdots + \lambda_{n}X_{n})}$$ par la proposition 23 (i). En particulier $\Lambda^{T}C\Lambda \geqslant 0$ pour toute colonne $\Lambda$ : la matrice symétrique $C$ est positive.

2. Pour $\Lambda \in \mathbb{R}^{n}$, on note $Z_{\Lambda} = \lambda_{1}X_{1} + \cdots + \lambda_{n}X_{n}$. Par bilinéarité, la $i$-ième coordonnée de $C\Lambda$ est $$(C\Lambda)_{i} = \sum_{j=1}^{n} \operatorname{Cov}(X_{i}, X_{j})\lambda_{j} = \operatorname{Cov}(X_{i}, Z_{\Lambda}).$$

Si $C$ n'est pas inversible, il existe une colonne $\Lambda \neq 0$ telle que $C\Lambda = 0$ (chapitre 16). Alors $\mathrm{V}(Z_{\Lambda}) = \Lambda^{T}C\Lambda = 0$, et le théorème 11 (iii) donne $\mathrm{P}\big(Z_{\Lambda} = \mathrm{E}(Z_{\Lambda})\big) = 1$ : il existe des réels non tous nuls et un réel $c = \mathrm{E}(Z_{\Lambda})$ tels que $\mathrm{P}(\lambda_{1}X_{1} + \cdots + \lambda_{n}X_{n} = c) = 1$.

Réciproquement, supposons $\Lambda \neq 0$ et $\mathrm{P}(Z_{\Lambda} = c) = 1$. Alors $Z_{\Lambda}(\omega) = c$ pour toute issue $\omega$ de probabilité non nulle, donc $\mathrm{E}(Z_{\Lambda}) = c$ (proposition 18), et, pour tout $i$, la proposition 18 donne $$(C\Lambda)_{i} = \operatorname{Cov}(X_{i}, Z_{\Lambda}) = \sum_{\omega \in \Omega} \big(X_{i}(\omega) - \mathrm{E}(X_{i})\big)\big(Z_{\Lambda}(\omega) - c\big)\mathrm{P}(\{\omega\}) = 0,$$ chaque terme étant nul. Ainsi $C\Lambda = 0$ avec $\Lambda \neq 0$, et $C$ n'est pas inversible. Par contraposée, $$\boxed{\begin{array}{c} C \text{ inversible} \iff \text{aucune combinaison } \lambda_{1}X_{1} + \cdots + \lambda_{n}X_{n}, \text{ à coefficients non tous nuls,} \\ \text{n'est constante avec probabilité } 1 \end{array}}$$ Par exemple, les nombres de boules $X_{1}$, …, $X_{n}$ des tiroirs de l'exercice 80 ont une somme constante égale à $r$ : leur matrice de covariance n'est pas inversible, et la colonne $(1, \dots, 1)^{T}$ est dans son noyau. Pour $n = 3$ et $r = 2$, on trouve $$C = \frac{2}{9}\begin{pmatrix} 2 & -1 & -1 \\ -1 & 2 & -1 \\ -1 & -1 & 2 \end{pmatrix}, \qquad \det C = 0 \ \checkmark.$$

Comparaison avec le chapitre 19. La matrice de Gram d'une famille $(x_{1}, \dots, x_{n})$ de vecteurs d'un espace euclidien de dimension $n$ est inversible si et seulement si la famille est libre (chapitre 19, proposition 9 (ii)). Ici, $C$ est la matrice des $\mathrm{E}(U_{i}U_{j})$, où $U_{i} = X_{i} - \mathrm{E}(X_{i})$ sont les variables centrées : c'est une « matrice de Gram » pour la forme bilinéaire symétrique $(U, V) \mapsto \mathrm{E}(UV)$ sur l'espace $\mathbb{R}^{\Omega}$. Cette forme est positive, mais elle n'est pas définie dès qu'une issue a une probabilité nulle, ce qui explique qu'on ne puisse conclure qu'à une égalité avec probabilité $1$. Si toutes les issues ont une probabilité non nulle, c'est un produit scalaire, et le résultat dit exactement que $C$ est inversible si et seulement si la famille $(U_{1}, \dots, U_{n})$ des variables centrées est libre.

À retenir. Une matrice de covariance est toujours symétrique et positive ; elle est inversible si et seulement si les variables ne sont liées par aucune relation affine certaine. C'est la même dichotomie qu'au chapitre 19, avec la variance à la place du carré de la norme.