Théorème spectral des opérateurs compacts autoadjoints ⋆

(i) Notons $Y$ l'adhérence de $u(\bar B)$, qui est compacte. Par le point (iii) du nœud Opérateurs autoadjoints, $|||u|||$ est la plus grande des bornes supérieures de $\langle u(x), x \rangle$ et de $\langle -u(x), x \rangle$ sur $\bar B$. Quitte à remplacer $u$ par $-u$, encore autoadjoint, et compact puisque $(-u)(\bar B) = u(-\bar B) = u(\bar B)$, on peut supposer que $\lambda = |||u|||$, qui n'est pas nul, est la borne supérieure de $\langle u(x), x \rangle$ sur $\bar B$.

Pour $\varepsilon > 0$, l'ensemble $A_\varepsilon$ des $x \in \bar B$ tels que $\langle u(x), x \rangle > \lambda - \varepsilon$ n'est pas vide, par définition de la borne supérieure. Pour $x \in A_\varepsilon$, puisque $\|u(x)\| \leqslant \lambda$ et $\|x\| \leqslant 1$, $$\begin{aligned} \|u(x) - \lambda x\|^2 &= \|u(x)\|^2 - 2\lambda\langle u(x), x \rangle \\ &\quad + \lambda^2\|x\|^2 \\ &\leqslant 2\lambda^2 - 2\lambda(\lambda - \varepsilon) \\ &= 2\lambda\varepsilon. \end{aligned}$$

Un point limite, sans suite. Soit $C_\varepsilon$ l'adhérence de $u(A_\varepsilon)$ : c'est un fermé non vide contenu dans $Y$, et $C_\varepsilon \subset C_{\varepsilon'}$ pour $\varepsilon \leqslant \varepsilon'$. Une intersection finie $C_{\varepsilon_1} \cap \cdots \cap C_{\varepsilon_r}$ contient le plus petit de ces fermés et n'est pas vide ; comme $Y$ est compact (Compacité), l'intersection de tous les $C_\varepsilon$ contient un point $y$.

Ce point est un vecteur propre. Soit $\varepsilon > 0$. Comme $y \in C_\varepsilon$, il existe $x \in A_\varepsilon$ tel que $\|u(x) - y\| < \varepsilon$ (Topologie d'une distance, (ii)). Alors $\|y - \lambda x\| < \varepsilon + \sqrt{2\lambda\varepsilon}$, et $$u(y) - \lambda y = u(y - \lambda x) + \lambda\big(u(x) - y\big)$$ a une norme au plus $\lambda\big(2\varepsilon + \sqrt{2\lambda\varepsilon}\big)$. Ceci valant pour tout $\varepsilon > 0$, $u(y) = \lambda y$.

De plus, $\|u(x)\| \geqslant \langle u(x), x \rangle > \lambda - \varepsilon$ par l'inégalité de Cauchy-Schwarz, d'où $\|y\| > \|u(x)\| - \varepsilon > \lambda - 2\varepsilon$. Donc $\|y\| \geqslant \lambda > 0$, et $y$ est un vecteur propre associé à $\lambda$.

(ii) Soit $\varepsilon > 0$. La partie compacte $Y$ est précompacte (Parties précompactes, (i)) : elle est contenue dans une réunion de boules $B(c_1, r), \dots, B(c_m, r)$ de rayon $r = \varepsilon/\sqrt2$, et deux points d'une même boule sont à distance $< \sqrt2\,\varepsilon$.

Soient $e_1, \dots, e_k$ des vecteurs de norme $1$, deux à deux orthogonaux, propres pour des valeurs propres $\mu_1, \dots, \mu_k$ telles que $|\mu_i| \geqslant \varepsilon$. Pour $i \neq j$, $$\begin{aligned} \|u(e_i) - u(e_j)\|^2 &= \|\mu_i e_i - \mu_j e_j\|^2 \\ &= \mu_i^2 + \mu_j^2 \geqslant 2\varepsilon^2, \end{aligned}$$ si bien que les $u(e_i)$, qui sont dans $Y$, appartiennent à des boules distinctes : $k \leqslant m$.

Des vecteurs propres de norme $1$ associés à des valeurs propres distinctes sont deux à deux orthogonaux (Opérateurs autoadjoints, (i)). Il y a donc au plus $m$ valeurs propres $\lambda$ telles que $|\lambda| \geqslant \varepsilon$.

Soit $\lambda \neq 0$ une valeur propre, et prenons $\varepsilon = |\lambda|$. Si $E_\lambda$ contenait une famille libre de $m + 1$ vecteurs, le procédé de Gram-Schmidt, tel que le décrit la démonstration du nœud Bases hilbertiennes, (iii), appliqué à une famille libre finie, en fait une famille orthonormale de même espace engendré, formée de $m + 1$ vecteurs propres de norme $1$ deux à deux orthogonaux, ce qui est exclu. Une famille libre de $E_\lambda$ ayant le plus grand nombre d'éléments, au plus $m$, engendre alors $E_\lambda$ (Familles libres, bases, (iv)) : $E_\lambda$ est de dimension finie.

Rangement. Soit $\Lambda$ l'ensemble des valeurs propres non nulles, ordonné en plaçant $\lambda$ avant $\mu$ si $|\lambda| > |\mu|$, ou si $|\lambda| = |\mu|$ et $\lambda > \mu$. C'est un ordre total, pour lequel chaque $\mu$ n'a qu'un nombre fini de prédécesseurs, puisque ceux-ci vérifient $|\lambda| \geqslant |\mu|$.

On définit par récurrence sur $n$, la donnée à chaque étape étant la liste $(\lambda_0, \dots, \lambda_{n-1})$ déjà construite, $\lambda_n$ comme le premier élément de $\Lambda$ distinct de $\lambda_0, \dots, \lambda_{n-1}$, tant qu'il en reste. Il existe : si $\mu$ est l'un des éléments restants, les éléments restants qui précèdent $\mu$ ou lui sont égaux forment un ensemble fini, non vide et totalement ordonné ; leur premier élément est le premier des éléments restants, puisque tout élément restant qui le précède précède aussi $\mu$. Tout $\mu \in \Lambda$ est atteint, au plus tard au rang égal au nombre de ses prédécesseurs. Si la suite est infinie, seuls un nombre fini de ses termes vérifient $|\lambda_n| \geqslant \varepsilon$, pour tout $\varepsilon > 0$ : elle tend vers $0$.

(iii) Notons $E_n = E_{\lambda_n}$, de dimension finie et non nul. Les $E_n$ sont deux à deux orthogonaux (Opérateurs autoadjoints, (i)), et chacun est stable par $u$, qui y vaut $\lambda_n\,\mathrm{id}$.

Développement de $x$. Fixons $x$, et posons $s_k = \sum_{n < k} p_n(x)$ pour $k \leqslant N$. Pour $z \in E_n$ avec $n < k$, on a $\langle p_{n'}(x), z \rangle = 0$ pour $n' \neq n$, et $\langle x - p_n(x), z \rangle = 0$, d'où $\langle x - s_k, z \rangle = 0$. Le vecteur $x - s_k$ est donc orthogonal à $s_k$, et, les $p_n(x)$ étant deux à deux orthogonaux, $$\|x\|^2 = \|x - s_k\|^2 + \sum_{n < k} \|p_n(x)\|^2.$$

Ainsi $\sum_n \|p_n(x)\|^2 \leqslant \|x\|^2$. Si $N$ est fini, on pose $s(x) = s_N$. Sinon, pour $k < l$, $$\|s_l - s_k\|^2 = \sum_{k \leqslant n < l} \|p_n(x)\|^2$$ est le reste d'une série convergente : la suite $(s_k)$ est de Cauchy, et converge vers un $s(x) \in F$, $H$ étant complet. Par continuité du produit scalaire, $q(x) = x - s(x)$ est orthogonal à chaque $E_n$.

Le noyau. Soit $G$ l'ensemble des vecteurs orthogonaux à tous les $E_n$, c'est-à-dire l'orthogonal du sous-espace qu'ils engendrent, lequel est stable par $u$. C'est un sous-espace fermé stable par $u$, et la restriction $v$ de $u$ à $G$ est un opérateur autoadjoint de l'espace de Hilbert $G$ (Opérateurs autoadjoints, (ii)).

Elle est compacte : $v(\bar B \cap G)$ est contenu dans $Y \cap G$, partie fermée du compact $Y$, donc compacte (Parties compactes, (i)) et fermée ; l'adhérence de $v(\bar B \cap G)$, dans $G$ comme dans $H$, en est une partie fermée, donc compacte.

Si $v$ n'était pas nul, il aurait par (i) une valeur propre non nulle $\mu$, de vecteur propre $z \in G$. Alors $u(z) = \mu z$, $\mu$ serait l'un des $\lambda_n$, et $z \in E_n \cap G$ serait orthogonal à lui-même, donc nul. Ainsi $v = 0$, c'est-à-dire $G \subset \operatorname{Ker} u$. Réciproquement, $\operatorname{Ker} u$, sous-espace propre de la valeur $0$, est orthogonal à chaque $E_n$, puisque $\lambda_n \neq 0$ (Opérateurs autoadjoints, (i)). Donc $G = \operatorname{Ker} u$.

Conclusion. Le vecteur $q(x)$ appartient donc à $\operatorname{Ker} u$, ce qui donne la première formule. Par continuité du produit scalaire, $G$ est aussi l'orthogonal de $F$, de sorte que $\operatorname{Ker} u = F^\perp$ ; la première formule donne $H = F + \operatorname{Ker} u$, et la somme est directe puisque $F \cap F^\perp = \{0\}$.

L'égalité $\operatorname{Ker} u = F^\perp$ donne $F \subset (\operatorname{Ker} u)^\perp$. Réciproquement, si $x \in (\operatorname{Ker} u)^\perp$, le vecteur $q(x) = x - s(x)$, qui est dans $\operatorname{Ker} u = F^\perp$, est orthogonal à $x$ et à $s(x) \in F$, donc à lui-même : $x = s(x) \in F$. Enfin, $u$ étant continu et nul sur $\operatorname{Ker} u$, $$u(x) = u(s(x)) = \lim_k \sum_{n < k} \lambda_n\, p_n(x).$$

Norme du reste. Si $N = \infty$, le vecteur $\big(u - \sum_{n < k} \lambda_n p_n\big)(x)$ est la limite des sommes $\sum_{k \leqslant n < l} \lambda_n p_n(x)$, dont les termes sont deux à deux orthogonaux. Le carré de sa norme vaut donc $$\sum_{n \geqslant k} \lambda_n^2 \|p_n(x)\|^2 \leqslant \lambda_k^2 \|x\|^2,$$ les $|\lambda_n|$ décroissant ; il y a égalité pour un vecteur propre de norme $1$ associé à $\lambda_k$. L'opérateur $\sum_{n < k} \lambda_n p_n$ a son image dans $E_0 + \cdots + E_{k-1}$, de dimension finie.

(iv) Choisissons, pour chaque $n < N$, une base orthonormée de $E_n$, et mettons ces bases bout à bout dans l'ordre des $n$. On obtient une famille $(e_k)$ de vecteurs propres, finie ou indexée par $\mathbb N$, orthonormale puisque les $E_n$ sont deux à deux orthogonaux, et contenue dans $F = (\operatorname{Ker} u)^\perp$, qui est un espace de Hilbert (Espaces normés, (iv)).

Un vecteur $z \in F$ orthogonal à tous les $e_k$ est orthogonal à chaque $E_n$, donc à $F$, et il est nul. Si la famille est infinie, le critère du nœud Bases hilbertiennes, (ii), montre que c'est une base hilbertienne de $F$ ; si elle est finie, $N$ est fini, et pour $x \in F = (\operatorname{Ker} u)^\perp$, le point (iii) donne $x = s(x) = \sum_{n < N} p_n(x)$ : donc $F = E_0 + \cdots + E_{N-1}$, et la famille en est une base orthonormée.

Pour chaque $n$, $p_n(x) = \sum \langle x, e_k \rangle e_k$, la somme portant sur les indices $k$ de la base de $E_n$, et $\lambda_n p_n(x) = \sum \mu_k \langle x, e_k \rangle e_k$ sur ces mêmes indices. Les sommes partielles de la série $\sum_k \mu_k \langle x, e_k \rangle e_k$ forment une suite de Cauchy, puisque $\sum_k \mu_k^2 \langle x, e_k \rangle^2 \leqslant |||u|||^2 \|x\|^2$ par l'inégalité de Bessel ; leur sous-suite formée des fins de blocs tend vers $u(x)$ par (iii), et la série converge donc vers $u(x)$ (Espaces complets, (i)).

Sans choix dans le cas séparable. Si $(d_j)$ est une suite dense de $H$, les $p_n(d_j)$ forment une suite dense de $E_n$, puisque $p_n$ est surjective sur $E_n$ et vérifie $\|p_n(x) - p_n(x')\| \leqslant \|x - x'\|$. Le procédé de Gram-Schmidt (Bases hilbertiennes, (iii)), appliqué à cette suite, fournit sans choix une famille orthonormale finie de $E_n$, qui engendre un sous-espace $V$ dense dans $E_n$. Or $V$ est fermé, comme noyau de $\mathrm{id} - p_V$, qui est continue : donc $V = E_n$, et cette famille est une base orthonormée de $E_n$.