Exercice 60

1. L'ensemble $\mathcal{A}(f)$ est l'intersection des noyaux des applications linéaires $g \mapsto g \circ f$ et $g \mapsto f \circ g$ : c'est un sous-espace vectoriel de $\mathcal{L}(E)$.

2. On a $g \circ f = 0$ si et seulement si $g$ s'annule sur $\operatorname{Im} f$, et $f \circ g = 0$ si et seulement si $\operatorname{Im} g \subset \mathrm{Ker}\, f$.

3. Soit $r = \mathrm{rg} f$ et $n = \dim E$. Par le théorème 5, il existe deux bases $\mathcal{B}$ et $\mathcal{C}$ de $E$ telles que $\mathrm{Mat}_{\mathcal{B}, \mathcal{C}}(f) = J_{r}$. On associe à $g$ la matrice $M = \mathrm{Mat}_{\mathcal{C}, \mathcal{B}}(g)$ ; l'application $g \mapsto M$ est un isomorphisme (théorème 2). Par composition, $$\mathrm{Mat}_{\mathcal{B}}(g \circ f) = MJ_{r}, \qquad \mathrm{Mat}_{\mathcal{C}}(f \circ g) = J_{r}M.$$ La matrice $MJ_{r}$ est formée des $r$ premières colonnes de $M$ complétées par des zéros, et $J_{r}M$ des $r$ premières lignes. Les deux sont nulles si et seulement si $M = \begin{pmatrix} 0 & 0 \\ 0 & M' \end{pmatrix}$, avec $M' \in \mathcal{M}_{n - r}(\mathbb{K})$ quelconque. $$\boxed{\dim\mathcal{A}(f) = (n - r)^{2} = (\dim\mathrm{Ker}\, f)^{2}}$$