Instabilité par linéarisation

Les constantes. Les parties réelles des valeurs propres sont en nombre fini (Trigonalisation sur ℂ, (i)). Parmi les $n + 1$ réels $\frac{k\mu(A)}{n + 2}$, $1 \leqslant k \leqslant n + 1$, l'un au moins n'est pas une partie réelle de valeur propre ; soit $s$ le plus petit de ceux qui ne le sont pas. Alors $0 < s < \mu(A)$, et $\kappa = \min_\lambda |\operatorname{Re}\lambda - s| > 0$.

Soit $R$ fournie par Trigonalisation sur ℂ, (ii) et (iii), avec $\Lambda = \{\lambda : \operatorname{Re}\lambda > s\}$ et $\eta = \frac\kappa4$ : $R^{-1}AR = D + N$, et les coefficients diagonaux $d_1, \dots, d_n$ de $D$ vérifient $\operatorname{Re} d_k > s$ pour $k \leqslant q$ et $\operatorname{Re} d_k < s$ pour $k > q$, avec $q \geqslant 1$, puisque toute valeur propre figure sur la diagonale. Posons $\sigma_k = 1$ pour $k \leqslant q$, $\sigma_k = -1$ sinon, et, pour $z \in \mathbb C^n$ et $y \in \mathbb R^n$, $$\begin{aligned} H(z) &= \sum_{k=1}^n \sigma_k\,\big|(R^{-1}z)_k\big|^2, \\ V(y) &= H(y - a). \end{aligned}$$

$V$ prend des valeurs positives près de $a$. Soit $u = Re_1$ ; comme $(D + N)e_1 = d_1e_1$, on a $Au = d_1u$. La matrice $A$ étant réelle, $A\bar u = \bar d_1\bar u$, et $\operatorname{Re}\bar d_1 = \operatorname{Re} d_1 > s$.

Soit $w = R^{-1}\bar u \neq 0$ et $j$ le plus grand indice tel que $w_j \neq 0$. La ligne $j$ de $(D + N)w = \bar d_1 w$ se réduit, $D + N$ étant triangulaire supérieure, à $d_jw_j = \bar d_1w_j$ : donc $d_j = \bar d_1$, $j \leqslant q$, et $w$ n'a de coordonnées non nulles que d'indice au plus $q$. Ainsi $H(\bar u) = |w|^2 > 0$, et $H(u) = |e_1|^2 = 1$.

Écrivons $u = u_1 + iu_2$ avec $u_1, u_2 \in \mathbb R^n$. Pour deux complexes $\alpha, \beta$, $|\alpha + i\beta|^2 + |\alpha - i\beta|^2 = 2|\alpha|^2 + 2|\beta|^2$ ; appliqué aux coordonnées de $R^{-1}u_1$ et $R^{-1}u_2$, cela donne $$H(u) + H(\bar u) = 2H(u_1) + 2H(u_2).$$ L'un des vecteurs réels $u_1, u_2$, notons-le $h_0$, vérifie donc $H(h_0) > 0$, et $V(a + \tau h_0) = \tau^2H(h_0) > 0$ pour tout réel $\tau \neq 0$.

Croissance de $V$. Soit $\rho$ et $\rho'$ comme dans la preuve de Systèmes linéaires stables, (i), de sorte que $\|h\| \leqslant \rho|R^{-1}h|$ et $|R^{-1}h|^2 \leqslant n\rho'^2\|h\|^2$. Écrivons $X(a + h) = Ah + \|h\|\varepsilon(h)$, avec $\varepsilon(h) \to 0$, et soit $r_0 > 0$ tel que $B(a, r_0) \subset U$ et $2n\sqrt n\,\rho\rho'\|\varepsilon(h)\| \leqslant \frac\kappa2$ pour $\|h\| < r_0$.

Le long d'une courbe intégrale qui reste dans $B(a, r_0)$, posons $h = \varphi_t(x) - a$, $w = R^{-1}h$, $\tilde w = (\sigma_kw_k)_k$ et $g(t) = V(\varphi_t(x))$. On a $$w' = (D + N)w + \|h\|\,R^{-1}\varepsilon(h),$$ et, comme dans la preuve de Systèmes linéaires stables, (i), $g' = 2\operatorname{Re}\langle \tilde w, w' \rangle$.

Le terme diagonal vaut $$\begin{aligned} &2\sum_k \sigma_k\operatorname{Re}(d_k)|w_k|^2 \\ &\quad = 2sg + 2\sum_k \sigma_k(\operatorname{Re} d_k - s)|w_k|^2 \\ &\quad \geqslant 2sg + 2\kappa|w|^2, \end{aligned}$$ puisque $\sigma_k(\operatorname{Re} d_k - s) = |\operatorname{Re} d_k - s|$. Le terme en $N$ est au plus $2\eta|w|^2 = \frac\kappa2|w|^2$ en valeur absolue, puisque $|\tilde w| = |w|$.

Pour le reste, $|\langle \tilde w, z \rangle| \leqslant \sum_k |w_k||z_k| \leqslant n|w||z|$, avec $|R^{-1}\varepsilon(h)| \leqslant \sqrt n\rho'\|\varepsilon(h)\|$ et $\|h\| \leqslant \rho|w|$ ; il est au plus $2n\sqrt n\rho\rho'\|\varepsilon(h)\|\,|w|^2 \leqslant \frac\kappa2|w|^2$. Au total, $$g' \geqslant 2sg + \kappa|w|^2 \geqslant 2sg.$$

Conclusion. Supposons $a$ stable, et soit $\delta$ associé à $\varepsilon = r_0$. Soit $\tau > 0$ tel que $\|\tau h_0\| < \delta$, et $x = a + \tau h_0$. La courbe issue de $x$ est définie sur $[0, +\infty[$ et reste dans $B(a, r_0)$ ; la fonction $g\,e^{-2st}$ y croît (Signe de la dérivée), et $g(t) \geqslant V(x)e^{2st}$ tend vers $+\infty$, puisque $V(x) > 0$. Or $g(t) \leqslant |w(t)|^2 \leqslant n\rho'^2r_0^2$ : c'est absurde, et $a$ est instable.