Exercice 79

1. Pour chaque $i$, $p_{i} \in [0\,,1]$, donc $\ln p_{i} \leqslant 0$ si $p_{i} > 0$, et $-p_{i}\ln p_{i} \geqslant 0$, ce qui reste vrai, avec la convention, si $p_{i} = 0$. Ainsi $\boxed{H(X) \geqslant 0}$, comme somme de termes positifs. Elle est nulle si et seulement si chaque terme est nul, c'est-à-dire si $p_{i} \in \{0, 1\}$ pour tout $i$ ; comme $\sum p_{i} = 1$, cela signifie qu'un des $p_{i}$ vaut $1$ et les autres $0$ : $$\boxed{H(X) = 0 \iff \exists i,\ p_{i} = 1}$$ Une variable d'entropie nulle prend une valeur avec la probabilité $1$ : il n'y a aucune incertitude sur sa valeur.

2. Soit $\varphi(x) = 1 - x + x\ln x$ pour $x > 0$, et $\varphi(0) = 1$, conformément à la convention. Sur $\left]0\,,+\infty\right[$, $\varphi'(x) = -1 + \ln x + 1 = \ln x$ : $\varphi$ est strictement décroissante sur $\left]0\,,1\right]$ et strictement croissante sur $[1\,,+\infty[$, de minimum $\varphi(1) = 0$. Donc $\varphi(x) > 0$ pour $x > 0$, $x \neq 1$, et $\varphi(0) = 1 > 0$ : $$\boxed{-x\ln x \leqslant 1 - x \ \text{ pour tout } x \geqslant 0, \text{ avec égalité si et seulement si } x = 1}$$ Pour $x = np_{k} \geqslant 0$, on obtient $\boxed{-np_{k}\ln(np_{k}) \leqslant 1 - np_{k}}$, avec égalité si et seulement si $p_{k} = \frac{1}{n}$.

3. Si $p_{k} > 0$, $-np_{k}\ln(np_{k}) = -np_{k}\ln n - np_{k}\ln p_{k}$, et cette égalité reste vraie, avec la convention, si $p_{k} = 0$, les trois termes étant nuls. En sommant les inégalités de la question 2 sur $k$, et comme $\sum_{k} p_{k} = 1$, $$-n\ln n + nH(X) = \sum_{k=1}^{n} \big(-np_{k}\ln(np_{k})\big) \leqslant \sum_{k=1}^{n} (1 - np_{k}) = n - n = 0, \qquad\text{d'où}\qquad \boxed{H(X) \leqslant \ln n}$$ Il y a égalité si et seulement si chacune des $n$ inégalités est une égalité, c'est-à-dire si $p_{k} = \frac{1}{n}$ pour tout $k$ : $$\boxed{H(X) = \ln n \iff X \text{ suit la loi uniforme sur } \{x_{1}, \dots, x_{n}\}}$$ La majoration a été contrôlée sur $1\,000$ lois tirées au hasard, dont certaines ont des probabilités nulles ✓.

L'entropie mesure l'incertitude sur la valeur de $X$ : elle est nulle pour une variable constante, et maximale pour la loi uniforme, où aucune valeur n'est privilégiée. Elle ne dépend que des probabilités, et non des valeurs $x_{i}$ ; pour la loi uniforme sur $2^{m}$ valeurs, $H = m\ln 2$, soit $m$ « bits » d'information.

Piège. Certaines probabilités $p_{k}$ peuvent être nulles : c'est pourquoi l'inégalité de la question 2 est demandée pour $x \geqslant 0$, et non seulement pour $x > 0$. L'erreur la plus répandue est d'écrire $\ln(np_{k})$ sans vérifier que $p_{k} > 0$.