AnnalesÉcoles d'ingénieurs

X-ENS PC 2016 — Maths

Entropie et principe du maximum d'entropie · 4 pages

Le sujet étudie l'entropie $H_N(p)$ , somme des $-p_i \ln p_i$ , d'une loi de probabilité sur $\{1, \dots, N\}$ . Il montre que son maximum est atteint en l'unique loi uniforme, étudie l'entropie de lois sur $\mathbb{N}^*$ (loi géométrique, exemple d'entropie infinie) et prouve par la loi faible des grands nombres que $(1/n) \ln(p_{X_1} \cdots p_{X_n})$ tend en probabilité vers $-H_N(p)$ . Il détermine ensuite le maximum de $H_N(p) + \sum p_i f_i$ , atteint en la loi de Gibbs proportionnelle à $\exp(f_i)$ avec valeur $\ln(\sum \exp(f_i))$ , puis montre que, sous des contraintes d'espérances fixées, l'entropie atteint son maximum en une unique loi $p(\theta^*)$ de la famille exponentielle, proportionnelle à $\exp((M\theta^*)_i)$ , où $\theta^*$ est l'unique point de minimum (supposé exister) de la fonction convexe $L(\theta) = \ln Z(\theta) - q^\top M\theta$ .

Le sujet, partie par partie

Notations et Partie I — Entropie d'une loi de probabilité p. 1–2

Entropie et théorie de l'information · Fonctions convexes · Lois des grands nombres · Compacité · Ensembles convexes · Loi géométrique · Séries numériques · Inégalités de Markov et de Bienaymé-Tchebychev — entropie de Shannon, fonction $-t \ln t$ , simplexe des probabilités, maximum de l'entropie, loi uniforme, séries de Bertrand

Partie II — Maximisation de l'entropie avec potentiel p. 2–3

Entropie et théorie de l'information · Extrema liés et multiplicateurs de Lagrange · Extrema et optimisation · Modèles de physique statistique · Compacité · Espaces préhilbertiens et euclidiens · Dérivabilité — mesure de Gibbs, fonction de partition, multiplicateur de Lagrange, hyperplan somme nulle, énergie libre, log-somme-exponentielle

Partie III — Maximum d'entropie sous contraintes de moments p. 3–4

Entropie et théorie de l'information · Extrema et optimisation · Points critiques et hessienne · Covariance et corrélation · Matrices symétriques positives · Calcul différentiel · Fonctions convexes — principe du maximum d'entropie, famille exponentielle, matrice de covariance, hessienne positive, unicité du minimum, fonction strictement convexe

Dans l'édifice

Espaces probabilisés et probabilités conditionnelles Dérivabilité Loi faible des grands nombres et théorème de Weierstrass Loi forte des grands nombres Compacité Théorème de Hahn-Banach Variables aléatoires, lois, fonctions de répartition Suites, séries et parties compactes de ℂ La demi-droite achevée et les sommes positives Espérance, variance et inégalités Applications différentiables Espaces de Hilbert et théorème de projection Théorème de représentation de Riesz Fonctions de classe Cᵏ Inégalité des accroissements finis