Connectez-vous pour consulter le corrigé.
Un modèle probabiliste d’une expérience aléatoire représente dans un certain sens le désordre qui intervient dans l’expérience et il est donc naturel que des outils soient introduits qui permettent de mesurer l’intensité de ce désordre. C’est le cas de la notion d’entropie qui fait l’objet du présent problème. On considérera différentes situations et notamment la façon dont on mesure l’information que deux variables aléatoires s’apportent mutuellement.
Dans la première partie on étudie le cas plus simple techniquement de variables dont la loi admet une densité. Les deuxièmes et troisièmes parties sont consacrées au cas discret. Dans la deuxième partie, on introduit les différentes notions d’entropie pour le cas de variables discrètes et dans la troisième partie, on examine comment on peut mesurer l’information apportée mutuellement par deux variables aléatoires.
Toute les variables aléatoires intervenant dans le problème sont définies sur un espace probabilisé \((\Omega,{\cal A},\mathbb{P})\).
Pour toute variable aléatoire \(Y\), on notera \(\mathbb{E}( Y)\) son espérance lorsqu’elle existe.
La fonction logarithme de base \(2\), notée \(\log_2\) est définie sur \(\mathbb{R}_+^\ast\) par \(\log_2(x)=\dfrac{\ln(x)}{\ln(2)}\).
Montrer que pour tout \((x,y) \in \mathbb{R}_+^\ast\times \mathbb{R}_+^\ast\), on a \(\log_2(xy)=\log_2(x)+\log_2(y)\).
Vérifier que pour tout réel \(\alpha\), \(\log_2(2^\alpha)=\alpha\).
Montrer que la fonction \(\log_2\) est concave sur \(\mathbb{R}_+^\ast\).
Soit \(X\) une variable aléatoire réelle à densité et soit \(f\) une densité de \(X\). On appelle support de \(f\) l’ensemble \(I=\{x \in \mathbb{R}, \ f(x)>0\}\), et on suppose que \(I\) est un intervalle de \(\mathbb{R}\) d’extrémités \(a\) et \(b\) (\(a<b\), \(a\) et \(b\) finis ou infinis). L’entropie différentielle de \(X\) est, sous réserve d’existence, le réel \[h(X)=-\int_a^b f(x) \log_2(f(x)) \,\mathrm{d}x\] Montrer que \(h(X)=-\mathbb{E}( \log_2(f(X))\).
Soit \(X\) une variable aléatoire de densité \(f\), de support \(I\), intervalle de \(\mathbb{R}\) d’extrémités \(a\) et \(b\). On suppose que \(X\) admet une entropie différentielle.
Soit \(c\) un réel, et soit \(Y\) la variable aléatoire définie par \(Y=c+X\).
Déterminer une densité de \(Y\).
Justifier l’existence de l’entropie différentielle \(h(Y)\), et la déterminer en fonction de \(h(X)\).
Soit \(\alpha\) un réel strictement positif , et soit \(Z\) la variable aléatoire définie par \(Z=\alpha X\).
Déterminer une densité de \(Z\).
Justifier l’existence de l’entropie différentielle \(h(Z)\), et la déterminer en fonction de \(h(X)\).
On détermine dans cette question l’entropie différentielle de quelques variables aléatoires suivant des lois classiques.
Soit \(a>0\). On considère \(X\) une variable aléatoire de loi uniforme sur \([0,a]\).
Donner une densité de \(X\).
Justifier l’existence de l’entropie différentielle \(h(X)\), et la déterminer.
Déterminer une condition nécessaire et suffisante sur \(a\) pour que \(h(X)>0\).
On considère \(Y\) une variable aléatoire de loi normale centrée réduite. Montrer que \(Y\) admet une entropie différentielle et que \(h(Y)=\dfrac12 \log_2(2 \pi \mathrm{e})\).
On considère \(Z\) une variable aléatoire de loi exponentielle de paramètre \(\lambda \ (\lambda >0)\). Montrer que \(Y\) admet une entropie différentielle \(h(Z)\) et la déterminer.
Soit \(f\) la fonction définie sur \(\mathbb{R}\) par \(f(x)=\dfrac\lambda 2 \, \mathrm{e}^{-\lambda |x|}\) (\(\lambda >0\)).
Montrer que \(f\) est une densité de probabilité sur \(\mathbb{R}\).
Soit \(W\) une variable aléatoire de densité \(f\). Justifier l’existence de l’entropie différentielle \(h(W)\) et la déterminer.
On dit qu’un couple \((X,Y)\) de variables aléatoires est un couple gaussien centré si, pour tout \((\alpha,\beta) \in \mathbb{R}^2\), \(\alpha X + \beta Y\) est une variable de loi normale centrée, c’est à dire qu’il existe \(\gamma \in \mathbb{R}\) et une variable \(Z\) de loi normale centrée réduite tels que \(\alpha X + \beta Y\) a même loi que \(\gamma Z\). On considère un tel couple \((X,Y)\) et on note \(\sigma^2\) la variance de \(X\). On suppose que \(\sigma^2 >0\).
Montrer que \(X\) suit une loi normale centrée.
Calculer \(h(X)\).
On suppose désormais que \(X\) et \(Y\) suivent la même loi normale centrée de variance \(\sigma^2\) et on admet que les propriétés de l’espérance des variables discrètes se généralisent aux variables aléatoires quelconques.
Montrer que \(\mathbb{E}( XY)\) existe.
Montrer de plus que, pour tout réel \(\lambda\), \(\lambda^2 \, \mathbb{E}( Y^2)+2 \lambda \, \mathbb{E}( XY)+ \mathbb{E}( X^2) \geqslant 0\).
En déduire que \(\mathbb{E}( XY)^2 \leqslant \mathbb{E}( X^2) \, \mathbb{E}( Y^2)\).
On pose \(\rho=\dfrac{\mathbb{E}( XY)}{\sigma^2}\). Montrer que \(\rho \in [-1,1]\).
Que vaut \(\rho\) si \(X\) et \(Y\) sont indépendantes ?
On suppose \(|\rho| <1\). On appelle entropie jointe du couple \((X,Y)\) le réel \[h(X,Y)=\log_2 \! \left(2 \pi \,\mathrm{e}\, \sigma^2 \sqrt{1-\rho^2} \right)\]
À quelle condition \(h(X,Y)\) est-elle nulle ?
L’information mutuelle de \(X\) et \(Y\) est définie par \[I(X,Y)=h(X)+h(Y)-h(X,Y)\] Calculer \(I(X,Y)\).
Montrer que \(I(X,Y) \geqslant 0\)
Quelle est la limite de \(I(X,Y)\) quand \(\rho\) tend vers \(1\).
Soit \(A\) un ensemble fini non vide. On dit que \(X\) est une variable aléatoire dont la loi est à support \(A\), si \(X\) est à valeurs dans \(A\) et si pour tout \(x \in A\), \(\mathbb{P}(X=x)>0\).
Soit \(X\) une variable de loi à support \(\{0,1,2, \ldots, n\}\) où \(n\) est un entier naturel. On appelle entropie de \(X\) le réel \[H(X)=-\sum_{k=0}^n \mathbb{P}(X=k) \log_2(\mathbb{P}(X=k))\]
On définit la fonction \(g : \{0,1,2, \ldots, n\} \rightarrow \mathbb{R}\) en posant \(g(k)=\log_2(\mathbb{P}(X=k))\) pour \(k\) élément de \(\{0,1,2, \ldots, n\}\). Montrer que \(H(X)=-\mathbb{E}( g(X))\).
Montrer que \(H(X) \geqslant 0\).
Soit \(p\) un réel tel que \(0<p<1\). On suppose dans cette question que \(X\) suit la loi de Bernoulli \({\cal B}(p)\).
Calculer \(H(X)\) en fonction de \(p\). On note \(\psi\) la fonction qui, à \(p\), associe \(H(X)\).
Montrer que \(\psi\) est concave sur \(]0,1[\).
Déterminer la valeur \(p_0\) où \(\psi\) est maximale.
On suppose dans cette question que la loi de \(X\) est à support \(\{0,1,2,3\}\) avec les probabilités \[\mathbb{P}(X=0)=\dfrac12 \quad \quad \mathbb{P}(X=1)=\dfrac14 \quad \quad \mathbb{P}(X=2)=\mathbb{P}(X=3)=\dfrac18\] Calculer \(H(X)\).
On souhaite écrire une fonction en
Python pour calculer l’entropie d’une variable
\(X\) dont le support de la loi est de
la forme \(A=\{0,1,2,\ldots,n\}\) où
\(n\) est un entier naturel. On suppose
que le vecteur P de
Python est tel que pour tout \(k\) de \(A\), P(k+1)\(=\mathbb{P}(X=k)\). Compléter la fonction
ci-dessous d’argument P qui renvoie l’entropie
de \(X\), c’est à dire \(\displaystyle -\sum_{k=0}^n
\mathbb{P}(X=k)\log_2(\mathbb{P}(X=k))\).
import numpy as np
def Entropie(P):
.....
return h
Si nécessaire, on pourra utiliser l’instruction
np.size(P) qui donne le nombre d’éléments de
P.
On souhaite maintenant démontrer quelques inégalités concernant l’entropie.
On commence par une inégalité générale, appelée inégalité de Jensen.
Soit \(N \geqslant 2\). Soit \(X\) une variable aléatoire de loi à support \(\{x_1,x_2, \ldots,x_N\}\), où les \(x_i\) sont des éléments distincts de \(\mathbb{R}^+\). On pose \(\mathbb{P}(X=x_i)=p_i\). Montrer que pour tout \(1 \leqslant i \leqslant N\), on a \(p_i<1\).
On désire démontrer par récurrence la propriété suivante :
\({\cal P}(N)\) : Pour toute \(\varphi\) fonction convexe sur \(\mathbb{R}^+\), si \(X\) est une variable aléatoire à support \(A \subset \mathbb{R}^+\) avec \(\mathrm{Card}(A)=N\), on a \(\mathbb{E}( \varphi(X)) \geqslant \varphi(\mathbb{E}( X))\).
Montrer que \({\cal P}(2)\) est vraie.
Soit \(N \geqslant 3\). On
suppose que \({\cal P}(N-1)\) est
vérifiée. Soit \(x\) une variable
aléatoire de loi à support \(A=\{x_1,x_2,\ldots,x_N\}\) où les \(x_i\) sont des éléments distincts de \(\mathbb{R}^{+}\). On pose \(\mathbb{P}(X=x_i)=p_i\).
Pour \(i\) tel que \(1 \leqslant i \leqslant N-1\), on pose
\(p'_i=\dfrac{p_i}{1-p_N}\).
Montrer que \(\displaystyle \sum_{i=1}^{N-1} p'_i=1\) et \(0<p'_i<1\) pour \(1 \leqslant i \leqslant N-1\).
Soit \(Y\) une variable aléatoire de loi à support \(\{x_1,\ldots,x_{N-1})\) telle que \(\mathbb{P}(Y=x_i)=p'_i\) pour \(1\leqslant i \leqslant N-1\). Montrer que \(\displaystyle \sum_{i=1}^{N-1} p'_i \, \varphi(x_i) \geqslant \varphi \! \left(\displaystyle \sum_{i=1}^{N-1} p'_i x_i \right)\).
Montrer que \(\mathbb{E}( \varphi(X)) \geqslant \varphi(\mathbb{E}( X))\).
Montrer que si \(\varphi\) est concave sur \(\mathbb{R}^+\), on a \(\mathbb{E}( \varphi(X)) \leqslant \varphi(\mathbb{E}( X))\).
Soit \(X\) une variable aléatoire à support \(\{0,1,\ldots,n\}\). On pose, pour \(k\) tel que \(0 \leqslant k \leqslant n\), \(p_k=\mathbb{P}(X=k)\).
Montrer que \(\displaystyle \sum_{k=0}^n p_k \log_2 \! \left(\dfrac1{\left( n+1 \right) p_k}\right) \leqslant \log_2 \! \left(\sum_{k=0}^n \dfrac{p_k}{\left( n+1 \right) p_k}\right) =0\).
Montrer que \(\displaystyle \sum_{k=0}^n p_k \log_2 \! \left[\left( n+1 \right) p_k\right]=\log_2(n+1)-H(X)\).
Montrer que \(H(X) \leqslant \log_2(n+1)\).
On suppose que \(X\) suit une loi uniforme sur \(\{0,1, \ldots,n\}\). Calculer \(H(X)\).
Soit \(X\) et \(Y\) deux variables aléatoires de même loi à support \(\{0,1,\ldots,n\}\). On suppose en outre \(X\) et \(Y\) indépendantes.
Montrer que \(\mathbb{P}(X=Y)=\displaystyle \sum_{k=0}^n \left(\mathbb{P}(X=k)\right)^2\).
On pose \(v(k)=\mathbb{P}(X=k)\) pour tout \(k\) élément de \(\{0,1,\ldots,n\}\). Montrer que \[2^{\mathbb{E}( \log_2(v(X)))} \leqslant \mathbb{E}\!\left(2^{\log_2(v(X))}\right)=\mathbb{E}( v(X))\]
En déduire que \(2^{-H(X)} \leqslant \mathbb{P}(X=Y)\).
Donner un exemple de loi où l’inégalité précédente est une égalité.
Soient \(X\) et \(Y\) deux variables aléatoires à support \(\{0,1, \ldots,n\}\). On appelle entropie jointe de \(X\) et \(Y\) le réel \[H(X,Y)=- \sum_{k=0}^n \sum_{j=0}^n \mathbb{P}\! \left([X=k] \cap [Y=j]\right) \log_2 \! \left(\mathbb{P}([ X=k]\cap [Y=j])\right)\] avec la convention \(0 \log_2(0)=0\)
On définit la fonction \(g: \{0,1, \ldots,n\}^2 \rightarrow \mathbb{R}\cup \{-\infty\}\) en posant pour \((k,j) \in \{0,1, \ldots,n\}^2\) \[g(k,j)=\log_2 \! \left(\mathbb{P}([ X=k] \cap [Y=j])\right)\] Montrer que \(H(X,Y)=-\mathbb{E}( g(X,Y))\).
Montrer que \(H(X,Y)=H(Y,X)\).
Pour tout \(k\) tel que \(0\leqslant k \leqslant n\), on pose : \[H(Y \,\vert \, X=k)=-\sum_{j=0}^n \mathbb{P}_{[X=k]}(Y=j)\log_2 \! \left(\mathbb{P}_{[X=k]}(Y=j)\right)\] On appelle entropie conditionnelle de \(Y\) sachant \(X\) le réel \[H(Y \,\vert \, X)=\sum_{k=0}^n \mathbb{P}(X=k) \, H \! \left(Y \,\vert \, X=k \right)\] Montrer que \(H(X,Y)=H(X)+H(Y \,\vert \, X)\).
Montrer que pour tout couple de variables aléatoires \(X\) et \(Y\)de lois à support \(\{0,1,\ldots,n\}\), on a : \[H(X)-H(X \,\vert \, Y)=H(Y)-H(Y \,\vert \, X)\]
On considère dans cette question deux variables aléatoires \(X\) et \(Y\), de lois à support \(\{0,1,2,3\}\). On suppose que la loi conjointe de \((X,Y)\) est donnée par le tableau suivant :
| \diagbox{$j$}{$k$} | 0 | 1 | 2 | 3 |
| 0 | 1/8 | 1/16 | 1/32 | 1/32 |
| 1 | 1/16 | 1/8 | 1/32 | 1/32 |
| 2 | 1/16 | 1/16 | 1/16 | 1/16 |
| 3 | 1/4 | 0 | 0 | 0 |
On lit dans la \(k\)-ième colonne et la \(j\)-ième ligne la valeur de \(\mathbb{P}([ X=k] \cap [Y=j])\).
Déterminer la loi de \(X\) et montrer que \(H(X)=\dfrac74\).
Déterminer la loi de \(Y\) et calculer \(H(Y)\).
Montrer que \(H(X \,\vert \, Y)=\dfrac{11}8\).
Que vaut \(H(Y \,\vert \, X)\) ?
Calculer \(H(X,Y)\)
Soient \(X\) et \(Y\) deux variables aléatoires à support \(\{0,1, \ldots,n\}\). On appelle information mutuelle de \(X\) et \(Y\) le réel : \[I(X,Y)= \sum_{k=0}^n \sum_{j=0}^n \mathbb{P}\! \left([X=k] \cap [Y=j]\right) \log_2 \! \left(\dfrac{\mathbb{P}([ X=k]\cap [Y=j])}{\mathbb{P}(X=k) \, \mathbb{P}(Y=j)}\right)\]
Montrer que \(I(X,Y)=I(Y,X)\)
Montrer que \(I(X,Y)=H(X)-H(X \,\vert \, Y)\).
Montrer que \(I(X,X)=H(X)\)
Que vaut \(I(X,Y)\) si \(X\) et \(Y\) sont indépendantes ?
Soient \(X\) et \(Y\) deux variables aléatoires à support \(\{0,1, \ldots,n\}\). On fixe \(0 \leqslant k \leqslant n\). Pour \(0 \leqslant j \leqslant n\), on pose \(p_j=\dfrac{\mathbb{P}([ X=k] \cap [Y=j])}{\mathbb{P}(X=k)}\).
On suppose \(p_j>0\) pour tout \(0 \leqslant j \leqslant n\) et on pose \(x_j= \dfrac{\mathbb{P}(X=k) \, \mathbb{P}(Y=j)}{\mathbb{P}([ X=k]\cap [Y=j])}\).
Montrer que \(\displaystyle \sum_{j=0}^n p_j=1\).
Soit \(Z_k\) une variable aléatoire de support \(\{x_0,\ldots, x_n\}\) telle que \(\mathbb{P}(Z_k=x_j)=p_j\) pour \(0 \leqslant j \leqslant n\). Montrer que : \[\mathbb{E}( \log_2(Z_k)) \leqslant 0\]
En déduire que \(I(X,Y) \geqslant 0\).
Le corrigé pas à pas, les aides et les explications sont disponibles dans la plateforme.
Un sujet intéressant en théorie, mais qui devient vite pénible tant les notations et calculs sont lourds sur la fin.
Les deux premières parties constituent cependant un bon entraînement.