Connectez-vous pour consulter le corrigé.
Le problème a pour objet la mise en évidence de quelques propriétés de l’entropie de variables aléatoires discrètes ou à densité. La partie IV utilise, dans un exemple, certaines des propriétés établies dans le problème.
On suppose que toutes les variables aléatoires introduites dans le problème sont définies sur un même espace probabilisé \((\Omega,\mathcal{A},\mathbb{P})\). La notation exp désigne la fonction exponentielle.
Soit \(h\) la fonction de \(] 0,1[\) dans \(\mathbb{R}\) définie par : \(h(x)=-x \ln x- \left( 1-x \right) \ln (1-x)\).
Montrer que la fonction \(h\) est positive et concave sur \(] 0,1[\).
Montrer que \(h\) est prolongeable en une fonction continue sur le segment \([0,1]\). Ce prolongement est-il de classe \(\mathcal C^{1}\) sur \([0,1]\) ?
Tracer la courbe représentative de \(h\) dans le plan rapporté à un repère orthonormé.
Justifier pour tout réel \(u>0\), l’inégalité \(: \ln( u) \leqslant u-1\). Pour quelles valeurs de \(u\) a-t-on : \(\ln (u)=u-1\) ?
Soit \(d\) la fonction de \(]0,1[^2\) dans \(\mathbb{R}\) définie par : \[d(x, y)=x \ln \!\left(\dfrac{y}{x}\right)+(1-x) \ln \!\left(\dfrac{1-y}{1-x}\right)\] Montrer que \(d(x, y) \leqslant 0\) et préciser les couples \((x, y)\) de \(]0,1[^2\) pour lesquels \(d(x, y)=0\).
On considère trois fonctions \(\ell,\) \(r\) et \(f\) vérifiant les hypothèses suivantes :
\(\ell\) est définie et de classe \(\mathcal C^{1}\) sur \(\mathbb{R}\), à valeurs réelles et concave sur \(\mathbb{R}\) (on note \(\ell^{\prime}\) la fonction dérivée de \(\ell\)) ;
\(r\) est définie et continue sur \(\mathbb{R}\), à valeurs réelles ;
\(f\) est définie et continue sur \(\mathbb{R}\), à valeurs positives ou nulles, et \(\displaystyle \int_{-\infty}^{+\infty} f(x) \,\mathrm{d} x=1\);
les intégrales \(\displaystyle \int_{-\infty}^{+\infty} r(x) f(x) \, \mathrm{d}x\) et \(\displaystyle \int_{-\infty}^{+\infty} \ell(r(x)) f(x) \, \mathrm{d} x\) sont convergentes.
Établir pour tout couple \((x, y)\) de \(\mathbb{R}^{2}\), l’inégalité : \(\ell(x)-\ell(y) \leqslant \ell^{\prime}(y) \left( x-y \right)\).
Montrer pour tout réel \(y\), l’inégalité : \[\int_{-\infty}^{+\infty} \ell(r(x)) f(x) \,\mathrm{d}x\leqslant \ell(y)+\ell^{\prime}(y)\left(\int_{-\infty}^{+\infty} r(x) f(x) \,\mathrm{d}x-y\right)\]
En déduire l’inégalité : \[\int_{-\infty}^{+\infty} \ell(r(x)) f(x) \,\mathrm{d}x\leqslant \ell \! \left(\int_{-\infty}^{+\infty} r(x) f(x) \,\mathrm{d}x\right)\]
Soit \(\left(x_{n}\right)_{n \in \mathbb{N}^{*}}\) une suite réelle et \(\left(p_{n}\right)_{n \in \mathbb{N}^{*}}\) une suite de réels positifs ou nuls vérifiant \(\sum\limits_{n=1}^{+\infty} p_{n}=1\), telles que les séries \(\sum\limits_{n \geqslant 1} r(x_{n}) \, p_{n}\) et \(\sum\limits_{n \geqslant 1} \ell\left(r(x_{n})\right) p_{n}\) soient convergentes.
Établir l’inégalité : \(\displaystyle \sum_{n=1}^{+\infty} \ell\left(r(x_{n})\right) p_{n} \leqslant \ell\! \left(\sum_{n=1}^{+\infty} r(x_{n}) \, p_{n}\right)\).
On montrerait de même, et on admettra, que ce résultat est encore vrai si \(\ell\) est continue sur un intervalle fermé \([a,b]\) de \(\mathbb{R}\), de classe \(\mathcal{C}^1\) et concave sur \(]a,b[\), pourvu que la fonction \(r\) prenne ses valeurs dans \(I\).
On note \(\mathcal{F}\) l’ensemble des fonctions \(f\) définies et continues sur \(\mathbb{R}\), à valeurs strictement positives, vérifiant \(\displaystyle \int_{-\infty}^{+\infty} f(x) \,\mathrm{d}x=1\) et telles que l’intégrale \(\displaystyle \int_{-\infty}^{+\infty} f(x) \ln (f(x)) \,\mathrm{d}x\) soit convergente.
Pour toute variable aléatoire \(X\) ayant pour densité un élément \(f\) de \(\mathcal{F}\), on définit l’entropie \(H(X)\) de \(X\) par : \[H(X)=-\int_{-\infty}^{+\infty} f(x) \ln (f(x)) \,\mathrm{d}x\]
On note \(Z\) une variable aléatoire qui suit la loi normale centrée réduite et \(\varphi\) sa densité continue.
Justifier l’existence de l’entropie \(H(Z)\) de \(Z\) et la calculer.
Soit \((a, b) \in \mathbb{R}_{+}^{*} \times \mathbb{R}\) et \(X\) une variable aléatoire qui admet pour densité un élément \(f\) de \(\mathcal{F}\). Montrer que la variable aléatoire \(Y=a X+b\) admet une densité appartenant à \(\mathcal{F}\) et que \(H(Y)=H(X)+\ln a\).
En déduire l’entropie d’une variable aléatoire suivant la loi normale d’espérance \(\mu\) et d’écart-type \(\sigma>0\).
Dans cette question, on considère un couple \((f, g)\) de \(\mathcal{F}^{2}\) pour lequel \(\displaystyle \int_{-\infty}^{+\infty} f(x) \ln\! \left(\frac{g(x)}{f(x)}\right) \,\mathrm{d}x\) est une intégrale convergente. On pose alors : \[D(f, g)=-\int_{-\infty}^{+\infty} f(x) \ln\! \left(\frac{g(x)}{f(x)}\right) \,\mathrm{d}x\]
Montrer que \(D(f, g) \geqslant 0\).
On suppose que \(D(f, g)=0\). Établir l’égalité : \[\int_{-\infty}^{+\infty}\left[ \ln\! \left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right] f(x) \,\mathrm{d}x=0\]
En déduire que \(f=g\).
Dans cette question, \(N\) désigne un entier supérieur ou égal à 2 .
Soit \(X\) une variable aléatoire à valeurs dans \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\). On pose : \[\forall k \in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right],\ p_{k}=\mathbb{P}( X=k )\]
L’entropie \(H(X)\) de \(X\) est définie par : \(H(X)=-\sum\limits_{k=1}^{N} p_{k} \ln ( p_{k} )\).
S’il existe un entier \(k\) de \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\) tel que \(p_{k}=0\), on pose par convention : \(p_{k} \ln (p_k)=0\).
On note \(h_{N}\) la fonction de \(]0,1[ ^{N}\) dans \(\mathbb{R}\) définie par : \[h_{N}(x)=h_{N}\left(x_{1}, \ldots, x_{N}\right)=-\sum_{k=1}^{N} x_{k} \ln (x_k)\]
Calculer en tout point \(x\) de \(]0,1[ ^{N}\), le gradient \(\nabla h_{N}(x)\) et la matrice hessienne \(\nabla^{2} h_{N}(x)\) de \(h_{N}\).
Montrer que pour l’optimisation de \(h_{N}\) sous la contrainte \(\sum\limits_{k=1}^{N} x_{k}=1\), il existe un unique point critique \(x^{*}\) que l’on précisera.
En utilisant la question 5, montrer que \(h_{N}\) admet en \(x^{*}\) un maximum global sous la contrainte \(\sum\limits_{k=1}^{N} x_{k}=1\).
Parmi les variables aléatoires à valeurs dans \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\), quelle est la loi de celles qui ont la plus grande entropie?
On note \(\mathcal{S}\) l’ensemble des suites réelles strictement positives \(\left(p_{n}\right)_{n \in \mathbb{N}^{*}}\) telles que \(\sum\limits_{n=1}^{+\infty} p_{n}=1\).
Soit \(X\) une variable aléatoire à valeurs dans \(\mathbb{N}^{*}\) vérifiant pour tout \(n\) de \(\mathbb{N}^{*}\), \(\mathbb{P}(X=n )=p_{n}\) avec \(\left(p_{n}\right)_{n \in \mathbb{N}^{*}} \in \mathcal{S}\).
On appelle entropie de \(X\), le réel \(H(X)\) défini sous réserve de convergence de la série \(\sum\limits_{n \geqslant 1} p_{n} \left| \ln \left(p_{n}\right) \right|\), par : \[H(X)=\sum_{n=1}^{+\infty} p_{n} \left| \ln \left(p_{n}\right) \right|\]
Soit \(\left(p_{n}\right)_{n \in \mathbb{N}^{*}}\) une suite de \(\mathcal{S}\) telle que la série \(\sum\limits_{n \geqslant 1} n p_{n}\) est convergente.
Justifier l’existence d’un entier \(n_{0}\) tel que, pour tout entier \(n \geqslant n_{0}\), on a : \(\sqrt{p_{n}} \left| \ln \left(p_{n}\right) \right| \leqslant 1\).
Établir pour tout \(n \geqslant n_{0}\) tel que \(p_{n} \leqslant \frac{1}{n^{3}}\), l’inégalité : \(p_{n} \left| \ln \left(p_{n}\right) \right| \leqslant \frac{1}{n^{3 / 2}}\).
En déduire que pour tout \(n \geqslant n_{0}\), on a \(: p_{n} \left| \ln \left(p_{n}\right) \right| \leqslant \max \left\{\frac{1}{n^{3 / 2}}, 3 p_{n} \ln (n)\right\}\).
Montrer que la série \(\sum\limits_{n \geqslant 1} p_{n} \left| \ln \left(p_{n}\right) \right|\) est convergente.
Que peut-on en conclure sur l’entropie d’une variable aléatoire à valeurs dans \(\mathbb{N}^{*}\) possédant une espérance ?
Soit \(\theta\) un réel de \(]0,1[\) et \(\left(p_{n}\right)_{n \in \mathbb{N}^{*}}\) la suite de \(\mathcal{S}\) définie par : \[\forall n \in \mathbb{N}^\ast,\ p_{n}=\theta \left( 1-\theta \right)^{n-1}\]
Soit \(X\) une variable aléatoire à valeurs dans \(\mathbb{N}^{*}\) qui vérifie : \[\forall n \in \mathbb{N}^\ast,\ \mathbb{P}( X=n)=p_{n}\]
Reconnaitre la loi de \(X\); préciser son espérance, puis calculer son entropie.
Écrire une fonction Python d’en-tête
def X(theta) renvoyant une simulation de \(X\).
Soit \(Y\) une variable aléatoire à valeurs dans \(\mathbb{N}^{*}\) ayant une espérance égale à celle de \(X\). Pour tout \(n\) de \(\mathbb{N}^{*}\), on pose : \(q_{n}=\mathbb{P}( Y=n)\). On suppose que \(\left(q_{n}\right)_{n \in \mathbb{N}^{*}} \in \mathcal{S}\) et que la série \(\sum\limits_{n \geqslant 1} q_{n} \ln\! \left(\frac{p_{n}}{q_{n}}\right)\) est convergente.
Établir l’égalité : \[H(Y)-H(X)=\sum_{n=1}^{+\infty} q_{n} \ln \!\left(\frac{p_{n}}{q_{n}}\right)\]
Déterminer le signe de \(H(Y)-H(X)\). Conclure.
Soit \(\left(X_{n}\right)_{n \in \mathbb{N}^{*}}\) une suite de variables aléatoires à valeurs réelles, définies sur \((\Omega, \mathcal{A}, \mathbb{P})\), qui converge en probabilité vers une variable aléatoire \(X\).
Montrer que pour tout \(n\) de \(\mathbb{N}^{*}\), l’application \(Z_{n}\) définie sur \(\Omega\) par \(Z_{n}: \omega \mapsto \exp \!\left(X_{n}(\omega)\right)\) est une variable aléatoire.
De même, on note \(Z\) la variable aléatoire \(Z: \omega \mapsto \exp (X(\omega))\).
Soit \(\varepsilon\) et \(\alpha\) deux réels strictement positifs.
Justifier l’existence d’un réel \(s\) tel que \(\mathbb{P}( \left| X \right| \geqslant s)<\alpha\).
Soit \(K_{1}, K_{2}\) et \(K_{3}\) trois éléments de \(\mathcal{A}\). Montrer que : \[\mathbb{P}( K_{1} \cup K_{2} \cup K_{3} ) \leqslant \mathbb{P}(K_{1})+ \mathbb{P}(K_{2}) + \mathbb{P}(K_{3})\]
En déduire l’inégalité : \[\mathbb{P}\!\left( \left[ \left| Z_{n}-Z \right| \geqslant \varepsilon\right]\right) \leqslant \mathbb{P}( \left| X \right| \geqslant s)+\mathbb{P}\!\left( \left| X_{n}-X \right| \geqslant 1 \right)+\mathbb{P}\! \left( \left| X_{n}-X \right| \geqslant \varepsilon \exp (-1-s) \right)\]
Conclure.
On considère une succession de courses hippiques entre \(N\) chevaux participants \((N \geqslant 2)\) numérotés \(1,2, \ldots, N\). Pour tout \(n\) de \(\mathbb{N}^{*}\), on note \(G_{n}\) la variable aléatoire égale au numéro du cheval gagnant de la \(n\)-ième course. On suppose que les variables aléatoires \(G_{1}, G_{2}, \ldots, G_{n}, \ldots\) à valeurs dans \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\), sont définies sur \((\Omega,\mathcal{A},\mathbb{P})\), mutuellement indépendantes et de même loi. On suppose qu’il n’y a qu’un seul gagnant par course.
On pose pour tout \(k\) de \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\) et pour tout \(n\) de \(\mathbb{N}^{*}: p_{k}= \mathbb{P}( G_{n}=k )\), avec \(0<p_{k}<1\).
Pour tout \(k\) de \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\), on note \(c_{k}\) (\(c_{k}>1\)) la cote du cheval \(k\) ; ainsi, un parieur qui a misé un montant \(m_{k}\) sur le cheval \(k\) perdra sa mise quelle que soit l’issue de la course, mais recevra la somme \(m_{k} c_{k}\) si le cheval \(k\) est gagnant. On suppose que les cotes \(c_{1}, c_{2}, \ldots, c_{N}\) sont fixes au cours du temps.
À l’occasion de la première course, un parieur dispose d’une somme monétaire \(r_{0}>0\) qu’il souhaite répartir en totalité entre les \(N\) chevaux dans les proportions respectives \(f_{1}, f_{2}, \ldots, f_{N}\), où pour tout \(k\) de \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right], 0<f_{k}<1\). À l’issue de cette première course, le parieur dispose d’une somme monétaire \(R_{1}=r_{0} M_{1}\) avec \(M_{1}>0\).
À l’occasion de la deuxième course, ce parieur réinvestit en totalité la somme \(R_{1}\) entre les \(N\) chevaux dans les mêmes proportions \(f_{1}, f_{2}, \ldots, f_{N}\). À l’issue de cette deuxième course, le parieur dispose d’une somme monétaire \(R_{2}=R_{1} M_{2}\) avec \(M_{2}>0\), et ainsi de suite..
La richesse monétaire \(R_{n}\) acquise au terme de \(n\) courses est donc : \(R_{n}=r_{0} \prod\limits_{i=1}^{n} M_{i}\).
On définit pour tout \(n\) de \(\mathbb{N}^{*}\), le taux de rendement moyen des paris par : \(T_{n}=\left(\frac{R_{n}}{r_{0}}\right)^{\frac{1}{n}}-1\).
Justifier que \(\left(M_{n}\right)_{n \in \mathbb{N}^{*}}\) est une suite de variables aléatoires indépendantes, à valeurs strictement positives et de même loi.
On suppose que la variable aléatoire \(\ln (M_{1} )\) admet une espérance \(\mathbb{E}(\ln (M_{1} ))\) et une variance \(\mathbb{V}(\ln (M_{1}) )\). Montrer que la suite de variables aléatoires \(\left(T_{n}\right)_{n \in \mathbb{N}^{*}}\) converge en probabilité vers une variable certaine \(\tau\) que l’on exprimera en fonction de \(\mathbb{E}( \ln( M_1 ))\). Le réel \(\tau\) est le taux de rendement asymptotique des paris.
La stratégie du parieur consiste à choisir les proportions \(f_{1}, f_{2}, \ldots, f_{N}\) qui maximiseraient \(\tau\). On rappelle que les proportions \(f_{1}, f_{2}, \ldots, f_{N}\) sont constantes au cours du temps.
Montrer que : \(\tau=\exp \! \left(\sum\limits_{k=1}^{N} p_{k} \ln \! \left(f_{k} c_{k}\right)\right)-1\)
En déduire la stratégie optimale du parieur et la valeur optimale de \(\tau\) associée à ses paris.
On suppose dans cette question que \(\sum\limits_{k=1}^{N} \frac{1}{c_{k}}=1\). Montrer que \(\sum\limits_{k=1}^{N} p_{k} \ln (p_{k} c_{k} ) \geqslant 0\).
Dans quel cas le parieur ne dispose-t-il d’aucune stratégie lui permettant de s’assurer un taux de rendement asymptotique optimal strictement positif?
Le corrigé pas à pas, les aides et les explications sont disponibles dans la plateforme.
