Connectez-vous pour consulter le corrigé.
Tout au long du sujet \((\Omega,\mathcal{A},\mathbb{P})\) désignera un espace probabilisé et les variables aléatoires utilisé es seront toutes définies sur cet espace probabilisé. Sous réserve d’existence, l’espérance mathématique d’une variable aléatoire réelle \(X\) sera notée \(\mathbb{E}(X)\) et sa variance sera notée \(\mathbb{V}(X)\).
Étant donné un paramètre réel \(a\), on dira qu’un estimateur \(T_n\) de \(a\) est sans biais s’il admet une espérance et si \(\mathbb{E}(T_n) = a\).
Pour un événement \(A\), on notera \(\mathbb{P}_{B}(A)\) la probabilité conditionnelle de \(A\) sachant \(B\) où \(B\) est un événement non négligeable.
Le sujet est composé de quatre parties, très largement indépendantes.
Il s’agit de variations autour de la notion de risque quadratique en théorie de l’estimation.
Dans ce premier problème d’estimation, on dispose d’une seule observation notée \(X\). On suppose que \(X\) admet pour densité \(f_{\theta }\) définie sur \(\mathbb{R}\) par : \[\forall x\in\mathbb{R},\ f_\theta(x) = \begin{cases} \displaystyle \frac{k+1}{\theta ^{k+1}}\,x^k &\text{si } x\in [0,\theta] \\ \hspace{0.5cm} 0 &\text{sinon} \rule[0pt]{0pt}{15pt} \end{cases}\]
où \(k\) est un entier naturel non nul et \(\theta\) un paramètre réel inconnu strictement positif que l’on souhaite estimer.
Montrer que \(f_{\theta }\) est bien une densité de probabilité.
Montrer que \(X\) admet une espérance et une variance et les calculer.
Déterminer \(\lambda _{0}\) réel dépendant uniquement de \(k\) tel que \(\lambda _{0}X\) soit un estimateur sans biais de \(\theta\).
On définit le risque quadratique d’un estimateur \(T\) de \(\theta\) (sous réserve d’existence de l’espérance en question) par : \[R\left( T,\theta \right) = \mathbb{E}( (T-\theta )^{2})\]
Démontrer que, pour tout \(T\) estimateur de \(\theta\) admettant un moment d’ordre \(2\) : \[R\left( T,\theta \right) =\left[ \mathbb{E}(T) -\theta \right]^2 + \mathbb{V}(T)\]
Donner la valeur de \(R\left( \lambda _{0}X,\theta \right)\).
Le but de la fin de cette partie est de déterminer un estimateur de \(% \theta\) ayant un plus petit risque quadratique que celui de \(\lambda _{0}X\).
Montrer que pour tout \(\lambda\) réel : \[R\left( \lambda X,\theta \right) =\theta ^{2} \, Q (\lambda)\] où \(Q\) est un polynôme de degré 2 dont les coefficients ne dé pendent que de \(k\).
Montrer que la fonction \(\lambda \mapsto Q\left( \lambda \right)\) atteint son minimum en un unique réel noté \(\lambda ^{\ast }\) que l’on exprimera en fonction de \(k\).
Conclure sur le but recherché.
Dans ce second problème d’estimation, on dispose de \(n\) observations indépendantes \((n\geqslant 2)\) notées \(X_{1},...,X_{n}\) de même loi de Poisson de paramètre \(\theta\) inconnu \(\left( \theta \in \left] 0,+\infty \right[ \right)\). On souhaite estimer le paramètre \(\exp(-\theta)\).
On définit pour tout \(i\) élément de \(\left\{ 1,...,n\right\}\) la variable aléatoire \(Y_{i}\) par : \[\forall \omega \in \Omega,\ Y_i(\omega) = \begin{cases} 1 &\text{si } X_i(\omega) = 0 \\ 0 &\text{sinon} \end{cases}\]
ce qui signifie que \(Y_i\) prend la valeur \(1\) lorsque \(X_i\) prend la valeur \(0\) et prend la valeur \(0\) sinon. On considère enfin la variable aléatoire \(\overline{Y}_n\) définie par : \[\overline{Y}_{n}=\frac{1}{n}\sum_{i=1}^{n}Y_{i}\]
Pour tout \(i\) élément de \(\left\{ 1,...,n\right\}\), déterminer la loi de \(Y_{i}\).
Déterminer la loi de \(\sum\limits_{i=1}^n Y_{i}\), puis montrer que \(\overline{Y}_{n}\) est un estimateur sans biais de \(\exp (-\theta )\).
Calculer la variance de \(\overline{Y_{n}}\) puis déterminer la limite du risque quadratique de \(\overline{Y_{n}}\) lorsque \(n\) tend vers \({+\infty}\).
Pour tout \(k\) élément de \(\left\{ 1,...,n\right\}\) on définit la variable aléatoire \(S_k = \sum\limits_{i=1}^k X_i\) et on note :
\[\forall j\in\mathbb{N},\ \varphi(j) = \mathbb{P}_{[S_{n}=j ]}(X_{1}=0 )\]
Rappeler sans démonstration la loi de \(S_{k}\) pour tout \(% k\) élément de \(\left\{ 1,...,n\right\}\).
Montrer que pour tout entier naturel \(j\) : \[\varphi \left( j\right) =\left( 1-\frac{1}{n}\right) ^{j}\]
Ainsi, pour tout \(j\in\mathbb{N}\), \(\varphi \left( j\right)\) est indépendant du paramètre \(% \theta\) inconnu, ce qui nous conduit à nous intéresser à la variable aléatoire suivante : \[\varphi(S_{n} ) =\left( 1-\frac{1}{n}\right) ^{S_{n}}\]
Montrer que \(\varphi (S_{n})\) est un estimateur sans biais de \(\exp ( -\theta )\).
Montrer que \(\varphi \left( S_{n}\right)\) admet une variance et que : \[\mathbb{V}(\varphi (S_{n} )) =\exp(-2\theta) \left[ \exp\! \left( \frac{\theta }{n}\right) -1\right]\]
Quelle est la limite de \(R(\varphi (S_{n} ),\mathrm{e}^{-\theta})\) lorsque \(n\) tend vers \({+\infty}\) ?
On souhaite comparer les performances de \(\overline{Y}_{n}\) et \(% \varphi ( S_{n} )\) en tant qu’estimateurs de \(\exp ( -\theta )\).
En utilisant l’inégalité des accroissements finis, démontrer que : \[1\leqslant \frac{\exp ( \theta ) -1}{\theta }\leqslant \exp ( \theta )\]
Soit la fonction \(h:\left[ 0,1\right] \rightarrow \mathbb{R}\) définie par : \[\forall t\in [0,1],\ h\left( t\right) =t\exp( \theta) +\left( 1-t\right) -\exp ( t \, \theta )\] Étudier les variations de \(h\).
En déduire que : \[\exp \! \left( \frac{\theta }{n}\right) \leqslant \frac{\exp ( \theta ) }{% n}+\frac{n-1}{n}\] puis l’inégalité \[\mathbb{V}( \varphi ( S_{n} ) ) \leqslant \mathbb{V}( \overline{Y}_{n})\]
Des deux estimateurs \(\varphi(S_n)\) et \(\overline{Y}_n\), lequel semble le plus pertinent pour estimer \(\exp(-\theta)\) ?
Dans cette section III.A, on considère un intervalle \(I\) de \(\mathbb{R}\), un paramètre \(\theta\) inconnu appartenant à \(I\) et une variable aléatoire \(X\) à valeurs dans \(\mathbb{N}\).
On suppose qu’il existe une fonction \(p\) définie sur \(I\times X\left( \Omega \right)\) telle que : \[\forall k\in X(\Omega),\ \mathbb{P}(X=k) =p (\theta ,k)\] et telle que, pour tout \(k \in X ( \Omega )\), \(\theta \mapsto p (\theta ,k )\) soit deux fois dérivable sur \(I.\)
On définit, sous réserve d’existence l’information de Fisher de \(X\) par : \[I_{X} ( \theta ) =\sum_{k\in X\left( \Omega \right) } \left[ \partial_1 \ln\circ p (\theta,k) \right]^2 p ( \theta ,k)\]
On rappelle que \(\partial_1 \ln\circ p\) désigne la dérivée de la fonction \(\theta \mapsto (\ln \circ p)(\theta,k) = \ln(p(\theta,k))\).
Dans cette question, on suppose que \(X\) suit la loi de Bernoulli de paramètre \(\theta \in \left] 0,1\right[\). On a donc : \[X(\Omega) = \{ 0,1\},\quad p(\theta,1)= \mathbb{P}(X=1) = \theta \quad \text{et} \quad p(\theta,0)=\mathbb{P}(X=0)=1-\theta\]
Les fonctions \(\theta \mapsto p(\theta,0)\) et \(\theta \mapsto p(\theta,1)\) sont dérivables sur \(\left] 0,1 \right[\), donc \(I_X(\theta)\) est bien défini et : \[I_X(\theta) = \left[ \partial_1 \ln\circ p (\theta,0) \right]^2 p ( \theta ,0) + \left[ \partial_1 \ln\circ p (\theta,1) \right]^2 p ( \theta ,1)\]
Montrer que : \[I_{X} ( \theta ) =\frac{1}{\theta \left( 1-\theta \right) }\]
Dans cette question, on suppose que \(X\) suit la loi binomiale de paramètres \(N\in\mathbb{N}^\ast\) et \(\theta \in \left] 0,1\right[\).
Rappeler la valeur de \(\mathbb{E}(X)\).
Montrer que : \[I_{X} (\theta ) =\frac{1}{\left[ \theta \left( 1-\theta \right)\right] ^{2}} \sum_{k=0}^{N} \left( k-N\theta \right) ^{2}\binom{N}{k}\theta ^{k}\left( 1-\theta \right) ^{N-k}\]
En déduire la valeur de \(I_{X} (\theta)\).
Dans cette question, on suppose que \(X\) suit la loi de Poisson de paramètre \(\theta \in \left] 0,+\infty \right[\). Puisque \(X\left( \Omega \right) =\mathbb{N}\), on a sous réserve de convergence : \[I_{X} ( \theta) =\sum_{k=0}^{+\infty } \left[ \partial_1 \ln\circ p (\theta,k) \right]^2 p ( \theta ,k)\]
Montrer que la série de terme général \(\left[ \partial_1 \ln\circ p (\theta,k) \right]^2 p ( \theta ,k)\) converge et calculer sa somme.
Justifier que : \[I_{X} (\theta ) = \mathbb{E}\! \left( \left[ \partial_1 \ln\circ p (\theta,X) \right] ^{2}\right)\]
Soit \(X\) une variable aléatoire qui suit la loi normale de moyenne \(% \theta \in \mathbb{R}\) et de variance \(1\), dont la densité continue sur \(\mathbb{R}\) est notée \(x\mapsto f ( \theta ,x )\). On définit sous réserve de convergence l’information de Fisher de \(X\) par : \[I_{X} (\theta) =\int_{-\infty }^{+\infty }\left[ \partial_1 \ln \circ f(\theta,x) \right]^{2} f (\theta ,x)\,\mathrm{d}x\]
Montrer que \(I_X(\theta)\) existe si et seulement si l’intégrale \(\displaystyle \int_{-\infty }^{+\infty } \left( x-\theta \right) ^{2} f (\theta ,x ) \,\mathrm{d}x\) est convergente et que, dans ce cas : \[I_{X} (\theta ) = \int_{-\infty }^{+\infty } \left( x-\theta\right) ^{2} f (\theta ,x ) \,\mathrm{d}x\]
En déduire l’existence et la valeur de \(I_{X} \! \left( \theta \right)\).
Justifier finalement que : \[I_{X} (\theta ) = \mathbb{E}\! \left( \left[ \partial_1 \ln\circ f (\theta,X) \right] ^{2}\right)\]
Dans cette section IV.A, on considère un intervalle \(I\) de \(\mathbb{R}\), un paramètre inconnu \(\theta\) appartenant à \(I\) et une variable aléatoire \(X\) telle que \(X\left( \Omega \right) =\left\{ 0,...,N\right\}\), où \(N\in \mathbb{N}\).
On suppose qu’il existe une fonction \(p\) définie sur \(I\times X\left( \Omega \right)\) telle que : \[\forall k\in \left[\kern-0.15em\left[ {0,N} \right]\kern-0.15em\right],\ \mathbb{P}( X=k) =p ( \theta ,k)\] et vérifiant :
pour tout \(k\in \left\{ 0,...,N\right\}\), \(\theta \mapsto p\! \left( \theta ,k\right)\) est deux fois dérivable sur \(I\),
l’information de Fisher \(I_{X}\! \left( \theta\right)\) de \(X\), définie dans la partie III est non nulle pour tout \(\theta \in I\).
Le but de la section IV.A est de démontrer le théorème suivant dûe à Cramer et Rao.
Théorème de Cramer-Rao
Si \(g\) est une fonction dérivable sur \(I\) et si \(f(X)\) est un estimateur sans biais de \(g(\theta)\), alors : \[\mathbb{V}(f(X)) \geqslant \frac{\left[ g'(\theta) \right]^2}{I_X(\theta)}\]
Montrer que, pour tout \(\theta\) appartenant à \(I\) : \[\sum_{k=0}^{N} \partial_1 p( \theta,k ) =0\]
En déduire que, pour tout \(\theta\) appartenant à \(I\) : \[\mathbb{E}\! \left( \partial_1 \ln \circ p( \theta,X ) \right) =0 \tag{1}\]
En dérivant, partiellement par rapport à \(\theta\) les deux membres de l’égalité (1), montrer que, pour tout \(% \theta\) appartenant à \(I\) : \[\mathbb{E}\! \left( \partial_{1,1}^2 \ln \circ p( \theta ,X ) \right) = -\mathbb{E}\!\left( \left[ \partial_1 \ln \circ p( \theta,X ) \right] ^{2}\right)\]
Montrer que, pour tout \(\theta\) appartenant à \(I\) : \[g'(\theta) =\sum_{k=0}^{N} f(k)\left[ \partial_1 \ln \circ p(\theta,k)\right] p(\theta,k)\]
puis que : \[g'(\theta) = \mathbb{E}\! \left( (f(X) - g(\theta)) \, \partial_1 \ln \circ p(\theta,X) \right)\]
On pose pour tout \(t\) réel \[L(t) = \mathbb{E}\! \left( \left[ (f(X) - g(\theta)) + t\times \partial_1 \ln \circ p(\theta,X) \right]^2 \right)\]
Développer le polynôme \(L\) suivant les puissances dé croissantes de \(t\).
Calculer le discriminant \(\Delta\) de \(L\) et justifier que \(% \Delta \leqslant 0\).
En déduire le théorème de Cramer-Rao.
On reprend dans cette section IV.B les notations et hypothèses de la partie II. On admet que, dans ce contexte, le théorème de Cramer-Rao peut se généraliser comme suit :
Théorème de Cramer-Rao
Si \(g\) est une fonction dérivable sur \(\mathbb{R}_+^\ast\), si \(X_1,\dots,X_n\) sont des variables aléatoires indépendantes et toutes de même loi de Poisson de paramètre \(\theta\) et si \(T_n=f(X_1,\dots,X_n)\) est un estimateur sans biais de \(g(\theta)\), alors : \[\mathbb{V}(T_n) \geqslant \frac{\left[ g'(\theta) \right]^2}{n I_{X_1}(\theta)}\]
Il s’agit dans cette section d’exploiter cette nouvelle inégalité de Cramer-Rao. On note : \[\overline{X}_{n}=\frac{1}{n} \sum_{i=1}^{n}X_{i}\]
Calculer l’espérance et la variance de \(\overline{X}_n\).
Déduire de la généralisation de Cramer-Rao, que \(% \overline{X}_{n}\) a le plus petit risque quadratique parmi les estimateurs sans biais de \(\theta\).
Montrer que, pour \(g\left( \theta \right) =\exp (-\theta)\) où \(\theta \in \left] 0,+\infty \right[\), on a : \[\mathbb{V}( \varphi ( S_{n} ) \underset{n\rightarrow +\infty }{% \sim } \frac{\left( g^{\prime }( \theta ) \right) ^{2}}{% nI_{X_{1}}( \theta ) }\]
Que prouve ce résultat en terme d’optimalité de \(\varphi ( S_{n})\) dans l’estimation de \(\exp ( -\theta )\) ?
Le corrigé pas à pas, les aides et les explications sont disponibles dans la plateforme.
