Connectez-vous pour consulter le corrigé.
Dans tout le problème, \(n\) et \(r\) désignent des entiers strictement positifs.
On note \(\mathcal{M}_{n, r}(\mathbb{R})\), l’ensemble des matrices rectangulaires à \(n\) lignes et \(r\) colonnes à coefficients réels. Pour \(n=r\), on pose \(\mathcal{M}_{n}(\mathbb{R})=\mathcal{M}_{n, n}(\mathbb{R})\). Pour tout entier \(n\) de \(\mathbb{N}^{*}\), on identifie \(\mathbb{R}^{n}\) et \(\mathcal{M}_{n, 1}(\mathbb{R})\).
La transposée d’une matrice \(A\) appartenant à \(\mathcal{M}_{n, r}(\mathbb{R})\) est notée \({}^t\!A\). On pourra également la noter \(A^T\).
On étudie dans ce problème, quelques propriétés du modèle linéaire, qui constitue l’instrument de base de l’économétrie.
Pour toute matrice \(M\) appartenant à \(\mathcal{M}_{n}(\mathbb{R})\), on appelle trace de \(M\), notée \(\mathrm{Tr}(M)\), la somme de ses coefficients diagonaux ; ainsi, si \(M=\left(m_{i, j}\right)_{1 \leqslant i, j \leqslant n}\), \(\displaystyle \mathrm{Tr}(M)=\sum_{i=1}^{n} m_{i, i}\).
On rappelle les trois résultats suivants (que les candidats n’ont pas à démontrer) :
l’application \(\mathrm{Tr}\) qui, à toute matrice \(M\) de \(\mathcal{M}_{n}(\mathbb{R})\), associe sa trace, est une application linéaire de \(\mathcal{M}_{n}(\mathbb{R})\) dans \(\mathbb{R}\);
si \(A\) est une matrice de \(\mathcal{M}_{n, r}(\mathbb{R})\) et \(B\) une matrice de \(\mathcal{M}_{r, n}(\mathbb{R})\), alors \(\mathrm{Tr}(A B)=\mathrm{Tr}(B A)\);
si \(M\) et \(N\) sont deux matrices semblables de \(\mathcal{M}_{n}(\mathbb{R})\), alors \(\mathrm{Tr}(M)=\mathrm{Tr}(N)\).
Soit \(M\) une matrice de \(\mathcal{M}_{n}(\mathbb{R})\) possédant \(q\) valeurs propres \((1 \leqslant q \leqslant n)\) notées \(\lambda_{1}, \lambda_{2}, \ldots, \lambda_{q}\). Pour tout entier \(i\) de \(\left[\!\left[1, q\right]\!\right]\), on désigne par \(n_{i}\) la dimension du sous-espace propre associé à la valeur propre \(\lambda_{i}\).
On suppose que la matrice \(M\) est diagonalisable sur \(\mathbb{R}\). Montrer que \(\displaystyle \mathrm{Tr}(M)=\sum_{i=1}^{q} n_{i} \lambda_{i}\).
On suppose que la matrice \(M=\left(m_{i, j}\right)_{1 \leqslant i, j \leqslant n}\) de \(\mathcal{M}_{n}(\mathbb{R})\) est symétrique. Montrer les égalités suivantes : \[\mathrm{Tr}( {}^t\!M M)=\mathrm{Tr}(M^{2})=\sum_{i=1}^{q} n_{i} \lambda_{i}^{2}=\sum_{i=1}^{n} \sum_{j=1}^{n} m_{i, j}^{2}\]
Pour tout entier \(i\) de \(\left[\!\left[1, n\right]\!\right]\) et pour tout entier \(j\) de \(\left[\!\left[1, r\right]\!\right]\), on considère des variables aléatoires réelles \(Z_{i, j}\) définies sur un espace probabilisé \((\Omega, \mathcal{A}, \mu)\). On définit la matrice aléatoire \(Z\), à \(n\) lignes et \(r\) colonnes, en associant à tout \(\omega\) de \(\Omega\), la matrice : \[Z(\omega)= \begin{pmatrix} Z_{1,1}(\omega) & \ldots & Z_{1, r}(\omega) \\ \vdots & \ddots & \vdots \\ Z_{n, 1}(\omega) & \ldots & Z_{n, r}(\omega) \end{pmatrix}=\left(Z_{i, j}(\omega)\right)_{\substack{1 \leqslant i \leqslant n \\ 1 \leqslant j \leqslant r}}\]
On suppose que les \(n r\) variables aléatoires \(Z_{i, j}\) admettent une espérance \(\mathbb{E}(Z_{i, j})\), et on définit l’espérance de la matrice \(Z\), notée \(\mathbb{E}(Z)\), comme la matrice de \(\mathcal{M}_{n, r}(\mathbb{R})\) dont les éléments sont les espérances \(\mathbb{E}(Z_{i, j})\), soit \(\mathbb{E}(Z)=\left( \mathbb{E}(Z_{i, j})\right)_{\substack{1 \leqslant i \leqslant n \\ 1 \leqslant j \leqslant r}}\).
Si \(Z\) et \(W\) sont deux matrices aléatoires à \(n\) lignes et \(r\) colonnes admettant chacune une espérance, et si \(\lambda\) est réel, on remarquera que \(\mathbb{E}(\lambda Z+W)=\lambda \, \mathbb{E}(Z)+ \mathbb{E}(W)\).
Dans le cas où \(n=r\), on appelle trace de \(Z\), notée \(\mathrm{Tr}(Z)\), la variable aléatoire définie par \[\displaystyle \mathrm{Tr}(Z)=\sum_{i=1}^{n} Z_{i, i}\] et si \(n=r=1\), la matrice aléatoire \(Z\) coïncide avec la variable aléatoire \(Z\) et on a \(\mathrm{Tr}(Z)=Z\).
Dans le cas où \(r=1\) et \(n\) est quelconque, si \(T= {}^t\!\begin{pmatrix} T_{1} & \cdots & T_{n} \end{pmatrix}\) et \(W= {}^t\!\begin{pmatrix} W_{1} & \cdots & W_{n} \end{pmatrix}\) sont deux vecteurs aléatoires de \(\mathbb{R}^{n}\), et si \(\lambda\) est un réel quelconque, on définit le vecteur aléatoire \(\lambda T+W\) de \(\mathbb{R}^{n}\) par
\[\lambda T+W= {}^t\!\begin{pmatrix} \lambda T_{1}+W_{1} & \cdots & \lambda T_{n}+W_{n} \end{pmatrix}\]
Soit \(Z\) une matrice aléatoire à \(n\) lignes et \(r\) colonnes admettant une espérance \(\mathbb{E}(Z)\). On considère une matrice \(A\) de \(\mathcal{M}_{r, n}(\mathbb{R})\). Montrer que \(\mathbb{E}(A Z)=A \, \mathbb{E}(Z)\).
Soit \(B\) un élément de \(\mathcal{M}_{r, q}(\mathbb{R})\), avec \(q \in \mathbb{N}^{*}\). Montrer que \(\mathbb{E}(Z B)= \mathbb{E}(Z) \, B\).
Soit \(Z\) une matrice aléatoire à \(n\) lignes et \(n\) colonnes admettant une espérance \(\mathbb{E}(Z)\). Établir les deux égalités : \(\mathbb{E}( {}^t\!\, Z)= {}^t\!\left( \mathbb{E}(Z) \right)\) et \(\mathbb{E}(\mathrm{Tr}(Z))=\mathrm{Tr}(\mathbb{E}(Z))\).
Dans cette question, \(Y\) désigne un vecteur aléatoire de \(\mathbb{R}^{n}\), noté \(Y= \begin{pmatrix} Y_{1} \\ \vdots \\ Y_{n} \end{pmatrix}\), admettant une espérance \(\mathbb{E}(Y)\) et une matrice de variance-covariance notée \(\mathbb{V}(Y)\) et définie par : \[\mathbb{V}(Y)= ( \mathrm{Cov}(Y_i,Y_j) )_{1\leqslant i ,j \leqslant n}\]
On rappelle que \(\mathbb{V}(Y)=\mathbb{E}\! \left[(Y- \mathbb{E}(Y)) \times {}^t\!\left( Y- \mathbb{E}(Y) \right)\right]\).
Montrer que, pour tout vecteur aléatoire \(Y\) de \(\mathbb{R}^{n}\), \(\mathbb{V}(Y)= \mathbb{E}(Y \,{}^t\!\, Y)- \mathbb{E}(Y) \,\mathbb{E}( {}^t\!\, Y)\).
Soit \(B\) une matrice de \(\mathcal{M}_{r, n}(\mathbb{R})\). Justifier l’égalité \(\mathbb{V}(B Y)=B \, \mathbb{V}(Y) \,{}^t\!B\).
Soit \(A\) une matrice de \(\mathcal{M}_{n}(\mathbb{R})\). On pose \(m=\mathbb{E}(Y)\) et \(J=\mathbb{V}(Y)\). Établir les égalités : \[\mathbb{E}( {}^t\!\, Y A Y)=\mathrm{Tr}(A \cdot \mathbb{E}(Y \,{}^t\!\, Y)) \quad \text{et} \quad \mathbb{E}( {}^t\!\, Y A Y)=\mathrm{Tr}(A J)+ {}^t\!\, m A m\]
Dans les parties II.A et II.B, \(n\) et \(k\) sont deux entiers donnés qui vérifient \(1 \leqslant k<n\). L’espace vectoriel \(\mathbb{R}^{n}\) est muni de sa structure euclidienne canonique. Toutes les variables aléatoires considérées sont définies sur un espace probabilisé \((\Omega, \mathcal{A}, \mu)\) et admettent des moments d’ordre au moins 2.
On considère un échantillon de \(n\) individus extrait d’une population donnée. Ces individus sont décrits à l’aide de \(k\) variables statistiques réelles (caractères) \(C_{1}, C_{2}, \ldots, C_{k}\).
Pour tout entier \(j\) de \(\left[\!\left[1, k\right]\!\right]\), chaque caractère \(C_{j}\) fait l’objet de \(n\) observations notées \(x_{1, j}, \ldots, x_{n, j}\). On définit ainsi une application linéaire \(f\) de \(\mathbb{R}^{k}\) dans \(\mathbb{R}^{n}\), dont la matrice dans les bases canoniques de \(\mathbb{R}^{k}\) et \(\mathbb{R}^{n}\) est la matrice \(X=(x_{i, j} )_{\substack{1 \leqslant i \leqslant n \\ 1 \leqslant j \leqslant k}}\) de \(\mathcal{M}_{n, k}(\mathbb{R})\). On suppose que le rang de \(X\) est égal à \(k\).
Soit \(U=\begin{pmatrix} U_{1} \\ \vdots \\ U_{n} \end{pmatrix}\) un vecteur aléatoire de \(\mathbb{R}^{n}\), dont les composantes \(U_{1}, \ldots, U_{n}\) sont des variables aléatoires réelles définies sur \((\Omega, \mathcal{A}, \mu)\), mutuellement indépendantes et de même loi. On suppose que \(\mathbb{E}(U)=0_{n}\) et \(\mathbb{V}(U)=\sigma^{2} I_{n}\), où \(0_{n}\) désigne le vecteur nul de \(\mathbb{R}^{n}, I_{n}\) la matrice identité de \(\mathcal{M}_{n}(\mathbb{R})\) et \(\sigma\) un réel strictement positif inconnu.
Soit \(\alpha=\begin{pmatrix} \alpha_{1} \\ \vdots \\ \alpha_{k} \end{pmatrix}\) un vecteur non nul de \(\mathbb{R}^{k}\) dont les composantes \(\alpha_{1}, \ldots, \alpha_{k}\) sont inconnues (\(\alpha\) est un paramètre vectoriel).
On considère un vecteur aléatoire non nul, \(Y=\begin{pmatrix} Y_{1} \\ \vdots \\ Y_{n} \end{pmatrix}\) de \(\mathbb{R}^{n}\) tel que, pour tout \(i\) de \(\left[\!\left[1, n\right]\!\right]\), la variable aléatoire \(Y_{i}\) définie sur \((\Omega, \mathcal{A}, \mu)\) s’écrit \(\displaystyle Y_{i}=\sum_{j=1}^{k} x_{i, j} \alpha_{j}+U_{i}\).
Sous forme matricielle, le modèle linéaire s’écrit \(Y=X \alpha+U\). On s’intéresse dans cette partie II, à l’étude de quelques propriétés de ce modèle, liées à l’estimation des paramètres inconnus \(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{k}\) et \(\sigma^{2}\).
Pour cela, on désigne par \(y\) et on note \(y= \begin{pmatrix} y_{1} \\ \vdots \\ y_{n} \end{pmatrix}\), le vecteur non nul de \(\mathbb{R}^{n}\) qui représente la réalisation sur l’échantillon considéré du vecteur aléatoire \(Y\); ainsi, pour tout \(i\) de \(\left[\!\left[1, n\right]\!\right]\), \(y_{i}\) est la réalisation de la variable aléatoire \(Y_{i}\).
Soit \(u= \begin{pmatrix} u_{1} \\ \vdots \\ u_{n} \end{pmatrix}\) le vecteur de \(\mathbb{R}^{n}\), dit vecteur d’écart, défini par \(u=y-X \alpha\).
On considère l’endomorphisme \(h\) de \(\mathbb{R}^{k}\) dont la matrice \(H\), dans la base canonique de \(\mathbb{R}^{k}\), est définie par \(H= {}^t\!X X\).
Montrer que \(H\) est une matrice symétrique réelle de \(\mathcal{M}_{k}(\mathbb{R})\).
En étudiant le noyau de \(h\), montrer que le rang de \(h\) est égal à \(k\). En déduire que la matrice \(H\) est inversible. On notera \(H^{-1}\) son inverse.
Dans cette question, on veut trouver, en fonction de \(y\) et \(X\), les vecteurs \(\alpha\) de \(\mathbb{R}^{k}\) qui minimisent \(\|u\|\).
Montrer que ce problème admet une unique solution \(\widehat{\alpha}\) définie par \(\widehat{\alpha}=\begin{pmatrix} \widehat{\alpha_{1}} \\ \vdots \\ \widehat{\alpha_{n}} \end{pmatrix}=H^{-1} \, {}^t\!X y\).
Soit \(p\) le projecteur orthogonal de \(\mathbb{R}^{n}\) sur le sous-espace vectoriel engendré par les colonnes de la matrice \(X\). On note \(P\) la matrice de \(p\) dans la base canonique de \(\mathbb{R}^{n}\).
Montrer que \(p(y)=X \widehat{\alpha}\). En déduire que \(P=X H^{-1} \,{}^t\!X\). Vérifier que \(P=P^{2}= {}^t\!P\).
Établir que le rang de \(P\) et la trace de \(P\) sont égaux. Quelle est leur valeur commune?
Montrer que les colonnes de \(X\) constituent une base de vecteurs propres de la matrice \(P\), associés à la valeur propre 1.
Montrer qu’il existe une matrice \(S\) de \(\mathcal{M}_{n}(\mathbb{R})\), orthogonale, telle que \[P=S D \, {}^t\!S\] où \(D=\left(d_{i, j}\right)_{1 \leqslant i, j \leqslant n}\) est la matrice diagonale définie par :
\[\begin{cases} d_{i, i}=1 & \text { si } 1 \leqslant i \leqslant k \\ d_{i, j}=0 & \text { sinon } \end{cases}\]
Préciser les \(k\) premières colonnes de \(S\).
Soit \(\widehat{u}\) le vecteur de \(\mathbb{R}^{n}\) défini par \(\widehat{u}=y-X \widehat{\alpha}\).
On pose \(Q=I_{n}-P\). Montrer que \(\widehat{u}=Q u\). Vérifier que \(Q=Q^{2}= {}^t\!\, Q\). Calculer la trace de \(Q\).
Exprimer \({}^t\!\, \widehat{u}\, \widehat{u}\) et \({}^t\!\, y \, Q \, y\) en fonction de \(Q\) et \(u\).
Par définition, on dit qu’une matrice \(A\) symétrique réelle d’ordre \(n\) est positive, si pour tout vecteur \(z\) de \(\mathbb{R}^{n}\), on a \({}^t\!\, z A z \geqslant 0\).
Montrer que \(A\), symétrique réelle, est positive si et seulement si ses valeurs propres sont positives ou nulles.
Soit \(L\) une matrice appartenant à \(\mathcal{M}_{n, k}(\mathbb{R})\). Établir que \({}^t\!\, L L\) est symétrique réelle positive.
Soit \(\widehat{G}\) le vecteur aléatoire de \(\mathbb{R}^{k}\) défini par : \(\widehat{G}=H^{-1} \, {}^t\!X Y\).
Établir que \(\mathbb{E}(Y)=X \alpha\), et que \(\mathbb{V}(Y)=\sigma^{2} I_{n}\). En déduire que \(\mathbb{E}(\widehat{G})=\alpha\) (\(\widehat{G}\) est un estimateur sans biais de \(\alpha\), tandis que \(\widehat{\alpha}\) est une estimation sans biais de \(\alpha\)).
Montrer que \(\mathbb{V}(\widehat{G})=\sigma^{2} H^{-1}\).
On veut montrer dans cette question, que dans l’ensemble des estimateurs sans biais du paramètre \(\alpha\), de la forme \({}^t\!B Y\), où \(B\) est une matrice quelconque, non nulle de \(\mathcal{M}_{n, k}(\mathbb{R})\), l’estimateur \(\widehat{G}\) est optimal dans le sens suivant : tout autre estimateur \(G^{*}\) sans biais du paramètre \(\alpha\), de la forme \({}^t\!B Y\) est tel que la matrice \(\mathbb{V}(G^{*})- \mathbb{V}(\widehat{G})\) est positive.
Soit \(B\) une matrice non nulle de \(\mathcal{M}_{n, k}(\mathbb{R})\). On considère le vecteur aléatoire \(\widehat{C}= {}^t\!B Y\).
Quelle condition doit satisfaire la matrice \(B\) pour que, pour tout vecteur \(\alpha\) de \(\mathbb{R}^{k}\), \(\widehat{C}\) soit un estimateur sans biais de \(\alpha\) ?
En supposant cette condition vérifiée, on pose \({}^t\!F= {}^t\!\, B-H^{-1} \, {}^t\!X\). Calculer \({}^t\!F X\), et montrer que la matrice \(\mathbb{V}(\widehat{C})- \mathbb{V}(\widehat{G})\) est positive.
On désigne par \(\widehat{U}\) le vecteur aléatoire de \(\mathbb{R}^{n}\) défini par \(\widehat{U}=\begin{pmatrix} \widehat{U_{1}} \\ \vdots \\ \widehat{U_{n}} \end{pmatrix}=Y-X \widehat{G}\).
Montrer que \(\widehat{U}=Q U\).
Déterminer \(\mathbb{E}(\widehat{U})\) et \(\mathbb{V}(\widehat{U})\). Les variables aléatoires \(\widehat{U_{1}}, \ldots, \widehat{U_{n}}\) sont-elles indépendantes?
Montrer que \(\displaystyle {}^t\!\, \widehat{U} \, \widehat{U}=\sum_{i=1}^{n}{\widehat{U_{i}}}^{2}= {}^t\!\, U Q U= {}^t\!\, Y Q Y\).
Calculer \(\mathbb{E}( {}^t\!\, \widehat{U} \, \widehat{U})\). En déduire que la variable aléatoire \(s_{n}\) définie par \(\displaystyle s_{n}=\frac{ {}^t\!\, \widehat{U} \, \widehat{U}}{n-k}=\frac{ {}^t\!\, Y Q Y}{n-k}\) est un estimateur sans biais de \(\sigma^{2}\).
Dans cette partie, \(k\) est fixé dans \(\mathbb{N}^{*}\). On veut montrer que la suite d’estimateurs \(\left(s_{n}\right)_{n \geqslant k+1}\) de \(\sigma^{2}\), est convergente.
On suppose que, pour tout \(i\) de \(\left[\!\left[1, n\right]\!\right]\), la variable aléatoire \(U_{i}\) possède des moments d’ordre 3 et 4 avec \(\mathbb{E}(U_{i}^{3})=0\) et \(\mathbb{E}(U_{i}^{4})=3 \sigma^{4}\). On pose \(Q=\left(q_{i, j}\right)_{1 \leqslant i, j \leqslant n}\).
Établir que \(\displaystyle {}^t\!\, U Q U=\sum_{i=1}^{n} \sum_{j=1}^{n} q_{i, j} U_{i} U_{j}\).
Montrer que \(\mathbb{E}\!\left(( {}^t\!\, U Q U)^{2}\right)=\sigma^{4}\left[(\mathrm{Tr}(Q))^{2}+2 \, \mathrm{Tr}(Q^{2})\right]\). En déduire que : \[\mathbb{E}\! \left( \left( {}^t\!U Q U\right)^{2}\right)=\sigma^{4} \left( n-k \right) (n-k+2)\]
Calculer la variance \(\mathbb{V}(s_{n})\) de la variable aléatoire \(s_{n}\). Conclure.
Le corrigé pas à pas, les aides et les explications sont disponibles dans la plateforme.
