Connectez-vous pour consulter le corrigé.
Durée : 4 heures. Calculatrice autorisée.
Sujet du concours Centrale-Supélec 2025.
Objectif du problème et articulations entre ses différentes parties
L’objectif du problème est d’établir une expression matricielle donnant la solution du problème de minimisation des moindres carrés classiquement utilisée en régression linéaire multiple. Cette expression est utilisée pour établir les formules classiques de la régression linéaire simple.
La partie A donne une description de l’orthogonal de l’image d’une matrice. Elle permet de construire dans la partie B, la matrice de la projection orthogonale sur un sous-espace de \(\mathcal{M}_{p,1}(\mathbb{R})\). La partie C utilise cette approche dans le contexte de la régression linaire simple. Elle utilise donc des résultats de la partie B qui elle-même utilise des résultats de la partie A.
Notations et Rappels
Lorsque \(n\) et \(p\) sont deux entiers naturels non nuls, \(\mathcal{M}_{n,p}(\mathbb{R})\) désigne l’ensemble des matrices à \(n\) lignes et \(p\) colonnes à coefficients réels et \(\mathcal{M}_n(\mathbb{R})\) l’ensemble des matrices carrées d’ordre \(n\) à coefficients réels.
Par exemple : \[\mathcal{M}_{n,1}(\mathbb{R})=\left\{\begin{pmatrix}x_1\\ \vdots\\ x_n\end{pmatrix}\ ;\ \forall i\in\{1,\dots,n\},\ x_i\in\mathbb{R}\right\}\]
Pour toute matrice \(M\in\mathcal{M}_{n,p}(\mathbb{R})\), on note \(M^{\top}\) sa transposée.
On rappelle que : \(\forall(M,N)\in\left(\mathcal{M}_{n,p}(\mathbb{R})\right)^2,\quad (MN)^{\top}=N^{\top}M^{\top}\).
On rappelle la définition du noyau et la définition de l’image d’une matrice \(A\in\mathcal{M}_{n,p}(\mathbb{R})\) \[\mathrm{Ker}(A)=\left\{X\in\mathcal{M}_{p,1}(\mathbb{R})\text{ vérifiant }AX=0\right\}\quad;\quad\mathrm{Im}(A)=\left\{AX\text{ avec }X\in\mathcal{M}_{p,1}(\mathbb{R})\right\}\]
Le produit scalaire usuel sur \(\mathcal{M}_{n,1}(\mathbb{R})\) est défini pour tout \(X=\begin{pmatrix}x_1\\ \vdots\\ x_n\end{pmatrix}\in\mathcal{M}_{n,1}(\mathbb{R})\) et \(Y=\begin{pmatrix}y_1\\ \vdots\\ y_n\end{pmatrix}\in\mathcal{M}_{n,1}(\mathbb{R})\) par : \[(X\mid Y)=x_1y_1+\dots+x_ny_n=X^{\top}Y\]
Pour tout \(X\in\mathcal{M}_{n,1}(\mathbb{R})\), on note \(\left\| X \right\|\) la norme de \(X\) associée à ce produit scalaire, définie par : \[\left\| X \right\|=\sqrt{(X\mid X)}=\sqrt{\sum_{i=1}^{n}x_i^2}=\sqrt{X^{\top}X}\]
L’orthogonal d’un sous-espace \(F\) de \(\mathcal{M}_{n,1}(\mathbb{R})\) pour ce produit scalaire est défini par : \[F^{\perp}=\left\{X\in\mathcal{M}_{n,1}(\mathbb{R})\text{ tel que : }\forall Y\in F,\ (X\mid Y)=0\right\}\]
Soient \(C_1,\dots,C_p\) les vecteurs colonnes d’une matrice \(A\in\mathcal{M}_{n,p}(\mathbb{R})\).
Pour tout \(j\in\{1,\dots,p\}\), déterminer \(E_j\in\mathcal{M}_{n,1}(\mathbb{R})\) tel que \(C_j=A\,E_j\).
Montrer que la famille \((C_1,\dots,C_p)\) est une famille génératrice de \(\mathrm{Im}(A)\).
Dans cette partie, on prend \(A=\begin{pmatrix}1 & 1 & 1 & 1\\ 0 & 1 & 1 & 1\\ 1 & 0 & 0 & 1\end{pmatrix}\in\mathcal{M}_{3,4}(\mathbb{R})\).
Déterminer une base de \(\mathrm{Im}(A)\).
Montrer que \((\mathrm{Im}(A))^{\perp}=\mathrm{Ker}(A^{\top})\).
Justifier que pour tout \((X,Y)\in\left(\mathcal{M}_{n,1}(\mathbb{R})\right)^2\), on a \(X^{\top}Y=Y^{\top}X\).
Soit \(X\in\mathcal{M}_{n,1}(\mathbb{R})\). Montrer que si pour tout \(Y\in\mathcal{M}_{n,1}(\mathbb{R})\), \(X^{\top}Y=0\) alors \(X\) est nul.
Soit \(A\in\mathcal{M}_{n,p}(\mathbb{R})\).
Montrer que pour tout \(X\in\mathcal{M}_{n,1}(\mathbb{R})\) et pour tout \(Z\in\mathcal{M}_{p,1}(\mathbb{R})\), on a \(X^{\top}AZ=Z^{\top}A^{\top}X\).
En déduire que : \(A^{\top}X=0\Longleftrightarrow\left(\forall Z\in\mathcal{M}_{p,1}(\mathbb{R}),\ X^{\top}AZ=0\right)\).
En déduire que \((\mathrm{Im}(A))^{\perp}=\mathrm{Ker}(A^{\top})\).
Dans cette partie \(A\in\mathcal{M}_n(\mathbb{R})\) c’est-à-dire \(A\) est une matrice carrée d’ordre \(n\) à coefficients réels.
Justifier que les sous-espaces \(\mathrm{Ker}(A^{\top})\) et \(\mathrm{Im}(A)\) sont supplémentaires dans \(\mathcal{M}_{n,1}(\mathbb{R})\).
Justifier que les sous-espaces \(\mathrm{Ker}(A)\) et \(\mathrm{Im}(A^{\top})\) sont supplémentaires dans \(\mathcal{M}_{n,1}(\mathbb{R})\).
En déduire que pour tout \(X\in\mathcal{M}_{n,1}(\mathbb{R})\), il existe \((X',X'')\in\mathrm{Ker}(A^{\top})\times\mathrm{Im}(A^{\top})\) tel que \(X=X'+A\,X''\).
On admet que le couple \((X',X'')\) ainsi associé à \(X\) est unique. On note alors \(u\) l’application \(u:X\mapsto X''\).
Montrer que \(u\) est un endomorphisme de \(\mathcal{M}_{n,1}(\mathbb{R})\).
On note \(B\) la matrice de \(u\) dans la base canonique de \(\mathcal{M}_{n,1}(\mathbb{R})\).
Soit \(X\in\mathcal{M}_{n,1}(\mathbb{R})\), et \((X',X'')\) défini de manière unique en Q11.
A l’aide de la définition d’une projection orthogonale et de la question Q8 montrer que \(A\,X''\) est le projeté orthogonal de \(X\) sur \(\mathrm{Im}(A)\).
En déduire que \(AB\) est la matrice de la projection orthogonale sur \(\mathrm{Im}(A)\).
Montrer que \(BA\) est la matrice de la projection orthogonale sur \(\mathrm{Im}(A^{\top})\).
Jusqu’à la fin de cette partie, on prend \[A=\begin{pmatrix} 0 & 0 & \dots & \dots & \dots & 0\\ 1 & \ddots & \ddots & & & \vdots\\ 0 & \frac{1}{2} & \ddots & \ddots & & \vdots\\ \vdots & \ddots & \ddots & \ddots & \ddots & \vdots\\ \vdots & & \ddots & \ddots & \ddots & 0\\ 0 & \dots & \dots & 0 & \frac{1}{n-1} & 0 \end{pmatrix}\in\mathcal{M}_n(\mathbb{R})\quad\text{avec }n\geqslant2\]
On note \(\mathcal{B}_c=(e_1,\dots,e_n)\) la base canonique de \(\mathcal{M}_{n,1}(\mathbb{R})\).
Déterminer le rang de \(A\) et le rang de \(A^{\top}\).
Déterminer une base de chacun des espaces \((\mathrm{Im}(A))^{\perp}\) et \(\mathrm{Ker}(A^{\top})\).
On exprimera chaque base à l’aide des vecteurs de \(\mathcal{B}_c\).
Vérifier que l’endomorphisme \(u\) de \(\mathcal{M}_{n,1}(\mathbb{R})\) construit en Q11, est l’application : \[u:X=\sum_{k=1}^{n}x_ke_k=\begin{pmatrix}x_1\\ x_2\\ \vdots\\ x_{n-1}\\ x_n\end{pmatrix}\longmapsto X''=\sum_{k=1}^{n-1}kx_{k+1}e_k=\begin{pmatrix}x_2\\ 2x_3\\ \vdots\\ (n-1)x_n\\ 0\end{pmatrix}\]
Construire la matrice \(B\) de \(u\) dans \(\mathcal{B}_c\).
Vérifier le résultat de la question Q14.
L’espace \(\mathcal{M}_{p,1}(\mathbb{R})\) est muni de son produit scalaire canonique rappelé en préambule.
Soient \(F\) un sous-espace vectoriel de \(\mathcal{M}_{p,1}(\mathbb{R})\) de dimension \(k\) et \(\mathcal{B}_F=(f_1,\dots,f_k)\) une base de \(F\).
On note \(p_F\) la projection orthogonale sur \(F\) et \(A\) la matrice de \(\mathcal{B}_F\) dans la base canonique de \(\mathcal{M}_{p,1}(\mathbb{R})\).
La matrice \(A\) est donc dans \(\mathcal{M}_{p,k}(\mathbb{R})\) et ses colonnes sont les vecteurs \(f_1,\cdots,f_k\) exprimés dans la base canonique de \(\mathcal{M}_{p,1}(\mathbb{R})\).
Le but de cette partie est de démontrer que la matrice \(A^{\top}A\) est inversible et que \(A(A^{\top}A)^{-1}A^{\top}\) est la matrice de \(p_F\) dans la base canonique de \(\mathcal{M}_{p,1}(\mathbb{R})\).
Justifier que \(\mathrm{Ker}(A)=\{0\}\).
Montrer que : \(X\in\mathrm{Ker}(A^{\top}A)\Rightarrow\left\| AX \right\|=0\Rightarrow X=0\).
Montrer que \(A^{\top}A\) est inversible.
Montrer que \(F=\mathrm{Im}(A)\).
Montrer que pour tout \(X\in\mathcal{M}_{p,1}(\mathbb{R})\), il existe \(Y\in\mathcal{M}_{k,1}(\mathbb{R})\) tel que : \(p_F(X)=AY\) et \(X-AY\in\mathrm{Ker}(A^{\top})\).
En déduire que la matrice \(A(A^{\top}A)^{-1}A^{\top}\) est la matrice de \(p_F\) dans la base canonique de \(\mathcal{M}_{p,1}(\mathbb{R})\).
On pose \(u=\begin{pmatrix}1\\ \vdots\\ 1\end{pmatrix}\in\mathcal{M}_{n,1}(\mathbb{R})\) le vecteur colonne à \(n\) lignes contenant que des 1.
On note \(a=\begin{pmatrix}a_1\\ \vdots\\ a_n\end{pmatrix}\in\mathcal{M}_{n,1}(\mathbb{R})\) un vecteur colonne donné et non colinéaire à \(u\).
Soit \(A\) la matrice : \(A=\begin{pmatrix}1 & a_1\\ 1 & a_2\\ \vdots & \vdots\\ 1 & a_n\end{pmatrix}\in\mathcal{M}_{n,2}(\mathbb{R})\).
Lors d’un processus expérimental d’entrée \(a_1\in\mathbb{R}\), on recueille l’observation \(b_1\in\mathbb{R}\). On répète ce même processus avec l’entrée \(a_2\in\mathbb{R}\), on recueille l’observation \(b_2\in\mathbb{R}\). Ainsi de suite jusqu’au dernier processus d’entrée \(a_n\in\mathbb{R}\), où on recueille l’observation \(b_n\in\mathbb{R}\).
On note le vecteur \(b=\begin{pmatrix}b_1\\ \vdots\\ b_n\end{pmatrix}\in\mathcal{M}_{n,1}(\mathbb{R})\) contenant donc les \(n\) observations après les \(n\) processus expérimentaux d’entrées \(a_1,\dots,a_n\).
On pose \(g:\mathbb{R}^2\to\mathbb{R}\) la fonction définie par : \[\forall(x_1,x_2)\in\mathbb{R}^2,\quad g(x_1,x_2)=\left\| A\begin{pmatrix}x_1\\ x_2\end{pmatrix}-b \right\|^2\]
On prend dans cette sous partie, \(A=\begin{pmatrix}1 & 1\\ 1 & -1\\ 1 & 0\end{pmatrix}\) et \(b=\begin{pmatrix}1\\ 2\\ 3\end{pmatrix}\).
Expliciter la fonction \(g\) et justifier qu’elle est de classe \(\mathcal{C}^1\) sur \(\mathbb{R}^2\).
Calculer les dérivées partielles de \(g\).
En déduire que \(g\) admet un unique point critique dans \(\mathbb{R}^2\) que l’on précisera.
Montrer qu’en ce point \(g\) atteint son minimum.
Pour tout \((x_1,x_2)\in\mathbb{R}^2\), on écrira \(g(x_1,x_2)\) sous la forme \(\beta_1(x_1-\alpha_1)^2+\beta_2(x_2-\alpha_2)^2+m\) où \(\beta_1>0\) et \(\beta_2>0\).
On se place dans les conditions énoncées dans le préambule de la partie C.
Démontrer que : \[\forall(x_1,x_2)\in\mathbb{R}^2,\quad g(x_1,x_2)=\sum_{i=1}^{n}b_i^2-2\sum_{i=1}^{n}(x_1+a_ix_2)b_i+\sum_{i=1}^{n}(x_1+a_ix_2)^2\]
Justifier que \(g\) est de classe \(\mathcal{C}^1\) sur \(\mathbb{R}^2\).
Calculer le gradient de \(g\) en \((x_1,x_2)\in\mathbb{R}^2\) noté \(\nabla g(x_1,x_2)\).
Montrer que : \(\forall(x_1,x_2)\in\mathbb{R}^2,\quad\nabla g(x_1,x_2)=-2A^{\top}b+2A^{\top}A\begin{pmatrix}x_1\\ x_2\end{pmatrix}\).
Justifier à l’aide de la partie B que la matrice \(A^{\top}A\) est inversible.
Montrer que si \(g\) admet un extremum en \((\alpha_1,\alpha_2)\) alors \(\begin{pmatrix}\alpha_1\\ \alpha_2\end{pmatrix}=(A^{\top}A)^{-1}A^{\top}b\).
On note \(F=\mathrm{Im}(A)\) et \(p_F\) le projecteur orthogonal sur \(F\).
Justifier que \(p_F(b)=A\begin{pmatrix}\alpha_1\\ \alpha_2\end{pmatrix}\).
En déduire que \(g(\alpha_1,\alpha_2)\) est le minimum de \(g\) sur \(\mathbb{R}^2\).
On note : \[m_a=\frac{1}{n}\sum_{i=1}^{n}a_i\quad;\quad m_b=\frac{1}{n}\sum_{i=1}^{n}b_i\] les valeurs moyennes et \[S_{a,b}=\sum_{i=1}^{n}(a_i-m_a)(b_i-m_b)\]
Montrer que \(S_{a,b}=\displaystyle\sum_{i=1}^{n}(a_i\times b_i)-n\times m_a\times m_b\).
Montrer que \(S_{a,a}=\left\| a-m_a\cdot u \right\|^2\) où \(u=\begin{pmatrix}1\\ 1\\ \vdots\\ 1\end{pmatrix}\in\mathcal{M}_{n,1}(\mathbb{R})\).
Montrer que \(S_{a,a}\neq0\).
En déduire que la matrice \(A^{\top}A\) est inversible et montrer que : \[(A^{\top}A)^{-1}=\frac{1}{n\times S_{a,a}}\begin{pmatrix}\displaystyle\sum_{i=1}^{n}a_i^2 & -\displaystyle\sum_{i=1}^{n}a_i\\ -\displaystyle\sum_{i=1}^{n}a_i & n\end{pmatrix}\]
En déduire que : \(\alpha_2=\frac{S_{a,b}}{S_{a,a}}\) et \(\alpha_1=m_b-\alpha_2\times m_a\)
Un exemple d’application
Soit la fonction \(g\) définie sur \(\mathbb{R}^2\) par : \[g:(x_1,x_2)\longmapsto(x_1+2x_2-1)^2+(x_1+x_2-2)^2+(x_1+x_2-1)^2+(x_1-x_2)^2+(x_1-3x_2-1)^2\]
Déterminer en quel point le minimum de \(g\) sur \(\mathbb{R}^2\) est atteint.
On suppose que chaque \(b_i\), pour \(i\in\{1,\cdots,n\}\), est une observation d’une variable aléatoire réelle \(B_i\).
On suppose que les variables aléatoires \(B_i\) suivent toutes la même loi et sont deux à deux indépendantes.
On modélise le processus expérimental à l’aide du modèle linéaire, c’est à dire on suppose que :
Pour \(i\in\{1,\cdots,n\}\), \(B_i=x_1+x_2\,a_i+\mathcal{E}_i\) où \(\mathcal{E}_i\) est une variable aléatoire réelle.
On suppose que les variables \(\mathcal{E}_i\) suivent toutes la même loi, sont centrées et d’écart type noté \(\sigma>0\), et sont deux à deux indépendantes.
On note \(B=\begin{pmatrix}B_1\\ \vdots\\ B_n\end{pmatrix}\) le vecteur aléatoire dont les coordonnées sont les variables aléatoires \(B_i\).
De même, on note \(\mathcal{E}=\begin{pmatrix}\mathcal{E}_1\\ \vdots\\ \mathcal{E}_n\end{pmatrix}\) le vecteur aléatoire dont les coordonnées sont les variables aléatoires \(\mathcal{E}_i\).
Déterminer l’espérance de \(B_i\) en fonction des nombres réels \(x_1\), \(x_2\) et \(a_i\).
Déterminer la variance de \(B_i\) en fonction de \(\sigma\).
On pose \(\begin{pmatrix}X_1\\ X_2\end{pmatrix}\) le vecteur aléatoire \((A^{\top}A)^{-1}A^{\top}B\).
Ainsi définies, \(X_1\) et \(X_2\) sont des variables aléatoires réelles appelées estimateurs des coefficients par la méthode des moindre carrés.
On note : \(m_a=\frac{1}{n}\displaystyle\sum_{i=1}^{n}a_i\in\mathbb{R}\) et on définit les variables aléatoires \[m_B=\frac{1}{n}\sum_{i=1}^{n}B_i\quad;\quad S_{a,B}=\sum_{i=1}^{n}(a_i-m_a)(B_i-m_B)\]
Déterminer l’espérance de \(m_B\) en fonction des nombres réels \(x_1\), \(x_2\) et \(m_a\).
Justifier que \(X_2=\frac{S_{a,B}}{S_{a,a}}\) et que \(X_1=m_B-X_2\,m_a\).
Déterminer l’espérance de \(X_2\).
Déterminer l’espérance de \(X_1\).
\(\diamond\)Fin\(\diamond\)
Le corrigé pas à pas, les aides et les explications sont disponibles dans la plateforme.
Un sujet d'algèbre euclidienne appliquée, bien guidé : orthogonal de l'image d'une matrice, matrice A(AᵀA)⁻¹Aᵀ de la projection orthogonale sur Im(A), puis régression linéaire simple traitée par une fonction de deux variables, par la projection orthogonale et par une formule explicite, et espérance des estimateurs obtenus.