Connectez-vous pour consulter le corrigé.
Chaîne de Markov en temps continu
Durée de l’épreuve : 3 heures. L’usage de la calculatrice ou de tout dispositif électronique est interdit.
Sujet du Concours commun Mines-Ponts 2023, propriété du GIP CCMP, reproduit avec son autorisation.
Dans tout le sujet on se fixe un entier naturel \(N\geqslant2\).
Soit \(A\in\mathcal{M}_{p,q}(\mathbb{R})\). Pour tout \((i,j)\in\left[\kern-0.15em\left[ {1,p} \right]\kern-0.15em\right]\times\left[\kern-0.15em\left[ {1,q} \right]\kern-0.15em\right]\), on note \(A[i,j]\) le coefficient à la ligne \(i\) et la colonne \(j\) de \(A\). Par abus, si \(A\) est une matrice colonne (\(q=1\)) on note \(A[i]\) pour \(A[i,1]\). De même si \(A\) est une matrice ligne (\(p=1\)) on note \(A[i]\) pour \(A[1,i]\).
On identifie \(\mathbb{R}^N\) avec \(\mathcal{M}_{N,1}(\mathbb{R})\). Pour tout \(k\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\) on note \(E_k\in\mathcal{M}_{N,1}(\mathbb{R})\) la matrice colonne dont tous les coefficients sont nuls sauf la \(k\)-ième qui vaut \(1\). On rappelle que \((E_1,\dots,E_N)\) est une base de \(\mathcal{M}_{N,1}(\mathbb{R})\).
On note \(U\in\mathcal{M}_{N,1}(\mathbb{R})\) le vecteur colonne dont toutes les coordonnées sont égales à \(1\). On a donc pour tout \(i\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\), \(U[i]=1\).
On appelle noyau de Markov une matrice \(K\in\mathcal{M}_N(\mathbb{R})\) telle que \begin{align*} &(M_1)\quad \forall(i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2,\ K[i,j]\geqslant0\\ &(M_2)\quad \forall i\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right],\ \sum_{j=1}^{N}K[i,j]=1 \end{align*}
On appelle probabilité un vecteur ligne \(\mu\in\mathcal{M}_{1,N}(\mathbb{R})\) tel que \begin{align*} &(P_1)\quad \forall i\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right],\ \mu[i]\geqslant0\\ &(P_2)\quad \sum_{j=1}^{N}\mu[j]=1 \end{align*}
On notera \(I_N\in\mathcal{M}_N(\mathbb{R})\) la matrice identité.
Soit \(A\in\mathcal{M}_N(\mathbb{R})\). Montrer que \(A\) vérifie \((M_2)\) si et seulement si \(AU=U\).
En déduire que si \(A\) et \(B\) sont deux noyaux de Markov alors \(AB\) est encore un noyau de Markov.
On se fixe un noyau de Markov \(K\).
Montrer que pour tout \(n\in\mathbb{N}\), \(K^n\) est un noyau de Markov.
Soit \(t\in\mathbb{R}\) et \((i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2\), justifier que la série \(\displaystyle\sum_{n\geqslant0}\frac{t^nK^n[i,j]}{n!}\) converge.
On notera \(H_t\in\mathcal{M}_N(\mathbb{R})\) la matrice définie par \[\forall(i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2,\ H_t[i,j]=\mathrm{e}^{-t}\sum_{n=0}^{+\infty}\frac{t^nK^n[i,j]}{n!}\]
Montrer que pour tout réel \(t\in\mathbb{R}_+\), \(H_t\) est un noyau de Markov.
Montrer que pour \((t,s)\in\mathbb{R}_+^2\), \(H_{t+s}=H_tH_s\).
On pourra faire apparaître un produit de Cauchy.
On cherche à modéliser un système ayant \(N\) états numérotés de \(1\) à \(N\). À l’instant initial le système est dans l’état \(1\). Le système est soumis à des impulsions.
On suppose que pour tout \((i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2\), à chaque impulsion, si le système est dans l’état \(i\), il se retrouve dans l’état \(j\) avec une probabilité \(p_{ij}\) qui ne dépend que de l’état où il était avant l’impulsion.
Ce système est modélisé par un espace probabilisé \((\Omega,\mathcal{A},\mathbb{P})\).
Pour tout entier \(k\in\mathbb{N}\), on note \(Z_k\) la variable aléatoire à valeurs dans \(\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\) qui correspond à l’état du sytème après \(k\) impulsions. Pour tout \((i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2\) et tout \(k\in\mathbb{N}\) tels que \(\mathbb{P}(Z_k=i)\neq0\) on a donc \(\mathbb{P}(Z_{k+1}=j|Z_k=i)=p_{ij}\). En particulier, cela ne dépend pas de \(k\). De plus, la variable \(Z_0\) est la variable certaine de valeur \(1\).
On considère la matrice \(K\in\mathcal{M}_N(\mathbb{R})\) définie par \[\forall(i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2,\ K[i,j]=p_{ij}\]
Justifier que \(K\) est un noyau de Markov.
Soit \(n\in\mathbb{N}\). Soit \(j\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\) montrer que \(\mathbb{P}(Z_n=j)=K^n[1,j]\).
On pourra procéder par récurrence.
Soit \(t\in\mathbb{R}_+\). On suppose que le nombre d’impulsions après un temps \(t\) est donné par une variable aléatoire \(Y_t\) suivant la loi de Poisson de paramètre \(t\). Pour tout \(j\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\) on note \(A_{t,j}\) l’événement « le système est dans l’état \(j\) après un temps \(t\) ». Justifier que \(\mathbb{P}(A_{t,j})=H_t[1,j]\).
Soit \(E\) un espace euclidien de dimension \(N\). On note \((\ |\ )\) le produit scalaire et \(\left\| \ \right\|\) la norme euclidienne associée. Soit \(u\) un endomorphisme autoadjoint de \(E\). On pose \(q_u : E\to\mathbb{R}\) défini par \(q_u : x\mapsto\left( u(x)\,\vert \, x \right)\) et on suppose que pour tout \(x\in E\), \(q_u(x)\geqslant0\).
Énoncer le théorème spectral pour l’endomorphisme \(u\). Que peut-on dire des valeurs propres de \(u\) ?
On suppose que \(0\) est valeur propre simple de \(u\) et on note \(\lambda_2\) la plus petite valeur propre non nulle de \(u\). On note \(p : E\to E\) la projection orthogonale sur la droite vectorielle \(\ker(u)\).
Montrer que pour tout \(x\in E\), \(q_u\big(x-p(x)\big)\geqslant\lambda_2\left\| x-p(x) \right\|^2\).
On considère un noyau de Markov \(K\). On suppose que \(1\) est une valeur propre simple de \(K\).
On suppose qu’il existe une probabilité \(\pi\in\mathcal{M}_{1,N}(\mathbb{R})\) telle que :
(a) Pour tout \(j\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\), \(\pi[j]\neq0\).
(b) \(\forall(i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2,\ \pi[i]K[i,j]=K[j,i]\pi[j]\) ; on dit que \(K\) est \(\pi\)-reversible.
Un rapide calcul montre alors que pour tout réel \(t\) positif \(H_t\) est aussi un noyau de Markov \(\pi\)-réversible c’est-à-dire que \[\forall(i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2,\ \pi[i]H_t[i,j]=H_t[j,i]\pi[j]\] On ne demande donc pas de démontrer ce résultat.
Pour finir, pour \(X,Y\in\mathcal{M}_{N,1}(\mathbb{R})^2\), on pose \[\left \langle X, Y \right \rangle=\sum_{i=1}^{N}X[i]Y[i]\pi[i]\]
Dans cette dernière partie, on cherche à déterminer pour \((i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2\) la limite de \(H_t[i,j]\) quand \(t\) tend vers \(+\infty\) et à majorer la vitesse de convergence.
Montrer que \(\pi K=\pi\).
Montrer que \((X,Y)\mapsto\left \langle X, Y \right \rangle\) est un produit scalaire sur \(\mathcal{M}_{N,1}(\mathbb{R})\).
Dans la suite on note \(E\) l’espace l’espace euclidien \(\mathcal{M}_{N,1}(\mathbb{R})\) muni de ce produit scalaire.
On considère l’endomorphisme de \(E\) défini par \(u : X\mapsto(I_N-K)X\). Montrer que \(\ker(u)=\mathrm{Vect}(U)\) et que \(u\) est un endomorphisme autoadjoint de \(E\).
On admet que pour tout \(t\in\mathbb{R}_+\), l’endomorphisme \(X\mapsto H_tX\) est aussi un endomorphisme autoadjoint de \(E\).
Montrer que pour tout \(X\in E\), \[q_u(X)=\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\big(X[i]-X[j]\big)^2K[i,j]\pi[i]\] Que dire des valeurs propres de \(u\) ?
Soit \(X\in E\), on note \(\psi_X\) la fonction définie de \(\mathbb{R}\) dans \(E\) par \(\psi_X : t\mapsto H_tX\) et \(\varphi_X\) la fonction définie de \(\mathbb{R}\) dans \(\mathbb{R}\) par \(\varphi_X : t\mapsto\left\| H_tX \right\|^2\)
Justifier que \(\psi_X\) est dérivable et que pour tout \(t\) dans \(\mathbb{R}\), \[\psi_X'(t)=-(I_N-K)H_tX\]
En déduire que \(\varphi_X\) est dérivable et exprimer \(\varphi_X'(t)\) à l’aide de \(q_u\).
On note \(p : E\to E\) la projection orthogonale sur \(\ker(u)\).
Soit \(t\in\mathbb{R}_+\). Montrer que \(p(H_tX)=p(X)\).
On pose \(Y=X-p(X)\). On note \(\lambda\) la plus petite valeur propre non nulle de \(u\).
Montrer que pour tout réel \(t\in\mathbb{R}_+\), \(\varphi_Y'(t)\leqslant-2\lambda\varphi_Y(t)\).
En déduire que \(\forall t\in\mathbb{R}_+,\ \left\| H_tX-p(X) \right\|^2\leqslant\mathrm{e}^{-2\lambda t}\left\| X-p(X) \right\|^2\).
Soit \(i\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]\) et \(t\in\mathbb{R}_+\). Montrer que \(\left\| H_tE_i-\pi[i]U \right\|\leqslant\mathrm{e}^{-\lambda t}\sqrt{\pi[i]}\).
Montrer que pour tout \((i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2\) et tout \(t\in\mathbb{R}_+\), \[H_t[i,j]-\pi[j]=\sum_{k=1}^{N}\big(H_{t/2}[i,k]-\pi[k]\big)\big(H_{t/2}[k,j]-\pi[j]\big)\] On pourra utiliser la question 5.
En déduire que pour tout \((i,j)\in\left[\kern-0.15em\left[ {1,N} \right]\kern-0.15em\right]^2\) et tout \(t\in\mathbb{R}_+\), \[\left| H_t[i,j]-\pi[j] \right|\leqslant\mathrm{e}^{-\lambda t}\sqrt{\frac{\pi[j]}{\pi[i]}}\] Déterminer \(\displaystyle\lim_{t\to+\infty}H_t[i,j]\).
Fin du problème
Le corrigé pas à pas, les aides et les explications sont disponibles dans la plateforme.
Un problème de probabilités et d'algèbre linéaire : chaîne de Markov uniformisée par un processus de Poisson, exponentielle de matrice par série entière, réversibilité et convergence vers la loi stationnaire grâce au bon produit scalaire.
Très formateur.