HEC, ESCP 2019 Maths 2Maths approfondies

La régression logistique permet de modéliser l’influence qu’exercent des facteurs exogènes sur une variable binaire, c’est-à-dire une variable ne pouvant prendre que deux valeurs.

Outre son domaine d’application privilégié qui est l’apprentissage automatique (machine learning), la régression logistique est couramment utilisée aussi bien en médecine qu’en actuariat et en économétrie.

Partie I. Fonction logistique et lois logistiques

On appelle fonction logistique la fonction \(\Lambda\) définie sur \(\mathbb{R}\) par : \(\forall x \in \mathbb{R}, \ \Lambda(x)=\dfrac{1}{1+\mathrm{e}^{-x}}\).

1. 1. Montrer que \(\Lambda\) est une bijection de \(\mathbb{R}\) sur \(] 0,1 [\), dont la bijection réciproque est la fonction \(L\) définie par : \[\forall x \in \left] 0,1\right[, \ L(x)=\ln \! \left(\frac{x}{1-x}\right)\]

   2. Calculer la dérivée de la fonction \(\Lambda\).

   3. Justifier l’existence d’un unique réel \(x_{0}\) tel que : \(\Lambda \! \left(x_{0}\right)=x_{0}\).

   4. Établir pour tout \(x \in \mathbb{R}\), l’inégalité : \(|\Lambda(x)-x| \leqslant\left|x-x_{0}\right|\).

2. Le script Python suivant, dont la ligne (1) définit la fonction \(\Lambda\), permet de calculer une valeur approchée de \(x_{0}\) par la méthode de dichotomie.

   import numpy as np
   def Lambda(x):
       return 1/(1+np.exp(-x))
   a=0
   b=1
   eps=..............
   while b-a>eps:
       c=(a+b)/2
       if Lambda(c)>c:
           ..........
       else:
           b=........
   x0=(a+b)/2
   print(x0)

   1. Compléter les lignes (10) et (12) et justifier le choix des valeurs affectées en lignes (4) et (5) aux variables a et b.

   2. Quelle valeur maximale peut-on affecter en ligne (6) à la variable eps pour être assuré que l’erreur d’approximation commise ne dépasse pas \(10^{-4}\) ?

   3. Que peut-on dire de la valeur numérique obtenue par l’instruction Lambda(x0)-x0 ?

3. On note \(\lambda\) la dérivée de la fonction \(\Lambda\).

   1. Vérifier que \(\lambda\) est une densité de probabilité.

   2. Préciser la parité de la fonction \(\lambda\); donner l’allure de sa courbe représentative dans le plan rapporté à un repère orthogonal et en déterminer les points d’inflexion.

      On dit qu’une variable aléatoire \(Z\) suit la loi logistique standard si elle admet la fonction \(\lambda\) pour densité. Pour tout couple \((r, s) \in \mathbb{R}\times \mathbb{R}_{+}^{*}\), on dit qu’une variable aléatoire \(Y\) suit la loi logistique \(\mathcal{L}(r, s)\) si la variable aléatoire \(Z\) définie par \(Z=\dfrac{Y-r}{s}\) suit la loi logistique standard.

4. 1. Justifier qu’une variable aléatoire qui suit une loi logistique \(\mathcal{L}(r, s)\) admet des moments de n’importe quel ordre et en indiquer l’espérance. On rappelle qu’une variable aléatoire \(Y\) admet un moment d’ordre \(p\in\mathbb{N}\) si \(Y^p\) admet une espérance et que, dans ce cas, le moment d’ordre \(p\) de \(Y\) est l’espérance de \(\mathbb{E}(Y^p)\).

   2. En utilisant la méthode d’inversion, écrire le script d’une fonction Python d’en-tête def randlogis(n,p,r,s) et fournissant pour tout couple \((n, p)\) d’entiers strictement positifs, une matrice \(S\) à \(n\) lignes et \(p\) colonnes dont les coefficients sont des simulations de variables aléatoires indépendantes suivant la loi logistique \(\mathcal{L}(r, s)\).

   3. Décrire un procédé permettant de calculer une valeur approchée de la variance de la loi logistique standard à l’aide de la fonction randlogis.

5. Soit \(U_{1}\) et \(U_{2}\) deux variables aléatoires indépendantes suivant chacune la loi exponentielle de paramètre 1.

   1. Montrer que la variable aléatoire \(Z=\ln \! \left(\dfrac{U_{1}}{U_{2}}\right)\) suit la loi logistique standard (on pourra utiliser un changement de variable exponentiel, c’est-à-dire de la forme \(t=\mathrm{e}^{x}\)).

   2. En déduire un nouveau script Python permettant de simuler une variable aléatoire suivant la loi logistique standard à l’aide de la fonction exponential de la bibliothèque numpy.random.

Partie II. Variance de la loi logistique standard

6. 1. Pour tout \(n \in \mathbb{N}^*\), calculer les intégrales \[\int_0^\pi t \cos (n t) \, \mathrm{d} t \quad \text { et } \quad \int_0^\pi t^2 \cos (n t) \, \mathrm{d} t\]

   2. Déterminer un couple \((a, b)\) de réels, tels que : \[\forall n \in \mathbb{N}^*, \ \int_0^\pi\left(a t^2+b t\right) \cos (n t) \, \mathrm{d} t=\frac{1}{n^2}\]

7. 1. On considère la fonction \(\varphi\) définie sur \(\left] 0,\pi \right]\) par : \[\forall t\in \left] 0,\pi \right] ,\ \varphi(t) = \dfrac{t^2 - 2\pi t}{4\pi \sin \! \left( \frac{t}{2} \right)}\] Montrer que \(\varphi\) se prolonge en une fonction de classe \(\mathcal{C}^1\) sur \([0,\pi]\). Dans la suite on note encore \(\varphi\) la fonction ainsi prolongée.

   2. Soit \(n \in \mathbb{N}^*\) et \(t \in \mathbb{R}\). On note : \[C_n(t)=\sum_{k=1}^n \cos (k t)\]

      Montrer, pour \(n\) dans \(\mathbb{N}^*\) et \(t\in \left] 0,\pi \right]\) : \[2 \sin \! \left(\frac{t}{2}\right) C_n(t)=- \sin \! \left(\frac{t}{2}\right) + \sin \! \left(\frac{2 n+1}{2} \, t\right)\]

   3. En déduire que : \[\forall n \in \mathbb{N}^*, \ \sum_{k=1}^n \frac{1}{k^2}=\frac{\pi^2}{6}+\int_0^\pi \varphi(t) \sin\! \left(\frac{2 n+1}{2} \, t\right) \mathrm{d} t\]

8. Établir l’égalité : \(\displaystyle \sum_{k=1}^{+\infty} \frac{1}{k^{2}}=\frac{\pi^{2}}{6}\).

9. Soit \(Z\) une variable aléatoire suivant la loi logistique standard.

   1. À l’aide d’une intégration par parties, justifier que la variance de \(Z\), notée \(\mathbb{V}(Z)\), vérifie l’égalité : \[\mathbb{V}(Z)=4 \int_{0}^{+\infty} \frac{x \, \mathrm{e}^{-x}}{1+\mathrm{e}^{-x}} \, \mathrm{d} x\]

   2. Établir pour tout \(n \in \mathbb{N}\), l’égalité : \[\int_{0}^{+\infty} \frac{x \, \mathrm{e}^{-x}}{1+\mathrm{e}^{-x}} \,\mathrm{d}x=\sum_{k=0}^{n}(-1)^{k} \int_{0}^{+\infty} x \, \mathrm{e}^{-(k+1) x} \,\mathrm{d}x+I_{n}\]

      où \(\displaystyle I_{n}=(-1)^{n+1} \int_{0}^{+\infty} \frac{x \, \mathrm{e}^{-(n+2) x}}{1+\mathrm{e}^{-x}} \,\mathrm{d}x\).

   3. Montrer que l’intégrale \(I_{n}\) tend vers 0 lorsque \(n\) tend vers \(+\infty\) et en déduire l’égalité :

      \[\int_{0}^{+\infty} \frac{x \, \mathrm{e}^{-x}}{1+\mathrm{e}^{-x}} \,\mathrm{d}x=\sum_{k=0}^{+\infty} \frac{(-1)^{k}}{(k+1)^{2}}\]

   4. En utilisant la formule établie en 8, déduire de l’égalité précédente que la variance de \(Z\) est égale à \(\dfrac{\pi^{2}}{3}\).

10. 1. Établir la convergence des deux intégrales \(\displaystyle \int_{0}^{+\infty} \ln (x) \, \mathrm{e}^{-x} \,\mathrm{d}x\) et \(\displaystyle \int_{0}^{+\infty}(\ln (x))^{2} \, \mathrm{e}^{-x} \,\mathrm{d}x\).

    2. On pose \(\displaystyle I=\int_{0}^{+\infty} \ln (x)\, \mathrm{e}^{-x} \,\mathrm{d}x\) et \(\displaystyle J=\int_{0}^{+\infty}(\ln (x))^{2} \, \mathrm{e}^{-x} \,\mathrm{d}x\).

       En utilisant le résultat de la question 5.a), calculer \(J-I^{2}\).

Partie III. Estimation à partir de données binaires

Dans cette partie, \(\theta\) est un paramètre réel inconnu et \(F\) désigne la fonction de répartition d’une variable aléatoire à densité dont une densité \(f\) est continue et strictement positive sur \(\mathbb{R}\).

Soit \(\left(Y_{n}\right)_{n \in \mathbb{N}^{*}}\) une suite de variables aléatoires indépendantes définies sur un espace probabilisé \(\left(\Omega, \mathcal{A}, \mathbb{P}_{\theta}\right)\) suivant chacune la loi de Bernoulli de paramètre \(F(\theta)\).

11. Justifier que \(F\) est une bijection de \(\mathbb{R}\) sur \(] 0,1[\). On note \(F^{-1}\) sa bijection réciproque.

12. Pour tout \(n \in \mathbb{N}^{*}\), on pose : \(\displaystyle \overline{Y}_{n}=\frac{1}{n} \sum_{j=1}^{n} Y_{j}\).

    Montrer que la suite \(\left(\sqrt{n}\left(\overline{Y}_{n}-F(\theta)\right)\right)_{n \in \mathbb{N}^{\ast}}\) converge en loi vers une variable aléatoire suivant une loi normale centrée dont on précisera la variance.

13. Pour tout \(n \in \mathbb{N}^{*}\) et tout \(\omega \in \Omega\), on pose : \(T_{n}(\omega)= \begin{cases} F^{-1} \! \left(\overline{Y}_{n}(\omega)\right) & \text { si } 0<\overline{Y}_{n}(\omega)<1 \\ \hfill 0 \hfill & \text { sinon } \rule[0pt]{0pt}{15pt} \end{cases}\).

    De plus, pour tout \(n \in \mathbb{N}^{*}\), on note \(E_{n}\) l’événement \(\left[0<\overline{Y}_{n}<1\right]\).

    1. Calculer \(\mathbb{P}_{\theta}(E_{n})\) et trouver la limite de cette probabilité lorsque \(n\) tend vers \(+\infty\).

    2. Soit \(x \in \mathbb{R}\) et \(n \in \mathbb{N}^{*}\).

       1. Établir l’égalité ensembliste \(\left\{\omega \in E_{n} \ / \ T_{n}(\omega) \leqslant x\right\}=\left[\overline{Y}_{n} \leqslant F(x)\right] \cap E_{n}\) et montrer que \(\left[T_{n} \leqslant x\right]\) est un élément de \(\mathcal{A}\).

       2. Justifier l’encadrement :

          \[\mathbb{P}_{\theta} \! \left(\left[\overline{Y}_{n} \leqslant F(x)\right] \cap E_{n}\right) \leqslant \mathbb{P}_{\theta} \!\left(\left[T_{n} \leqslant x\right]\right) \leqslant \mathbb{P}_{\theta}\left(\left[\overline{Y}_{n} \leqslant F(x)\right] \cap E_{n}\right)+1-\mathbb{P}_{\theta}\left(E_{n}\right)\]

    3. Montrer que pour tout \(x \neq \theta\), on a : \(\lim\limits_{n\to+\infty}\mathbb{P}_{\theta}\left(\left[T_{n} \leqslant x\right]\right)=\begin{cases} 0 & \text { si } x<\theta \\ 1 & \text { si } x>\theta \end{cases}\).

    4. En déduire que \(\left(T_{n}\right)_{n \in N^{*}}\) est une suite convergente d’estimateurs du paramètre \(\theta\).

14. Pour tout \(n \in \mathbb{N}^{*}\) et tout \(\omega \in \Omega\), on pose : \(U_{n}(\omega)= \begin{cases} \displaystyle \frac{T_{n}(\omega)-\theta}{\overline{Y}_{n}(\omega)-F(\theta)} & \text { si } \overline{Y}_{n}(\omega) \neq F(\theta) \\ \displaystyle \hfill \frac{1}{f(\theta)} \hfill & \text { si } \overline{Y}_{n}(\omega)=F(\theta) \rule[0pt]{0pt}{20pt} \end{cases}\).

    On admet sans démonstration que pour tout \(n \in \mathbb{N}^{*}, U_{n}\) est une variable aléatoire sur \(\left(\Omega, \mathcal{A}, \mathbb{P}_{\theta}\right)\).

    1. Soit \(\varepsilon>0\).

       Pour tout \(n \in \mathbb{N}^{*}\), on note \(B_{n}(\varepsilon)\) l’événement \(\displaystyle \left[\left|U_{n}-\frac{1}{f(\theta)}\right| \leqslant \varepsilon\right]\).

       1. Établir l’existence d’un réel \(\alpha>0\) tel que : \(\displaystyle \forall x \in[\theta-\alpha, \theta+\alpha],\left|\frac{1}{f(x)}-\frac{1}{f(\theta)}\right| \leqslant \varepsilon\).

       2. Pour un tel \(\alpha\), justifier l’inclusion: \(\left[\left|T_{n}-\theta\right| \leqslant \alpha\right] \cap E_{n} \subset B_{n}(\varepsilon)\), où \(E_{n}\) a été défini dans la question 13.

    2. Montrer que la suite \(\left(U_{n}\right)_{n \in \mathbb{N}^{*}}\) converge en probabilité vers \(\frac{1}{f(\theta)}\).

    3. En déduire que la suite \(\left(\sqrt{n}\left(T_{n}-\theta\right)\right)_{n \in \mathbb{N}^{*}}\) converge en loi vers une variable aléatoire suivant une loi normale centrée dont on précisera la variance.

       On pourra admettre le théorème de Slutsky : si \((X_n)_{n\in\mathbb{N}^\ast}\) est une suite de variables aléatoires convergeant en loi vers \(X\) et si \((Y_n)_{n\in\mathbb{N}^\ast}\) est une suite de variables aléatoires convergeant en probabilité vers une constante réelle \(c\), alors :

       • \(X_n+Y_n \overset{\mathscr L}{\longrightarrow}X+c\),

       • \(X_nY_n \overset{\mathscr L}{\longrightarrow}cX\).

Partie IV. Régression logistique

• Dans toute cette partie, \(p\) désigne un entier supérieur ou égal à 2.

• Pour tout couple \((n, m) \in\left(\mathbb{N}^{*}\right)^{2}\), on note \(\mathcal{M}_{n, m}(\mathbb{R})\) l’ensemble des matrices à \(n\) lignes et \(m\) colonnes à coefficients réels et \({}^t\!M\) la transposée de toute matrice \(M \in \mathcal{M}_{n, m}(\mathbb{R})\).

• Pour tout \(m \in \mathbb{N}^{*}\), le produit scalaire usuel de deux vecteurs \(u\) et \(v\) de \(\mathbb{R}^{m}\) est noté \(\langle u, v\rangle\). Si \(U\) et \(V\) sont les matrices colonnes représentant \(u\) et \(v\) dans la base canonique, le produit scalaire \(\langle u, v\rangle\) est donc l’unique coefficient de la matrice \({ }^{t} U V\).

• On rappelle que les fonctions \(\Lambda\) et \(L\) ont été définies dans la partie I.

Dans cette partie, on note \(Y\) une variable aléatoire de Bernoulli, dite variable endogène, dont la loi dépend du niveau de \(p\) facteurs exogènes.

L’influence de ces facteurs sur la loi de \(Y\) est résumée par la fonction \(b\) qui associe à un vecteur \(x \in \mathbb{R}^{p}\), la probabilité \(b(x)\) que \(Y\) soit égale à 1 lorsque les niveaux des facteurs sont donnés par les composantes du vecteur \(x\).

Dans le modèle de régression logistique envisagé dans cette partie, la fonction \(b\) est supposée de la forme : \[b: x \longmapsto \Lambda(\langle\alpha, x\rangle)\]

où \(\alpha=\left(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{p}\right)\) est un vecteur de \(\mathbb{R}^{p}\) dont les composantes \(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{p}\) sont des paramètres inconnus qui représentent les degrés d’influence des divers facteurs exogènes sur la variable endogène \(Y\).

Pour estimer les paramètres du modèle, on dispose de \(k\) vecteurs \(x^{(1)}, x^{(2)}, \ldots, x^{(k)}\) de \(\mathbb{R}^{p}\left(k \in \mathbb{N}^{*}\right)\) et pour tout \(i \in \left[\!\left[1, k\right]\!\right]\), d’une suite \(\left(Y_{i, n}\right)_{n \in \mathbb{N}^{*}}\) de variables aléatoires indépendantes suivant chacune la loi de Bernoulli de paramètre \(b\! \left(x^{(i)}\right)=\Lambda \! \left(\left\langle\alpha, x^{(i)}\right\rangle\right)\).

Pour chaque indice fixé \(i\) et pour tout \(n \in \mathbb{N}^{*}\), les variables aléatoires \(Y_{i, 1}, Y_{i, 2}, \ldots, Y_{i, n}\) définissent donc un \(n\)-échantillon associé à la loi de la variable endogène lorsque les niveaux des facteurs exogènes sont les composantes \(x_{1}^{(i)}, x_{2}^{(i)}, \ldots, x_{p}^{(i)}\) du vecteur \(x^{(i)}\) dans la base canonique de \(\mathbb{R}^{p}\).

15. On note \(A\) la matrice du vecteur \(\alpha\) et \(M\) la matrice de la famille \(\left(x^{(1)}, x^{(2)}, \ldots, x^{(k)}\right)\) dans la base canonique de \(\mathbb{R}^{p}\) : \[A= \begin{pmatrix} \alpha_{1} \\ \alpha_{2} \\ \vdots \\ \alpha_{p} \end{pmatrix} \in \mathcal{M}_{p, 1}(\mathbb{R}) \quad \text { et } \quad M= \begin{pmatrix} x_{1}^{(1)} & \ldots & x_{1}^{(k)} \\ \vdots & & \vdots \\ x_{p}^{(1)} & \cdots & x_{p}^{(k)} \end{pmatrix}\in \mathcal{M}_{p, k}(\mathbb{R})\]

    On suppose que le rang de la matrice \(M\) est égal à \(p\).

    1. Montrer que la matrice \(M\,{}^t\!M\) est inversible.

    2. Montrer que pour toute matrice \(H \in \mathcal{M}_{k, 1}(\mathbb{R})\), la matrice \(U \in \mathcal{M}_{p, 1}(\mathbb{R})\) pour laquelle l’unique coefficient de la matrice \({}^t\!\left({}^t\!M U-H\right)\left({}^t\!M U-H\right)\) est le plus petit possible, est la matrice \(\left(M\,{}^t\!M\right)^{-1} M H\).

    3. Expliquer pourquoi les lois des variables aléatoires \(Y_{i, n}\) ne suffiraient pas à définir le vecteur \(\alpha\) si le rang de \(M\) n’était pas égal à \(p\).

16. Pour tout \(n \in \mathbb{N}^{*}\) et tout \(i \in \left[\!\left[1, k\right]\!\right]\), on pose \(\displaystyle \overline{Y}_{i, n}=\frac{1}{n} \sum_{j=1}^{n} Y_{i, j}\) et pour tout \(\omega \in \Omega\) :

    \[T_{i, n}(\omega)= \begin{cases} L \! \left(\overline{Y}_{i, n}(\omega)\right) & \text { si } 0<\overline{Y}_{i, n}(\omega)<1 \\ \hfill 0 \hfill & \text { sinon } \end{cases}\]

    1. Soit \(\left(c_{1}, c_{2}, \ldots, c_{k}\right) \in \mathbb{R}^{k}\). En utilisant les résultats de la partie III, montrer que \(\displaystyle \left(\sum_{i=1}^{k} c_{i} T_{i, n}\right)_{n \in \mathbb{N}^{*}}\) est une suite convergente d’estimateurs du paramètre \(\displaystyle \sum_{i=1}^{k} c_{i}\left\langle\alpha, x^{(i)}\right\rangle\).

    2. Pour tout \(n \in \mathbb{N}^{*}\) et tout \(\omega \in \Omega\), on pose \[H_{n}(\omega)= \begin{pmatrix} T_{1, n}(\omega) \\ T_{2, n}(\omega) \\ \vdots \\ T_{k, n}(\omega) \end{pmatrix} \quad \text{et} \quad \begin{pmatrix} A_{1, n}(\omega) \\ A_{2, n}(\omega) \\ \vdots \\ A_{p, n}(\omega) \end{pmatrix}=\left(M \,{}^t\!M\right)^{-1} M H_{n}(\omega)\]

       Montrer que pour tout \(j \in \left[\!\left[1, p\right]\!\right]\), la suite \(\left(A_{j, n}\right)_{n \in \mathbb{N}^{*}}\) est une suite convergente d’estimateurs de \(\alpha_{j}\).