Estimation (Appro)
Dans tout ce chapitre, \(X\) est une variable aléatoire sur un espace probabilisable \((\Omega, \mathcal{A})\). On suppose que la loi de \(X\) n’est pas entièrement déterminée et appartient à une famille de lois dépendant d’un paramètre \(\theta\) décrivant un sous-ensemble \(\Theta\) de \(\mathbb{R}\) (ou éventuellement de \(\mathbb{R}^2\)). \((\Omega, \mathcal{A})\) est muni d’une famille de probabilités \(\left(\mathbb{P}_\theta\right)_{\theta \in \Theta}\).
Lorsqu’elles existent, l’espérance et la variance de \(X\) pour la probabilité \(\mathbb{P}_\theta\) devraient être notées \(\mathbb{E}_\theta(X)\) et \(\mathbb{V}_\theta(X)\), mais, pour simplifier les notations, la probabilité sera plus simplement notée \(\mathbb{P}\), l’espérance et la variance seront notées \(\mathbb{E}(X)\) et \(\mathbb{V}(X)\), mais on se souviendra qu’elles dépendent de la probabilité \(\mathbb{P}_\theta\).
Échantillon : définition
On appelle \({n}\)-échantillon de la loi \(\mu_\theta\) de \(X\) (ou plus simplement de \(X\) ) toute famille \(\left(X_i\right)_{1 \leqslant i \leqslant n}\) de variables aléatoires définies sur \((\Omega, \mathcal{A}, \mathbb{P})\) et de même loi que \(X\).
On dit que \(\left(X_i\right)_{1 \leqslant i \leqslant n}\) est un \(n\)-échantillon indépendant et identiquement distribué (en abrégé i.i.d.) de \(X\) lorsque \(\left(X_i\right)_{1 \leqslant i \leqslant n}\) est un \(n\)-échantillon de \(X\) constitué de variables aléatoires mutuellement indépendantes.
Si \(\left(X_i\right)_{1 \leqslant i \leqslant n}\) est un \(n\)-échantillon de \(X\), un échantillon observé est un \(n\)-uplet \(\left(x_i\right)_{1 \leqslant i \leqslant n}=\left(X_i(\omega)\right)_{1 \leqslant i \leqslant n}\) de valeurs prises par \(X_1, \ldots, X_n\).
Estimateur : définition
- On appelle estimateur de \(g(\theta)\) toute variable aléatoire réelle de la forme \(\varphi(X_1, \ldots, X_n)\) où \(\left(X_i\right)_{1 \leqslant i \leqslant n}\) est un \(n\)-échantillon i.i.d. de \(X\) et \(\varphi\) est une fonction de \(\mathbb{R}^n\) dans \(\mathbb{R}\), au moins définie sur \(X_1(\Omega) \times \cdots \times X_n(\Omega)\), éventuellement dépendante de \(n\), mais indépendante de \(\theta\).
- Si \(\varphi(X_1, \ldots, X_n)\) est un estimateur de \(g(\theta)\), la réalisation de \(\varphi\left(X_1(\omega), \ldots, X_n(\omega)\right)\) (où \(\omega\) est le relevé effectué dans la population) est appelée estimation de \(g(\theta)\).
- On appelle suite d’estimateurs de \(g(\theta)\) toute suite \(\left(T_n\right)_{n \in \mathbb{N}^*}\) de variables aléatoires réelles telle que, pour tout \(n \in \mathbb{N}^*\), \( T_n\) soit un estimateur de \(g(\theta)\).
Estimateur sans biais, asymptotiquement sans biais : définitions
Soit \(\left(T_n\right)_{n \in \mathbb{N}^*}\) une suite d’estimateurs de \(g(\theta)\) admettant tous espérance.
- On appelle biais de \(T_n\) le réel \[ b_\theta(T_n)=\mathbb{E}(T_n)-g(\theta) \]
- On dit que \(T_n\) est un estimateur sans biais de \(g(\theta)\) si : \[ \mathbb{E}\left(T_n\right)=g(\theta) \]
- On dit que \(\left(T_n\right)_{n \in \mathbb{N}^*}\) est une suite d’estimateurs asymptotiquement sans biais de \(g(\theta)\) si : \[ \lim _{n \rightarrow+\infty} \mathbb{E}(T_n)=g(\theta) \]
Estimateur convergent : définition
Si \(\left(T_n\right)_{n \in \mathbb{N}^*}\) est une suite d’estimateurs de \(g(\theta)\), on dit que \(\left(T_n\right)_{n \in \mathbb{N}^*}\) est une suite convergente d’estimateurs de \(g(\theta)\) si : \[ T_n \overset{\mathbb{P}}{\longrightarrow} g(\theta) \]
autrement dit si : \[ \forall \varepsilon \in \mathbb{R}_{+}^*, \ \lim _{n \rightarrow+\infty} \mathbb{P} \! \left(\left|T_n-g(\theta)\right| \geqslant \varepsilon\right)=0 \]
Par abus de langage, on dira aussi que \(T_n\) est un estimateur convergent de \(g(\theta)\).
Donner une condition suffisante pour qu’un estimateur soit convergent
Soit \(\left(T_n\right)_{n \in \mathbb{N}^*}\) une suite d’estimateurs de \(g(\theta)\) admettant tous une espérance et une variance. Si cette suite est telle que : \[ \lim _{n \rightarrow+\infty} \mathbb{E}(T_n)=g(\theta) \text { et } \lim _{n \rightarrow+\infty} \mathbb{V}(T_n)=0 \] alors la suite \(\left(T_n\right)_{n \in \mathbb{N}^*}\) est convergente.
Intervalle de confiance : définition
Soit \(\left(U_n\right)_{n \in \mathbb{N}^*}\) et \(\left(V_n\right)_{n \in \mathbb{N}^*}\) deux suites d’estimateurs de \(g(\theta)\) telles que : \[ \forall n \in \mathbb{N}^*, \ \mathbb{P}(U_n \leqslant V_n)=1 \] Soit \(\alpha \in[0,1]\). \(\left[U_n, V_n\right]\) est appelé intervalle de confiance de \(g(\theta)\) au niveau de confiance \(1-\alpha\) (ou au risque \(\alpha\)) si : \[ \mathbb{P}(U_n \leqslant g(\theta) \leqslant V_n) \geqslant 1-\alpha \]
Sa réalisation est l’estimation de cet intervalle de confiance.
Intervalle de confiance asymptotique : définition
Soit \(\left(U_n\right)_{n \in \mathbb{N}^*}\) et \(\left(V_n\right)_{n \in \mathbb{N}^*}\) deux suites d’estimateurs de \(g(\theta)\) telles que : \[ \forall n \in \mathbb{N}^*, \ \mathbb{P}(U_n \leqslant V_n)=1 \] Soit \(\alpha \in[0,1]\). On dit que \(\left(\left[U_n, V_n\right]\right)_{n \in \mathbb{N}^*}\) est intervalle de confiance asymptotique de \(g(\theta)\) au niveau de confiance \(1-\alpha\) (ou au risque \(\alpha\)) s’il existe une suite \(\left(\alpha_n\right)_{n \in \mathbb{N}^*}\) telle que : \[ \forall n \in \mathbb{N}^*, \ \mathbb{P}(U_n \leqslant g(\theta) \leqslant V_n) \geqslant 1-\alpha_n \text { et } \lim _{n \rightarrow+\infty} \alpha_n=\alpha \] Par abus de langage, on dira aussi que \(\left[U_n, V_n\right]\) est un intervalle de confiance asymptotique de \(g(\theta)\).