On appelle ${n}$-échantillon de la loi $\mu_\theta$ de $X$ (ou plus simplement de $X$ ) toute famille $\left(X_i\right)_{1 \leqslant i \leqslant n}$ de variables aléatoires définies sur $(\Omega, \mathcal{A}, \mathbb{P})$ et de même loi que $X$.

On dit que $\left(X_i\right)_{1 \leqslant i \leqslant n}$ est un $n$-échantillon indépendant et identiquement distribué (en abrégé i.i.d.) de $X$ lorsque $\left(X_i\right)_{1 \leqslant i \leqslant n}$ est un $n$-échantillon de $X$ constitué de variables aléatoires mutuellement indépendantes.

Si $\left(X_i\right)_{1 \leqslant i \leqslant n}$ est un $n$-échantillon de $X$, un échantillon observé est un $n$-uplet $\left(x_i\right)_{1 \leqslant i \leqslant n}=\left(X_i(\omega)\right)_{1 \leqslant i \leqslant n}$ de valeurs prises par $X_1, \ldots, X_n$.

• On appelle estimateur de $g(\theta)$ toute variable aléatoire réelle de la forme $\varphi(X_1, \ldots, X_n)$ où $\left(X_i\right)_{1 \leqslant i \leqslant n}$ est un $n$-échantillon i.i.d. de $X$ et $\varphi$ est une fonction de $\mathbb{R}^n$ dans $\mathbb{R}$, au moins définie sur $X_1(\Omega) \times \cdots \times X_n(\Omega)$, éventuellement dépendante de $n$, mais indépendante de $\theta$.
• Si $\varphi(X_1, \ldots, X_n)$ est un estimateur de $g(\theta)$, la réalisation de $\varphi\left(X_1(\omega), \ldots, X_n(\omega)\right)$ (où $\omega$ est le relevé effectué dans la population) est appelée estimation de $g(\theta)$.
• On appelle suite d’estimateurs de $g(\theta)$ toute suite $\left(T_n\right)_{n \in \mathbb{N}^*}$ de variables aléatoires réelles telle que, pour tout $n \in \mathbb{N}^*$, $T_n$ soit un estimateur de $g(\theta)$.

Soit $\left(T_n\right)_{n \in \mathbb{N}^*}$ une suite d’estimateurs de $g(\theta)$ admettant tous espérance.

• On appelle biais de $T_n$ le réel $$b_\theta(T_n)=\mathbb{E}(T_n)-g(\theta)$$
• On dit que $T_n$ est un estimateur sans biais de $g(\theta)$ si : $$\mathbb{E}\left(T_n\right)=g(\theta)$$
• On dit que $\left(T_n\right)_{n \in \mathbb{N}^*}$ est une suite d’estimateurs asymptotiquement sans biais de $g(\theta)$ si : $$\lim _{n \rightarrow+\infty} \mathbb{E}(T_n)=g(\theta)$$

Si $\left(T_n\right)_{n \in \mathbb{N}^*}$ est une suite d’estimateurs de $g(\theta)$, on dit que $\left(T_n\right)_{n \in \mathbb{N}^*}$ est une suite convergente d’estimateurs de $g(\theta)$ si : $$T_n \overset{\mathbb{P}}{\longrightarrow} g(\theta)$$

autrement dit si : $$\forall \varepsilon \in \mathbb{R}_{+}^*, \ \lim _{n \rightarrow+\infty} \mathbb{P} \! \left(\left|T_n-g(\theta)\right| \geqslant \varepsilon\right)=0$$

Par abus de langage, on dira aussi que $T_n$ est un estimateur convergent de $g(\theta)$.

Soit $\left(T_n\right)_{n \in \mathbb{N}^*}$ une suite d’estimateurs de $g(\theta)$ admettant tous une espérance et une variance. Si cette suite est telle que : $$\lim _{n \rightarrow+\infty} \mathbb{E}(T_n)=g(\theta) \text { et } \lim _{n \rightarrow+\infty} \mathbb{V}(T_n)=0$$ alors la suite $\left(T_n\right)_{n \in \mathbb{N}^*}$ est convergente.

Soit $\left(U_n\right)_{n \in \mathbb{N}^*}$ et $\left(V_n\right)_{n \in \mathbb{N}^*}$ deux suites d’estimateurs de $g(\theta)$ telles que : $$\forall n \in \mathbb{N}^*, \ \mathbb{P}(U_n \leqslant V_n)=1$$ Soit $\alpha \in[0,1]$. $\left[U_n, V_n\right]$ est appelé intervalle de confiance de $g(\theta)$ au niveau de confiance $1-\alpha$ (ou au risque $\alpha$) si : $$\mathbb{P}(U_n \leqslant g(\theta) \leqslant V_n) \geqslant 1-\alpha$$

Sa réalisation est l’estimation de cet intervalle de confiance.

Soit $\left(U_n\right)_{n \in \mathbb{N}^*}$ et $\left(V_n\right)_{n \in \mathbb{N}^*}$ deux suites d’estimateurs de $g(\theta)$ telles que : $$\forall n \in \mathbb{N}^*, \ \mathbb{P}(U_n \leqslant V_n)=1$$ Soit $\alpha \in[0,1]$. On dit que $\left(\left[U_n, V_n\right]\right)_{n \in \mathbb{N}^*}$ est intervalle de confiance asymptotique de $g(\theta)$ au niveau de confiance $1-\alpha$ (ou au risque $\alpha$) s’il existe une suite $\left(\alpha_n\right)_{n \in \mathbb{N}^*}$ telle que : $$\forall n \in \mathbb{N}^*, \ \mathbb{P}(U_n \leqslant g(\theta) \leqslant V_n) \geqslant 1-\alpha_n \text { et } \lim _{n \rightarrow+\infty} \alpha_n=\alpha$$ Par abus de langage, on dira aussi que $\left[U_n, V_n\right]$ est un intervalle de confiance asymptotique de $g(\theta)$.