Définition
Soit $\Theta$ une partie de $\R$ (éventuellement $\R^{2}$).
On considère une famille de lois de probabilités $(\mu_{\theta})_{\theta\in\Theta}$. Soit $g\colon\Theta\to\R$ de sorte que $g(\theta)$ représente une caractéristique de la loi $\mu_{\theta}$ comme son espérance, sa variance, son étendue, … (souvent, $g$ est l'application identique).
On considère une variable aléatoire $X$ dont la loi est l'une des lois $\mu_{\theta}$ mais dont on ne connaît pas précisément le paramètre $\theta$ (on peut toutefois en avoir un encadrement grossier).
On dispose d'un échantillon de résultats $(x_{1},\dots,x_{n})$ de cette variable aléatoire et on cherche, à partir de ce seul échantillon, à estimer la valeur de $g(\theta)$.
Pour chaque $\theta\in\Theta$, on définit l'univers $\Omega_{\theta}=\{(t_{k})_{k\geqslant1}\mid\forall k\in\N^{*},\,t_{k}\in X(\Omega)\}$ que l'on munit d'une probabilité $\mathbb{P}_{\theta}$ telle que :
Soit $\theta\in\Theta$ et $n\in\N^{*}$.
Exemples
Remarque
L'objectif de l'estimation est de localiser la valeur de $g(\theta)$ grâce à l'unique donnée de $(x_{1},\dots,x_{n})$, réalisation d'un $n$-échantillon. On définira aussi des outils pour mesurer la pertinence de l'estimation.