Outils pour utilisateurs

Outils du site


math:2:demo:moindres_carres

Preuve : Méthode des moindres carrés

On suppose que $\sigma(X)^2=\overline{X^2}-\overline{X}^2\ne0$.

Soit $f$ la fonction définie sur $\mathbb{R}^2$ par :
$$\ds f(a,b)=\sum_{i=1}^{n}{f_i(ax_i+b-y_i)^2}$$ C'est une fonction polynôme de degré 2 que l'on peut écrire sous la forme :$$\ds f(a,b)=\left[\sum_{i=1}^{n}{f_i x_i^2}\right]a^2+b^2+2\left[\sum_{i=1}^{n}{f_i x_i}\right]ab-2\left[\sum_{i=1}^{n}{f_i x_i y_i}\right]a-2\left[\sum_{i=1}^{n}{f_i y_i}\right]b+\left[\sum_{i=1}^{n}{f_i y_i^2}\right]$$$$f(a,b)=\overline{X^2}a^2+b^2+2\overline{X}ab-2\overline{XY}a-2\overline{Y}b+\overline{Y^2}$$ Les dérivées partielles sont données par :\\ $$\partial_1 f(a,b)=2\overline{X^2}a+2\overline{X}b-2\overline{XY}\qquad\text{et}\qquad\partial_2(a,b)=2\overline{X}a+2b-2\overline{Y}$$ Elles s'annulent simultanément en l'unique point critique défini par :$$\ds a_0=\frac{-\overline{X}.\overline{Y}+\overline{XY}}{\overline{X^2}-\overline{X}^2}=\frac{\text{Cov}(X,Y)}{\sigma(X)^2}$$$$\ds b_0=\frac{\overline{XY}.\overline{X}+\overline{Y}.\overline{X^2}}{\overline{X^2}-\overline{X}^2}=\overline{Y}-\overline{X}\frac{\text{Cov}(X,Y)}{\sigma(X)^2}$$ Alors, pour tout $(h,k)\in\R^2$, on a:\\ $$\ds f(x_0+h,y_0+k)-f(x_0,y_0)=\dots=\overline{X^2}h^2+2\overline{X}hk+k^2=\sigma(X)^2a^2+\overline{X}^2a^2+2\overline{X}ab+b^2=\sigma(X)^2a^2+\left(\overline{X}a+b\right)^2\geqslant0$$

Ainsi on a bien un minimum global de $f$ sur $\mathbb{R}^2$ obtenu en $(x_0,y_0)$.

La droite d'équation réduite $y=a_0x+b_0$ est la droite proposée dans l'énoncé et passe clairement par le point moyen de la série statistique.

math/2/demo/moindres_carres.txt · Dernière modification: 2020/05/10 21:31 (modification externe)