Proj/Sym > Généralités Proj ortho Minimalisation

Problèmes de minimalisation

Théorème : Caractérisation du projeté orthogonal

Soit $p_{F}$ la projection orthogonale sur $F$. Soit $\vv{x}\in E$ et $\vv{y}\in F$. Alors :
$$\ds\vv{y}=p_{F}(\vv{x})\;\iff\;\|\vv{y}-\vv{x}\|=\min\left\{ \left.\|\vv{u}-\vv{x}\|\;\right|\,\vv{u}\in F\right\}$$Autrement dit, le vecteur $p_{F}(\vv{x})$ est le vecteur de $F$ tel que la « distance » de $\vv{x}$ à $F$ est minimale.

Illustration

Définition

Soit $F$ un sous-espace vectoriel strict de $E$ et $\vv{x}\in E\setminus F$. Alors $p_{F}(\vv{x})$ est la meilleure approximation de $\vv{x}$ parmi les vecteurs de $F$.

Théorème : Problème des moindres carrés

Soit les matrices $A\in\mathcal{M}_{n,p}(\R)$ de rang $p$ (donc $p\leqslant n$) et $B\in\mathcal{M}_{n,1}(\R)$. Alors :

  • Il existe une unique matrice $X\in\mathcal{M}_{p,1}(\R)$ telle que la valeur de $\|AX-B\|$ est minimale pour la norme associée au produit scalaire canonique de $\mathcal{M}_{n,1}(\R)$.
  • [Non exigible] De plus, cette matrice $X$ est solution de l'équation ${}^{t}AAX={}^{t}AB$.

Exemples

  1. Soit $A=\begin{pmatrix}1 & 2\\2 & 0\\1 & 1\end{pmatrix}$, $B=\begin{pmatrix}0\\1\\2\end{pmatrix}$ et $C=\begin{pmatrix}3\\2\\2\end{pmatrix}$.
    1. Déterminer le rang de la matrice $A$.
    2. Déterminer $X\in\mathcal{M}_{2,1}(\R)$ tel que $\|AX-B\|$ est minimale.
    3. Déterminer $X\in\mathcal{M}_{2,1}(\R)$ tel que $\|AX-C\|$ est minimale.
  2. Soit $A=\begin{pmatrix}1 & 1 & 0\\1 & 1 & 1\\0 & 1 & 1\end{pmatrix}$ et $B=\begin{pmatrix}1\\2\\3\end{pmatrix}$.
    1. La matrice $A$ est-elle inversible ? Le système $AX=B$ admet-il une solution dans $\mathcal{M}_{3,1}(\R)$ ?
    2. Déterminer la matrice $X_{0}\in\mathcal{M}_{3,1}(\R)$ telle que la norme $\|AX_{0}-B\|$ est minimale.
  3. Soit $\left\{ (x_{i},y_{i})\in\R^{2}\mid i\in\llbracket1,n\rrbracket\right\}$ une série statistique double. Justifier que $y=ax+b$ est l'équation de la droite d'ajustement obtenue par la méthode des moindres carrés si et seulement si le vecteur $X_{0}=\begin{pmatrix}a\\b\end{pmatrix}$ réalise, dans $\mathcal{M}_{2,1}(\R)$, le minimum de $\|AX-B\|$ où l'on a :
    $$A=\begin{pmatrix} x_{1} & 1 \\ \vdots & \vdots \\ x_{n} & 1 \end{pmatrix}\qquad\text{et}\qquad B=\begin{pmatrix} y_{1} \\ \vdots \\ y_{n} \end{pmatrix}$$Déterminer alors les expressions de $a$ et $b$ en fonction des $x_{i}$ et des $y_{i}$.
Proj/Sym > Généralités Proj ortho Minimalisation