Tutorat MTH1008 · Polytechnique Montréal

Définir les matrices, les prédictions et le résidu

Notons $$X=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$$ la matrice de conception, $$\beta=\begin{pmatrix}a\\b\end{pmatrix}$$ le vecteur des coefficients et $$d=\begin{pmatrix}1\\1\\4\end{pmatrix}$$ le vecteur des données.

Chaque ligne de $X$ contient la constante $1$ et l’entrée du point correspondant; les sorties prédites sont donc $X\beta$. Le vecteur des résidus est $r=d-X\beta$.

Déduire les équations normales de l’erreur quadratique

Les moindres carrés minimisent la somme des carrés des résidus, $$\begin{aligned}&S(a,b)\\&=(1-a)^2+(1-a-b)^2\\&\quad +(4-a-2b)^2\end{aligned}$$.

Les dérivées partielles sont $$\begin{aligned}&\frac{\partial S}{\partial a}\\&=-2[(1-a)+(1-a-b)\\&\qquad +(4-a-2b)]\end{aligned}$$ et $$\begin{aligned}&\frac{\partial S}{\partial b}\\&=-2[(1-a-b)\\&\qquad +2(4-a-2b)]\end{aligned}$$.

En les annulant, on obtient $3a+3b=6$ et $3a+5b=9$, les équations normales.

Résoudre les équations et vérifier l’unicité du minimum

La deuxième équation moins la première donne $2b=3$, donc $b=3/2$. Ensuite, $3a+9/2=6$ donne $a=1/2$.

Les prédictions sont $(1/2,2,7/2)$, d’où $r=(1/2,-1,1/2)$.

Les colonnes de $X$ sont $(1,1,1)$ et $(0,1,2)$. Leurs produits scalaires avec $r$ valent $1/2-1+1/2=0$ et $0-1+1=0$.

Le vecteur des résidus est donc perpendiculaire à la variation des valeurs prédites produite par toute modification de la droite. D’après le théorème de Pythagore, la nouvelle somme des carrés des résidus est égale à la somme actuelle plus le carré de la longueur de cette variation. Elle ne peut donc pas être plus petite. Comme les colonnes sont linéairement indépendantes, un seul couple de coefficients donne ces prédictions : la droite de meilleur ajustement est unique.

Expliquer le résidu et l’effet d’un décalage des données

Pour passer exactement par les deux premiers points, la droite devrait avoir $a=1$ et $b=0$; elle prédirait alors $1$, et non $4$, au troisième point. L’orthogonalité vérifie donc la meilleure approximation, sans affirmer que l’erreur est nulle.

Ajouter une constante à toutes les sorties déplace l’ordonnée à l’origine de cette constante, sans changer la pente ni les résidus.