Tutorat MATH 206 · McGill

La hessienne contient les dérivées partielles secondes. Une matrice symétrique $H$ est définie positive si $\mathbf d^{T}H\mathbf d>0$ pour tout vecteur de déplacement non nul $\mathbf d$. L’exposant $T$ désigne la transposée.

Les équations du gradient sont $4x+2y-6=0$ et $2x+4y=0$, d’où $(x,y)=(2,-1)$ et $f=-6$. La hessienne symétrique est

Ses valeurs propres $6$ et $2$ sont positives : elle est définie positive. De façon équivalente, pour $\mathbf d=(u,v)^T$, on a $\mathbf d^TH\mathbf d=4u^2+4uv+4v^2=2(u+v)^2+2u^2+2v^2>0$ sauf si les deux composantes sont nulles. Cette courbure positive dans toutes les directions établit un minimum local strict.

Pour la conclusion globale, posons $u=x-2$, $v=y+1$. Un développement direct donne

Cette expression est positive pour tout déplacement non nul. Ainsi, $-6$ est l’unique valeur minimale globale. Le test de la hessienne en un seul point ne suffirait pas à prouver un résultat global pour une fonction non quadratique quelconque.

Les équations $4x+2y-6=0$, $2x-2y=0$ donnent $(1,1)$, avec $g=-3$. Sa hessienne est $\begin{pmatrix}4&2\\2&-2\end{pmatrix}$, de déterminant $-12$. Elle est indéfinie et le point est un point selle. Directement, $g(1+t,1)=-3+2t^2$, tandis que $g(1,1+t)=-3-t^2$. Il existe donc des valeurs plus grandes et plus petites arbitrairement près du point stationnaire.

Pour un candidat $c\mathbf a$, le résidu est $\mathbf b-c\mathbf a$. Cherchez à le rendre orthogonal à $\mathbf a$. Attention : $\mathbf a\cdot\mathbf a=\lVert\mathbf a\rVert^2$, et non $\lVert\mathbf a\rVert$. Le dénominateur est positif puisque $\mathbf a\ne\mathbf0$.

L’équation d’orthogonalité est $\mathbf a\cdot(\mathbf b-c\mathbf a)=0$. Comme $\mathbf a\cdot\mathbf b=6$ et $\mathbf a\cdot\mathbf a=5$, elle donne $c_*=6/5$. Ainsi,

Vérifiez : $\mathbf p\in L$ et $\mathbf a\cdot\mathbf r=14/5-14/5=0$. Le coefficient scalaire $c_*$, le vecteur projection $\mathbf p$ et le vecteur résidu $\mathbf r$ sont des objets distincts.

L’orthogonalité démontre aussi que la distance est minimale. Pour tout réel $c$,

Le terme croisé s’annule puisque $\mathbf r\cdot\mathbf a=0$. Le carré ajouté est positif ou nul et s’annule seulement pour $c=6/5$. La projection $\mathbf p$ est donc l’unique vecteur le plus proche, et la distance minimale vaut $\lVert\mathbf r\rVert=7/\sqrt5$. Minimiser la distance au carré donne le même minimiseur que minimiser la distance, car la racine carrée est croissante sur les nombres positifs ou nuls. Un résidu non nul signifie que $\mathbf b$ n’est pas sur la droite, pas que la projection a échoué.

Commencez par le produit scalaire. Une projection nulle n’exige pas que le vecteur de départ soit nul.

On a $\mathbf a\cdot\mathbf b=2-2=0$, donc $c_*=0$, $\mathbf p=\mathbf0$ et $\mathbf r=(2,-1)^T$. La distance minimale est $\sqrt5$. Tout déplacement non nul le long de $L$ ajoute un terme strictement positif à la distance au carré.

Le numérateur et le dénominateur changent tous deux. Comparez le produit du coefficient par le générateur, pas le coefficient seul.

Le nouveau coefficient vaut $(-12)/20=-3/5$. Le produit donne $$\begin{aligned}&(-3/5)(-2,-4)^T\\&\quad=(6/5,12/5)^T\end{aligned}$$, soit la même projection. Le résidu et la distance minimale restent identiques, car l’ensemble des vecteurs candidats n’a pas changé. Le coefficient dépend du générateur choisi; le vecteur le plus proche n’en dépend pas.

C’est le même problème de projection sur une droite, dans $\mathbb R^3$. Un résidu nul exigerait trois valeurs cibles identiques.

Le coefficient vaut $c_*=9/3=3$, le vecteur ajusté est $(3,3,3)^T$ et le résidu est $(-2,-1,3)^T$. Son produit scalaire avec $(1,1,1)^T$ est nul. L’erreur au carré vaut $14$, et pour tout $c$, l’objectif vaut $14+3(c-3)^2$. Cela démontre le minimum, au lieu de seulement repérer un point stationnaire.

À vous, sans solution : remplacez les cibles par $(2,2,5)^T$. Trouvez l’ajustement et l’erreur au carré avant d’ouvrir la réponse suivante.

La constante minimisante est encore $3$, mais le résidu est maintenant $(-1,-1,2)^T$, de norme au carré $6$. Un même vecteur ajusté peut accompagner des erreurs différentes. Ce calcul utilise les moindres carrés euclidiens ordinaires, sans pondération; aucun modèle probabiliste n’est supposé.