L'estimateur des moindres carrés ordinaires β̂ = (X'X)⁻¹X'y, et le théorème de Gauss-Markov qui en garantit l'optimalité parmi les estimateurs linéaires sans biais.
Comment choisir le « meilleur » $\beta$ parmi toutes les valeurs possibles ? Le critère le plus naturel consiste à minimiser la somme des carrés des résidus — un problème d'optimisation sans contrainte (chapitre correspondant du cours d'optimisation, prérequis) :
$$\min_\beta \ \text{SSE}(\beta) = \sum_{i=1}^n\big(y_i-x_i^T\beta\big)^2 = \|y-X\beta\|^2$$
où $x_i^T$ désigne la $i$-ème ligne de $X$. On appelle cette quantité la somme des carrés des résidus (Sum of Squared Errors, SSE).
En développant $\text{SSE}(\beta)=(y-X\beta)^T(y-X\beta)$ et en annulant le gradient par rapport à $\beta$ (chapitre « Conditions d'optimalité », condition du premier ordre) :
$$\nabla_\beta\text{SSE}(\beta) = -2X^T(y-X\beta) = 0$$
$$X^TX\,\beta = X^Ty$$
Si $X^TX$ est inversible (ce qui requiert que les colonnes de $X$ soient linéairement indépendantes — l'absence de colinéarité parfaite, chapitre « Qualité d'ajustement et diagnostics »), on obtient l'estimateur des moindres carrés ordinaires :
$$\hat\beta = (X^TX)^{-1}X^Ty$$
On vérifie (Hessienne $\nabla^2\text{SSE}=2X^TX$, semi-définie positive, chapitre « Conditions d'optimalité ») qu'il s'agit bien d'un minimum — global de surcroît, la fonction $\text{SSE}$ étant convexe.
Pour $X=\begin{pmatrix}1&1&2\\1&2&1\\1&3&4\\1&4&3\\1&5&5\end{pmatrix}$ et $y=(5,6,12,13,18)^T$ :
$X^TX=\begin{pmatrix}5&15&15\\15&55&53\\15&53&55\end{pmatrix}$, $X^Ty=(54,\,195,\,193)^T$.
En résolvant le système linéaire $X^TX\hat\beta=X^Ty$ (chapitre « Résolution des systèmes linéaires ») : $\hat\beta\approx(0{,}133,\,2{,}278,\,1{,}278)^T$.
Sous les hypothèses du chapitre précédent ($\mathbb E[\varepsilon]=0$, $\text{Var}(\varepsilon)=\sigma^2I_n$) — sans supposer la normalité des erreurs — l'estimateur $\hat\beta$ des moindres carrés est BLUE (Best Linear Unbiased Estimator) : parmi tous les estimateurs linéaires et sans biais de $\beta$, $\hat\beta$ est celui de variance minimale.
Deux propriétés clés découlent directement de ce cadre :
$\mathbb E[\hat\beta]=\beta$ : en moyenne (sur un grand nombre d'échantillons hypothétiques), l'estimateur retrouve la vraie valeur des paramètres.
$$\text{Var}(\hat\beta) = \sigma^2\,(X^TX)^{-1}$$
où $\sigma^2$ (inconnue en pratique) est estimée par $\hat\sigma^2=\dfrac{\text{SSE}}{n-p-1}$ (le dénominateur $n-p-1$, plutôt que $n$, corrige le biais dû à l'estimation de $p+1$ paramètres — un principe similaire à la correction de Bessel pour la variance empirique, chapitre « Statistiques »).
Pour l'exemple du §3, les résidus sont $\hat\varepsilon\approx(0{,}033,\,0{,}033,\,-0{,}078,\,-0{,}078,\,0{,}089)^T$, avec $\text{SSE}\approx0{,}0222$.
$n=5,\,p=2\Rightarrow\hat\sigma^2=\dfrac{0{,}0222}{5-2-1}=\dfrac{0{,}0222}2\approx0{,}0111$.
Les écarts-types estimés des coefficients sont $\text{SE}(\hat\beta_0)\approx0{,}115$, $\text{SE}(\hat\beta_1)\approx0{,}056$, $\text{SE}(\hat\beta_2)\approx0{,}056$ — ces quantités serviront directement à construire les tests de significativité du chapitre suivant.
$\hat y=X\hat\beta$ est la projection orthogonale de $y$ sur le sous-espace vectoriel engendré par les colonnes de $X$. Le vecteur des résidus $\hat\varepsilon=y-\hat y$ est orthogonal à ce sous-espace, ce qui explique pourquoi $\displaystyle\sum_{i=1}^n\hat\varepsilon_i=0$ dès que $X$ contient une colonne de $1$ (l'intercept) — une conséquence directe des équations normales, déjà observée numériquement au §5.
Écrire la somme des carrés des résidus $\text{SSE}(\beta)$ sous forme matricielle.
$\text{SSE}(\beta)=\|y-X\beta\|^2=(y-X\beta)^T(y-X\beta)$ (cours §1).
Écrire les équations normales obtenues en annulant le gradient de $\text{SSE}(\beta)$.
$X^TX\beta=X^Ty$ (cours §2).
En déduire la formule de l'estimateur des moindres carrés ordinaires $\hat\beta$.
$\hat\beta=(X^TX)^{-1}X^Ty$ (cours §2).
Pour $X=\begin{pmatrix}1&1\\1&2\\1&3\\1&4\end{pmatrix}$, calculer $X^TX$.
$X^TX=\begin{pmatrix}4&10\\10&30\end{pmatrix}$.
Pour le $X$ de l'exercice 4 et $y=(2,4,5,8)^T$, calculer $X^Ty$.
$X^Ty=(2+4+5+8,\ 2+8+15+32)^T=(19,\,57)^T$.
Résoudre $X^TX\hat\beta=X^Ty$ pour les exercices 4-5.
$\begin{pmatrix}4&10\\10&30\end{pmatrix}\hat\beta=\begin{pmatrix}19\\57\end{pmatrix}$. En résolvant (chapitre « Résolution des systèmes linéaires ») : $\hat\beta\approx(0,\,1{,}9)^T$.
Pour l'exercice 6, écrire l'équation de la droite de régression ajustée.
$\hat y=0+1{,}9x=1{,}9x$ (une droite passant quasiment par l'origine, avec une pente de $1{,}9$).
Pour l'exercice 6-7, calculer les résidus et vérifier que leur somme est nulle.
Valeurs prédites : $(1{,}9,\,3{,}8,\,5{,}7,\,7{,}6)$. Résidus : $(0{,}1,\,0{,}2,\,-0{,}7,\,0{,}4)$.
Somme $=0{,}1+0{,}2-0{,}7+0{,}4=0$ ✓ (cours §6, propriété géométrique).
Que signifie concrètement $\mathbb E[\hat\beta]=\beta$, si l'on répétait la collecte de données un grand nombre de fois ?
En moyenne sur un grand nombre d'échantillons hypothétiques (mêmes valeurs de $x$, mais bruit $\varepsilon$ différent à chaque fois), la moyenne des estimations $\hat\beta$ obtenues coïnciderait exactement avec la vraie valeur $\beta$ — même si, pour un échantillon particulier, $\hat\beta$ diffère toujours un peu de $\beta$ (cours §4).
Pour l'exercice 8 (SSE à calculer), $n=4,\,p=1$, calculer $\hat\sigma^2$ puis $\text{Var}(\hat\beta)=\hat\sigma^2(X^TX)^{-1}$.
$\text{SSE}=0{,}1^2+0{,}2^2+0{,}7^2+0{,}4^2=0{,}01+0{,}04+0{,}49+0{,}16=0{,}7$. $\hat\sigma^2=0{,}7/(4-1-1)=0{,}35$.
$(X^TX)^{-1}=\begin{pmatrix}1{,}5&-0{,}5\\-0{,}5&0{,}2\end{pmatrix}$ (à partir de $X^TX=\begin{pmatrix}4&10\\10&30\end{pmatrix}$, déterminant $=20$).
$\text{Var}(\hat\beta)=0{,}35\times\begin{pmatrix}1{,}5&-0{,}5\\-0{,}5&0{,}2\end{pmatrix}=\begin{pmatrix}0{,}525&-0{,}175\\-0{,}175&0{,}07\end{pmatrix}$.
Pour l'exercice 10, calculer $\text{SE}(\hat\beta_0)$ et $\text{SE}(\hat\beta_1)$.
$\text{SE}(\hat\beta_0)=\sqrt{0{,}525}\approx0{,}725$. $\text{SE}(\hat\beta_1)=\sqrt{0{,}07}\approx0{,}265$.
Pourquoi $\hat\sigma^2=\text{SSE}/(n-p-1)$ plutôt que simplement $\text{SSE}/n$ ?
Estimer $p+1$ paramètres « consomme » $p+1$ degrés de liberté du jeu de données : diviser par $n-p-1$ (plutôt que $n$) corrige le biais qui résulterait sinon d'une sous-estimation systématique de $\sigma^2$ — un principe analogue à la correction de Bessel ($n-1$ au lieu de $n$) pour la variance empirique (chapitre « Statistiques »).
Pourquoi peut-on affirmer que $\hat\beta$ correspond à un minimum global de $\text{SSE}$, et non simplement local ?
La Hessienne de $\text{SSE}$ est $2X^TX$, une matrice semi-définie positive pour tout $X$ (chapitre « Conditions d'optimalité ») : $\text{SSE}$ est donc une fonction convexe de $\beta$, garantissant (chapitre « Optimum local et optimum global ») que tout minimum local est automatiquement global.
Le théorème de Gauss-Markov affirme que $\hat\beta$ est BLUE. Expliquer chaque lettre de cet acronyme.
Best (le meilleur, au sens de la variance minimale) Linear (parmi les estimateurs linéaires en $y$) Unbiased (sans biais, $\mathbb E[\hat\beta]=\beta$) Estimator (estimateur) — cours §4.
Pour $\text{SSE}=12$, $n=20$, $p=3$, calculer $\hat\sigma^2$.
$\hat\sigma^2=\dfrac{12}{20-3-1}=\dfrac{12}{16}=0{,}75$.
Vrai ou faux : « le théorème de Gauss-Markov suppose que les erreurs suivent une loi normale ».
Faux (cours §4) : le théorème ne requiert que $\mathbb E[\varepsilon]=0$ et $\text{Var}(\varepsilon)=\sigma^2I_n$, sans hypothèse de normalité — celle-ci ne sera nécessaire qu'au chapitre suivant, pour construire des tests de significativité exacts (et non plus seulement asymptotiques).
Pourquoi dit-on que $\hat y=X\hat\beta$ est une « projection orthogonale » de $y$ ?
Parmi tous les vecteurs du sous-espace engendré par les colonnes de $X$ (toutes les combinaisons linéaires possibles des variables explicatives), $\hat y=X\hat\beta$ est celui qui minimise la distance euclidienne $\|y-X\beta\|$ à $y$ (cours §6) — exactement la définition géométrique d'une projection orthogonale (chapitre « Norme euclidienne et produit scalaire »).
Pour $\hat\beta=(0{,}556,\,1{,}889,\,1{,}444)^T$ et une observation $x=(1,4,2)$, $y=11$, calculer le résidu correspondant.
$\hat y=0{,}556+1{,}889\times4+1{,}444\times2=0{,}556+7{,}556+2{,}889\approx11$.
Résidu $=11-11=0$ (ajustement quasi-parfait pour cette observation).
Si deux colonnes de $X$ sont parfaitement colinéaires (proportionnelles), pourquoi $X^TX$ n'est-elle pas inversible, empêchant le calcul de $\hat\beta$ par la formule du cours §2 ?
Si deux colonnes de $X$ sont proportionnelles, les colonnes de $X$ ne sont pas linéairement indépendantes (chapitre « Matrices et vecteurs ») : le rang de $X$ est alors strictement inférieur à $p+1$, ce qui entraîne que $X^TX$ (de même rang que $X$) est également de rang déficient — donc non inversible. Ce problème, appelé colinéarité parfaite, sera approfondi au chapitre « Qualité d'ajustement et diagnostics ».
Pour $X=\begin{pmatrix}1&1&1\\1&2&3\\1&3&2\\1&4&5\\1&5&4\end{pmatrix}$ et $y=(4{,}2,\,8{,}8,\,8{,}3,\,14{,}6,\,14{,}5)^T$, on admet $\hat\beta\approx(1{,}18,\,1{,}333,\,1{,}633)^T$. (a) Calculer les valeurs prédites. (b) Calculer les résidus. (c) Calculer $\text{SSE}$ et $\hat\sigma^2$ (avec $n=5,\,p=2$).
(a) $\hat y\approx(4{,}147,\,8{,}747,\,8{,}447,\,14{,}680,\,14{,}380)$ (en utilisant les valeurs arrondies de $\hat\beta$).
(b) Résidus $\approx(0{,}053,\,0{,}053,\,-0{,}147,\,-0{,}080,\,0{,}120)$.
(c) $\text{SSE}\approx0{,}048$. $\hat\sigma^2=0{,}048/(5-2-1)=0{,}024$.
Exercice A — Pour $X=\begin{pmatrix}1&2\\1&4\\1&6\\1&8\end{pmatrix}$ et $y=(3,\,7,\,8,\,13)^T$.
1. Calculer $X^TX$ et $X^Ty$.
2. Résoudre le système normal pour obtenir $\hat\beta$.
3. Calculer les résidus, $\text{SSE}$, puis $\hat\sigma^2$ (avec $n=4,\,p=1$).
4. Calculer $\text{Var}(\hat\beta)$ et les écarts-types $\text{SE}(\hat\beta_0),\,\text{SE}(\hat\beta_1)$.
Exercice B — Question de cours
Expliquer pourquoi l'estimateur MCO est qualifié de « linéaire » dans l'énoncé du théorème de Gauss-Markov.
Un promoteur estime le prix de vente ($y$, en milliers d'euros) d'appartements en fonction de leur surface ($x_1$, en m²) et de leur nombre de chambres ($x_2$), sur 6 biens vendus récemment. On donne $X=\begin{pmatrix}1&50&2\\1&70&3\\1&90&3\\1&60&2\\1&100&4\\1&80&3\end{pmatrix}$, $y=(150,\,210,\,260,\,180,\,300,\,240)^T$.
1. On admet $\hat\beta\approx(4{,}32,\,2{,}57,\,9{,}32)^T$. Interpréter chacun de ces trois coefficients en termes concrets pour le promoteur.
2. Calculer la valeur prédite pour un appartement de $75$ m² et $3$ chambres.
3. Sachant que $\text{SSE}\approx34{,}09$, calculer $\hat\sigma^2$ (avec $n=6,\,p=2$).
4. Le promoteur envisage de collecter des données sur davantage de biens pour affiner son modèle. D'après le cadre de Gauss-Markov, cela améliorerait-il nécessairement la précision de $\hat\beta$ ? Justifier.