Regrouper n équations en une seule écriture y = Xβ + ε : la matrice de design, socle de toute l'analyse de régression multiple.
La régression linéaire simple relie une variable à expliquer $y$ à une seule variable explicative $x$. En pratique, un phénomène dépend rarement d'une seule variable : le prix d'un logement dépend de sa surface, de sa localisation, de son âge... La régression linéaire multiple généralise le modèle à $p$ variables explicatives simultanément.
Pour $n$ observations et $p$ variables explicatives, le modèle s'écrit, pour chaque observation $i=1,\dots,n$ :
$$y_i = \beta_0 + \beta_1x_{i1}+\beta_2x_{i2}+\dots+\beta_px_{ip}+\varepsilon_i$$
où $\beta_0,\dots,\beta_p$ sont les paramètres (coefficients) à estimer, et $\varepsilon_i$ un terme d'erreur aléatoire.
Écrire les $n$ équations une par une devient vite lourd. On les regroupe sous forme matricielle, en s'appuyant directement sur le chapitre « Matrices et vecteurs » (prérequis de ce cours) :
$$y = X\beta + \varepsilon$$
avec :
$$y=\begin{pmatrix}y_1\\\vdots\\y_n\end{pmatrix}, \quad X=\begin{pmatrix}1&x_{11}&\cdots&x_{1p}\\1&x_{21}&\cdots&x_{2p}\\\vdots&\vdots&&\vdots\\1&x_{n1}&\cdots&x_{np}\end{pmatrix}, \quad \beta=\begin{pmatrix}\beta_0\\\beta_1\\\vdots\\\beta_p\end{pmatrix}, \quad \varepsilon=\begin{pmatrix}\varepsilon_1\\\vdots\\\varepsilon_n\end{pmatrix}$$
La matrice $X$, appelée matrice de design (ou matrice des plans d'expérience), a pour dimension $n\times(p+1)$ : $n$ lignes (une par observation), $p+1$ colonnes (une colonne de $1$ pour l'intercept $\beta_0$, plus une colonne par variable explicative).
Pour $n=5$ observations et $p=2$ variables explicatives, avec $\beta=(2,\,1{,}5,\,-0{,}5)^T$ :
$$X=\begin{pmatrix}1&2&5\\1&3&4\\1&5&6\\1&6&3\\1&8&7\end{pmatrix}$$
$X$ est de dimension $5\times3$ ($n=5$ lignes, $p+1=3$ colonnes).
$X\beta=(2{,}5,\,4{,}5,\,6{,}5,\,9{,}5,\,10{,}5)^T$ — les valeurs prédites par le modèle en l'absence de bruit ($\varepsilon=0$) ; les valeurs observées $y$ s'en écarteront selon la réalisation du terme d'erreur.
On suppose généralement : $\mathbb E[\varepsilon_i]=0$ pour tout $i$ (erreurs centrées, aucun biais systématique) ; $\text{Var}(\varepsilon_i)=\sigma^2$ constante pour tout $i$ (homoscédasticité) ; $\text{Cov}(\varepsilon_i,\varepsilon_j)=0$ pour $i\neq j$ (erreurs non corrélées).
Sous forme matricielle compacte, ces trois hypothèses se résument à $\mathbb E[\varepsilon]=0$ et $\text{Var}(\varepsilon)=\sigma^2I_n$ (matrice identité $n\times n$) — le socle du cadre de Gauss-Markov qui sera détaillé au chapitre « Estimation des paramètres ».
La matrice de design $X$ ($n\times(p+1)$) combine une colonne constante (pour l'intercept $\beta_0$) et $p$ colonnes de variables explicatives — sa structure gouverne directement la faisabilité et la qualité de l'estimation des paramètres (chapitre suivant).
Un jeu de données contient $50$ logements, chacun décrit par sa surface, son nombre de pièces et son âge. Identifier $n$ et $p$.
$n=50$ (nombre d'observations), $p=3$ (nombre de variables explicatives : surface, nombre de pièces, âge).
Pour l'exercice 1, quelle est la dimension de la matrice $X$ ?
$X$ est de dimension $50\times4$ ($n=50$ lignes, $p+1=4$ colonnes : intercept + 3 variables).
Pour $X=\begin{pmatrix}1&1&3\\1&2&1\\1&4&5\\1&3&2\end{pmatrix}$ et $\beta=(1,\,2,\,-1)^T$, calculer $X\beta$.
$X\beta=(1+2-3,\ 1+4-1,\ 1+8-5,\ 1+6-2)^T=(0,\,4,\,4,\,5)^T$.
Pourquoi la première colonne de $X$ est-elle constituée uniquement de $1$ ?
Cette colonne multiplie systématiquement le paramètre $\beta_0$ (l'intercept) par $1$ dans le produit $X\beta$, pour chaque observation — elle permet d'incorporer l'ordonnée à l'origine directement dans l'écriture matricielle, sans traitement séparé (cours §3).
Pour prédire le prix d'un logement à partir de sa surface ($x_1$) et de son année de construction ($x_2$), écrire l'équation du modèle pour une observation $i$.
$y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+\varepsilon_i$ (cours §2), où $y_i$ est le prix du logement $i$.
Pour $\beta_0=5,\,\beta_1=2,\,\beta_2=-3$, et une observation $x_1=4,\,x_2=1$, calculer la valeur prédite (sans le terme d'erreur).
$5+2\times4-3\times1=5+8-3=10$.
Pour $X$ de dimension $n\times(p+1)$ et $\beta$ de dimension $(p+1)\times1$, quelle est la dimension de $X\beta$ ?
$n\times1$ (un vecteur colonne de $n$ valeurs prédites, une par observation) — cohérent avec la règle du produit matriciel (chapitre « Matrices et vecteurs »).
Un modèle prédit la consommation de carburant d'un véhicule à partir de son poids, de sa puissance et de sa vitesse moyenne. Combien de colonnes comptera la matrice $X$ ?
$4$ colonnes : $1$ pour l'intercept, plus $3$ pour les variables explicatives (poids, puissance, vitesse moyenne).
Que signifierait concrètement une violation de l'hypothèse d'homoscédasticité (variance constante des erreurs) pour un modèle prédisant des salaires ?
Cela signifierait que la dispersion des erreurs de prédiction n'est pas la même partout : par exemple, les salaires élevés pourraient être prédits avec une marge d'erreur bien plus grande que les salaires faibles — une hypothèse à vérifier en pratique (chapitre « Qualité d'ajustement et diagnostics »), car sa violation invaliderait certaines propriétés statistiques des estimateurs (chapitre « Estimation des paramètres »).
Pour une observation $y_i=10$ et une valeur prédite $(X\beta)_i=8{,}5$, calculer le résidu correspondant.
Résidu $=y_i-(X\beta)_i=10-8{,}5=1{,}5$ — une estimation empirique du terme d'erreur $\varepsilon_i$ (chapitre « Qualité d'ajustement et diagnostics »).
Pour un modèle à $p=6$ variables explicatives, quelle est la dimension du vecteur $\beta$ ?
$(p+1)\times1=7\times1$ : un paramètre par variable explicative, plus l'intercept.
Une étude médicale mesure la tension artérielle de $200$ patients, en fonction de leur âge, poids, et consommation de sel. Identifier $n$ et $p$.
$n=200$, $p=3$ (âge, poids, consommation de sel).
Pourquoi l'hypothèse $\mathbb E[\varepsilon_i]=0$ est-elle essentielle pour que le modèle ne soit pas systématiquement biaisé ?
Si $\mathbb E[\varepsilon_i]\neq0$ (par exemple toujours positif), les prédictions du modèle seraient systématiquement décalées par rapport aux valeurs réelles, quelle que soit la qualité de l'estimation des $\beta_j$ — cette hypothèse garantit qu'en moyenne, le modèle ne surestime ni ne sous-estime la variable à expliquer.
Pour $X=\begin{pmatrix}1&2&0&1\\1&1&3&2\\1&5&2&0\end{pmatrix}$ et $\beta=(3,\,1,\,-2,\,0{,}5)^T$, calculer $X\beta$.
Ligne 1 : $3+2-0+0{,}5=5{,}5$. Ligne 2 : $3+1-6+1=-1$. Ligne 3 : $3+5-4+0=4$. $X\beta=(5{,}5,\,-1,\,4)^T$.
Dans le modèle $y_i=\beta_0+\beta_1x_{i1}+\varepsilon_i$, qui joue le rôle de « variable de décision » au sens du cours d'optimisation (prérequis), lors de l'estimation du modèle ?
Les paramètres $\beta_0,\beta_1$ sont les « variables de décision » du problème d'optimisation sous-jacent (minimiser l'erreur du modèle, chapitre « Estimation des paramètres ») ; les $x_{i1}$ et $y_i$ sont des données observées, fixées une fois le jeu de données collecté.
Vrai ou faux : « la matrice X a toujours autant de lignes que de colonnes ».
Faux : $X$ est de dimension $n\times(p+1)$ (cours §3), généralement rectangulaire (pas carrée) puisque le nombre d'observations $n$ dépasse presque toujours largement le nombre de variables $p+1$ en pratique.
Si l'on retire la colonne de $1$ de $X$ (modèle « sans intercept », $y_i=\beta_1x_{i1}+\dots+\varepsilon_i$), que devient la dimension de $X$ pour $p$ variables ?
$n\times p$ (au lieu de $n\times(p+1)$) : sans intercept, le modèle est contraint à passer par l'origine ($y=0$ quand toutes les $x_j=0$), une hypothèse forte rarement justifiée sans réflexion préalable sur le phénomène étudié.
Pour un modèle à $p=10$ variables explicatives (avec intercept), combien de paramètres $\beta_j$ faut-il estimer au total ?
$p+1=11$ paramètres ($\beta_0,\beta_1,\dots,\beta_{10}$).
Un tableur contient une colonne « prix de vente » et 8 autres colonnes de caractéristiques d'appartements, pour 300 lignes (appartements). Écrire les dimensions de $y$, $X$ et $\beta$ pour ce jeu de données.
$n=300$, $p=8$.
$y$ : $300\times1$. $X$ : $300\times9$ (avec intercept). $\beta$ : $9\times1$.
Pour $X=\begin{pmatrix}1&3&2\\1&1&4\\1&5&1\\1&2&3\end{pmatrix}$, $\beta=(2,\,1,\,-1)^T$, et les valeurs observées $y=(6,\,3,\,8,\,5)^T$ : (a) calculer $X\beta$. (b) calculer les résidus $y-X\beta$ pour chaque observation. (c) ces résidus semblent-ils centrés autour de zéro (à l'œil, sans test formel) ?
(a) $X\beta=(2+3-2,\ 2+1-4,\ 2+5-1,\ 2+2-3)^T=(3,\,-1,\,6,\,1)^T$.
(b) Résidus $=y-X\beta=(6-3,\ 3-(-1),\ 8-6,\ 5-1)^T=(3,\,4,\,2,\,4)^T$.
(c) Non : les quatre résidus sont tous positifs (moyenne $=3{,}25$, nettement différente de zéro) — un signe potentiel que le modèle proposé (ces valeurs de $\beta$) sous-estime systématiquement $y$, suggérant qu'il ne s'agit probablement pas des paramètres réellement estimés par la méthode des moindres carrés (chapitre suivant), qui garantit justement une moyenne des résidus nulle lorsque l'intercept est présent.
Exercice A — Pour $X=\begin{pmatrix}1&4&1\\1&2&3\\1&6&2\\1&3&5\end{pmatrix}$ et $\beta=(1{,}5,\,0{,}8,\,-0{,}6)^T$.
1. Donner $n$ et $p$ pour ce jeu de données.
2. Calculer $X\beta$.
3. Pour $y=(5{,}5,\,4{,}0,\,6{,}2,\,4{,}5)^T$, calculer les résidus.
Exercice B — Question de cours
Un étudiant affirme : « puisque $X$ n'est pas carrée, on ne peut pas la manipuler comme dans le chapitre sur les matrices ». Commenter cette affirmation.
Une entreprise modélise ses ventes ($y$, en milliers d'euros) en fonction du budget publicitaire ($x_1$, en milliers d'euros), du nombre de promotions ($x_2$) et du nombre de concurrents actifs ($x_3$), sur 5 périodes.
1. Écrire l'équation du modèle pour une période $i$, et donner la dimension de la matrice $X$.
2. Pour $X=\begin{pmatrix}1&10&5&2\\1&20&3&1\\1&15&8&4\\1&25&2&0\\1&12&6&3\end{pmatrix}$ et $\beta=(4,\,0{,}3,\,-0{,}5,\,1{,}2)^T$, calculer $X\beta$.
3. Interpréter le signe du coefficient associé au nombre de concurrents actifs ($\beta_3=1{,}2\gt0$) : est-ce cohérent avec l'intuition économique ? Discuter brièvement.