Au-delà du R² : R² ajusté, intervalles de prédiction, analyse des résidus et VIF pour détecter la colinéarité — les outils pour valider et affiner un modèle de régression.
Le chapitre précédent a introduit $R^2=\text{SSR}/\text{SST}$ comme mesure de la qualité d'ajustement. Ce chapitre en présente les limites, ainsi que les outils de diagnostic permettant de vérifier la validité du modèle et d'en améliorer la construction.
Ajouter n'importe quelle variable explicative à un modèle, même totalement dénuée de sens, ne peut jamais faire diminuer $R^2$ (au pire, son coefficient estimé sera nul). $R^2$ seul encourage donc à surcharger le modèle de variables inutiles.
$$R^2_{\text{ajusté}} = 1-(1-R^2)\frac{n-1}{n-p-1}$$
Cette version pénalise l'ajout de variables : contrairement à $R^2$, $R^2_{\text{ajusté}}$ peut diminuer si la variable ajoutée n'améliore pas suffisamment l'ajustement pour compenser la perte d'un degré de liberté.
Pour $R^2=0{,}75$, $n=20$, $p=5$ : $R^2_{\text{ajusté}}=1-(1-0{,}75)\times\dfrac{19}{14}\approx1-0{,}339\approx0{,}661$ — sensiblement inférieur au $R^2$ brut, reflétant le coût de la complexité du modèle.
Pour une nouvelle observation $x_0=(1,x_{01},\dots,x_{0p})$, on distingue deux questions différentes :
L'intervalle de confiance porte sur la valeur moyenne $\mathbb E[y|x_0]=x_0^T\beta$ ; l'intervalle de prédiction porte sur une observation individuelle future $y_0$, nécessairement plus large (il intègre en plus la variabilité résiduelle $\varepsilon_0$).
$$\text{IC : } x_0^T\hat\beta \pm t_{n-p-1,0{,}975}\,\hat\sigma\sqrt{x_0^T(X^TX)^{-1}x_0}$$
$$\text{IP : } x_0^T\hat\beta \pm t_{n-p-1,0{,}975}\,\hat\sigma\sqrt{1+x_0^T(X^TX)^{-1}x_0}$$
Pour l'exemple des chapitres précédents, en $x_0=(1,3,3)$ : $\hat y_0=10{,}8$.
IC à 95% (moyenne) $\approx[10{,}60,\,11{,}00]$, bien plus étroit que l'IP à 95% (observation individuelle) $\approx[10{,}30,\,11{,}30]$ — l'écart entre les deux illustre directement le « $+1$ » sous la racine de la formule de l'IP.
Les hypothèses du modèle (chapitre « Écriture matricielle ») doivent être vérifiées empiriquement, typiquement via des graphiques de résidus (résidus en fonction des valeurs prédites) :
| Diagnostic visuel | Interprétation |
|---|---|
| Nuage aléatoire, sans structure | Hypothèses respectées |
| Forme en entonnoir (dispersion croissante) | Violation de l'homoscédasticité |
| Tendance courbe (non linéaire) | Relation mal spécifiée (terme manquant, transformation nécessaire) |
Pour détecter une colinéarité partielle (pas nécessairement parfaite, chapitre précédent) entre variables explicatives, on régresse chaque variable $x_j$ sur toutes les autres, et on calcule :
$$\text{VIF}_j = \frac1{1-R_j^2}$$
où $R_j^2$ est le coefficient de détermination de cette régression auxiliaire. Un $\text{VIF}_j$ élevé (souvent $\gt10$) signale une forte colinéarité impliquant $x_j$.
Pour deux variables $x_1$ et $x_2$ presque parfaitement proportionnelles ($x_2\approx2x_1$), la régression de $x_2$ sur $x_1$ donne $R_2^2\approx0{,}998$, soit $\text{VIF}_2=1/(1-0{,}998)=1/0{,}002=500$ — une valeur extrême, révélant une colinéarité quasiment parfaite entre les deux variables, qui rendrait $(X^TX)^{-1}$ numériquement instable (chapitre « Estimation des paramètres »).
Face à un grand nombre de variables candidates, plusieurs stratégies permettent de sélectionner un sous-ensemble pertinent : la sélection pas à pas (ajout ou retrait successif de variables selon leur significativité ou leur effet sur $R^2_{\text{ajusté}}$), ou des critères d'information (AIC, BIC) pénalisant la complexité du modèle de façon plus ou moins stricte. Ce chapitre clôt le panorama de la régression linéaire multiple ; le chapitre suivant généralise le cadre aux modèles linéaires généralisés (GLM), pour des variables à expliquer non continues.
Pour $R^2=0{,}85$, $n=30$, $p=6$, calculer $R^2_{\text{ajusté}}$.
$R^2_{\text{ajusté}}=1-(1-0{,}85)\times\dfrac{29}{23}\approx1-0{,}189\approx0{,}811$.
Pour l'exercice 1, $R^2_{\text{ajusté}}$ est-il inférieur ou supérieur à $R^2$ ? Est-ce toujours le cas ?
Inférieur ($0{,}811\lt0{,}85$) — c'est toujours le cas dès que $p\ge1$ (cours §2) : le R² ajusté pénalise systématiquement la complexité du modèle.
Un statisticien ajoute une variable totalement aléatoire (sans lien réel avec $y$) à un modèle. Que devient $R^2$ ? Et $R^2_{\text{ajusté}}$ probablement ?
$R^2$ augmente (même très légèrement, cours §2, encart) — il ne peut jamais diminuer. $R^2_{\text{ajusté}}$, en revanche, diminuera probablement, car le gain marginal de $R^2$ ne suffira pas à compenser la perte d'un degré de liberté supplémentaire.
Pour une variable $x_j$ dont la régression sur les autres variables donne $R_j^2=0{,}9$, calculer $\text{VIF}_j$.
$\text{VIF}_j=1/(1-0{,}9)=1/0{,}1=10$.
Pour l'exercice 4 ($\text{VIF}_j=10$), cette variable pose-t-elle un problème de colinéarité ?
$\text{VIF}_j=10$ est généralement considéré comme le seuil d'alerte (cours §5) : cette variable est fortement liée aux autres variables explicatives, un signe de colinéarité potentiellement problématique à examiner de plus près.
Comparer $\text{VIF}_j$ pour $R_j^2=0{,}6$ et $R_j^2=0{,}95$.
$R_j^2=0{,}6$ : $\text{VIF}_j=1/0{,}4=2{,}5$ (acceptable).
$R_j^2=0{,}95$ : $\text{VIF}_j=1/0{,}05=20$ (très élevé, colinéarité sévère) — un écart considérable, illustrant la sensibilité extrême du VIF lorsque $R_j^2$ approche $1$.
Un client demande : « quel est l'intervalle probable du prix de mon appartement ? » S'agit-il d'un intervalle de confiance ou de prédiction ?
D'un intervalle de prédiction (cours §3) : le client s'intéresse à une observation individuelle spécifique (son appartement), pas à la moyenne théorique de tous les appartements ayant les mêmes caractéristiques.
Pourquoi l'intervalle de prédiction est-il toujours plus large que l'intervalle de confiance, pour un même point $x_0$ ?
La formule de l'IP contient un terme supplémentaire « $+1$ » sous la racine carrée (cours §3), reflétant la variabilité additionnelle du terme d'erreur $\varepsilon_0$ d'une observation individuelle — variabilité qui n'existe pas pour la valeur moyenne théorique $\mathbb E[y|x_0]$, une quantité fixe (non aléatoire).
Un graphique des résidus en fonction des valeurs prédites montre une dispersion des résidus qui augmente avec la valeur prédite. Quelle hypothèse du modèle est probablement violée ?
L'hypothèse d'homoscédasticité (variance constante des erreurs, chapitre « Écriture matricielle ») — cette forme en entonnoir est la signature visuelle classique de son inobservation (cours §4, tableau).
Un graphique des résidus montre une tendance en forme de U (résidus négatifs aux extrémités, positifs au centre). Que suggère ce motif ?
Une relation mal spécifiée (cours §4, tableau) : la vraie relation entre $x$ et $y$ n'est probablement pas linéaire, suggérant qu'un terme quadratique (ou une autre transformation) devrait être ajouté au modèle pour mieux capturer la courbure observée.
Dans la formule de l'intervalle de prédiction, à quoi correspond le terme $x_0^T(X^TX)^{-1}x_0$ ?
Ce terme quantifie l'incertitude liée à l'estimation de $\beta$ elle-même (via $\text{Var}(\hat\beta)=\sigma^2(X^TX)^{-1}$, chapitre « Estimation des paramètres »), projetée dans la direction $x_0$ — plus $x_0$ est « éloigné » du centre du nuage de points d'apprentissage, plus ce terme (et donc l'incertitude de prédiction) est grand.
Vrai ou faux : « ajouter une variable explicative à un modèle peut faire diminuer $R^2$ ».
Faux (cours §2, encart) : $R^2$ ne peut jamais diminuer lorsqu'on ajoute une variable, aussi inutile soit-elle — seul $R^2_{\text{ajusté}}$ peut diminuer dans ce cas.
Pourquoi comparer deux modèles de complexité différente uniquement sur leur $R^2$ brut serait-il trompeur ?
Le modèle le plus complexe (plus grand $p$) aura presque toujours un $R^2$ au moins aussi élevé, indépendamment de la pertinence réelle des variables ajoutées (cours §2) — comparer les $R^2_{\text{ajustés}}$ (ou des critères comme AIC/BIC, cours §6) permet une comparaison plus équitable, tenant compte du nombre de paramètres utilisés.
Modèle A : $R^2=0{,}80$, $n=25$, $p=4$. Modèle B : $R^2=0{,}82$, $n=25$, $p=7$. Calculer $R^2_{\text{ajusté}}$ pour chacun, et déterminer lequel est préférable selon ce critère.
Modèle A : $R^2_{\text{ajusté}}=1-(1-0{,}80)\times\dfrac{24}{20}=1-0{,}24=0{,}76$.
Modèle B : $R^2_{\text{ajusté}}=1-(1-0{,}82)\times\dfrac{24}{17}\approx1-0{,}254\approx0{,}746$.
Malgré un $R^2$ brut plus élevé, le modèle B a un $R^2_{\text{ajusté}}$ légèrement inférieur à celui du modèle A : les 3 variables supplémentaires du modèle B n'apportent pas suffisamment d'amélioration pour justifier leur complexité additionnelle — le modèle A est préférable selon ce critère.
En présence d'une forte colinéarité entre deux variables, pourquoi devient-il difficile d'interpréter individuellement chaque coefficient $\hat\beta_j$ ?
Lorsque deux variables varient de façon très similaire, il devient statistiquement difficile de distinguer la contribution propre de chacune à l'explication de $y$ — les coefficients estimés deviennent instables (grande variance, cours §5) et peuvent même changer de signe pour de petites variations des données, rendant leur interprétation individuelle peu fiable.
Quel est le seuil de VIF généralement considéré comme préoccupant ?
$\text{VIF}\gt10$ (cours §5) est une règle empirique courante, bien que certains praticiens utilisent des seuils plus stricts (par exemple $5$) selon le contexte et les enjeux de l'analyse.
Décrire brièvement le principe d'une sélection de variables « ascendante » (forward selection).
On part d'un modèle vide (intercept seul), puis on ajoute itérativement la variable qui améliore le plus le critère choisi (par exemple $R^2_{\text{ajusté}}$, ou la significativité du test de Fisher/Student) — le processus s'arrête lorsqu'aucune variable supplémentaire n'apporte d'amélioration suffisante (cours §6).
En quoi les critères AIC et BIC ressemblent-ils conceptuellement au R² ajusté ?
Comme le $R^2_{\text{ajusté}}$ (cours §2), les critères AIC et BIC combinent une mesure de la qualité d'ajustement du modèle avec une pénalité croissante avec le nombre de paramètres — l'objectif commun étant d'éviter de sélectionner un modèle inutilement complexe qui ne généraliserait pas bien à de nouvelles données (chapitre « Optimum local et optimum global » du cours d'optimisation, notion de sur-ajustement).
Un modèle a un $R^2$ élevé mais un graphique de résidus en entonnoir et un $\text{VIF}$ maximal de $15$. Résumer les deux problèmes identifiés et leurs implications respectives.
Le graphique en entonnoir signale une violation de l'homoscédasticité (chapitre « Écriture matricielle »), remettant en question la validité des tests statistiques usuels (Fisher, Student, chapitre précédent) qui supposent cette hypothèse. Le $\text{VIF}=15$ signale une colinéarité préoccupante, rendant les coefficients individuels instables et difficiles à interpréter (exercice 15) — malgré un bon ajustement global ($R^2$ élevé), ces deux diagnostics invitent à revoir la spécification du modèle avant toute conclusion définitive.
Un modèle a $R^2=0{,}88$, $n=40$, $p=8$. (a) Calculer $R^2_{\text{ajusté}}$. (b) Une variable du modèle a $R_j^2=0{,}85$ (régression sur les autres variables) : calculer son VIF et conclure. (c) Cette variable devrait-elle être reconsidérée dans le modèle ?
(a) $R^2_{\text{ajusté}}=1-(1-0{,}88)\times\dfrac{39}{31}\approx1-0{,}151\approx0{,}849$.
(b) $\text{VIF}_j=1/(1-0{,}85)=1/0{,}15\approx6{,}67$ — en dessous du seuil usuel de $10$, mais déjà notable.
(c) Bien que sous le seuil critique de $10$, un VIF de $6{,}67$ mérite une attention particulière : il serait prudent d'examiner la significativité individuelle de cette variable (test de Student, chapitre précédent) et sa corrélation avec les autres, avant de décider de la conserver, la simplifier, ou la retirer du modèle.
Exercice A — Un modèle a $R^2=0{,}78$, $n=22$, $p=5$.
1. Calculer $R^2_{\text{ajusté}}$.
2. Une variable du modèle a $R_j^2=0{,}75$ (régression sur les autres variables). Calculer son VIF et conclure sur la présence de colinéarité.
3. Le graphique des résidus de ce modèle montre une dispersion croissante avec les valeurs prédites. Quelle hypothèse est probablement violée, et quelle conséquence cela a-t-il sur la fiabilité des tests de significativité (chapitre précédent) ?
Exercice B — Question de cours
Expliquer pourquoi un intervalle de prédiction est toujours plus large qu'un intervalle de confiance pour un même point $x_0$.
Un cabinet RH compare deux modèles de prédiction salariale sur $n=30$ employés : le modèle A ($R^2=0{,}70$, $p=3$ variables) et le modèle B ($R^2=0{,}74$, $p=6$ variables, incluant 3 variables supplémentaires).
1. Calculer $R^2_{\text{ajusté}}$ pour chaque modèle.
2. Lequel des deux modèles recommanderiez-vous, et pourquoi ?
3. Dans le modèle B, la variable « années d'ancienneté » a un $R_j^2=0{,}92$ (régression sur les autres variables, notamment « âge » et « niveau hiérarchique »). Calculer son VIF et commenter.
4. Le cabinet RH s'inquiète : « si le VIF de l'ancienneté est si élevé, son coefficient est-il forcément erroné ? » Répondre en nuançant.