Le test de Fisher pour juger le modèle dans son ensemble, le test de Student pour juger chaque coefficient : deux outils complémentaires issus de la décomposition SST = SSR + SSE.
Pour juger de la qualité globale du modèle, on décompose la variabilité totale de $y$ en deux parts : celle expliquée par le modèle, et celle qui lui échappe (les résidus).
$$\underbrace{\sum_{i=1}^n(y_i-\bar y)^2}_{\text{SST (totale)}} = \underbrace{\sum_{i=1}^n(\hat y_i-\bar y)^2}_{\text{SSR (expliquée)}} + \underbrace{\sum_{i=1}^n(y_i-\hat y_i)^2}_{\text{SSE (résiduelle)}}$$
Cette décomposition (une conséquence directe de la propriété d'orthogonalité des résidus, chapitre précédent) est le point de départ de l'analyse de la variance (ANOVA) en régression.
Le test de Fisher répond à la question : « le modèle, dans son ensemble, apporte-t-il une information significative ? » Il compare le modèle complet à un modèle « nul » ne contenant que l'intercept ($\beta_1=\dots=\beta_p=0$).
Sous l'hypothèse nulle $H_0:\beta_1=\dots=\beta_p=0$ (et en supposant les erreurs gaussiennes) :
$$F = \frac{\text{SSR}/p}{\text{SSE}/(n-p-1)} \sim \mathcal F(p,\,n-p-1)$$
Une grande valeur de $F$ (donc une petite $p$-valeur) rejette $H_0$ : au moins une variable explicative contribue significativement à expliquer $y$.
Pour l'exemple du chapitre précédent ($n=5,\,p=2$) : $\text{SST}=114{,}8$, $\text{SSR}\approx114{,}78$, $\text{SSE}\approx0{,}022$.
$F=\dfrac{114{,}78/2}{0{,}022/2}\approx5165$ — une valeur considérable, la $p$-valeur associée étant d'environ $0{,}0002$ : le modèle est globalement hautement significatif.
On en déduit le coefficient de détermination $R^2=\text{SSR}/\text{SST}\approx0{,}9998$ : le modèle explique environ $99{,}98\%$ de la variabilité observée de $y$ (chapitre « Qualité d'ajustement et diagnostics » pour son interprétation détaillée).
Le test de Fisher juge le modèle globalement ; pour savoir quelle variable est significative, on teste chaque coefficient séparément.
Pour tester $H_0:\beta_j=0$ contre $H_1:\beta_j\neq0$ :
$$t_j = \frac{\hat\beta_j}{\text{SE}(\hat\beta_j)} \sim \mathcal T(n-p-1)$$
Pour l'exemple précédent, $\hat\beta=(0{,}133,\,2{,}278,\,1{,}278)^T$ avec $\text{SE}(\hat\beta)=(0{,}115,\,0{,}056,\,0{,}056)^T$ :
$t_0=0{,}133/0{,}115\approx1{,}155$ ($p$-valeur $\approx0{,}368$, non significatif — l'intercept n'est pas significativement différent de $0$).
$t_1=2{,}278/0{,}056\approx41{,}0$ et $t_2=1{,}278/0{,}056\approx23{,}0$ ($p$-valeurs $\lt0{,}01$) : les deux variables explicatives sont hautement significatives.
$$\hat\beta_j \pm t_{n-p-1,\,0{,}975}\times\text{SE}(\hat\beta_j)$$
où $t_{n-p-1,\,0{,}975}$ est le quantile à $97{,}5\%$ de la loi de Student à $n-p-1$ degrés de liberté (chapitre « Statistiques »).
Pour $\hat\beta_1=2{,}278$, $\text{SE}(\hat\beta_1)=0{,}056$, $n-p-1=2$ : $t_{2,\,0{,}975}\approx4{,}303$. L'intervalle de confiance à 95% est $2{,}278\pm4{,}303\times0{,}056\approx[2{,}039,\,2{,}517]$ — un intervalle ne contenant pas $0$, cohérent avec le rejet de $H_0:\beta_1=0$ observé au §3.
Un modèle globalement significatif (Fisher) peut malgré tout contenir des variables individuellement non significatives (Student) — c'est exactement le cas de l'intercept dans l'exemple ci-dessus. Inversement, il est rare (mais possible en cas de forte colinéarité, chapitre suivant) qu'aucun coefficient individuel ne soit significatif alors que le test de Fisher global l'est.
La variance totale (SST) se décompose en une part expliquée par le modèle (SSR, ici prépondérante pour un $R^2$ proche de 1) et une part résiduelle (SSE) — le test de Fisher juge si la part expliquée est significativement plus grande que ce que le hasard seul produirait.
Écrire la relation entre SST, SSR et SSE.
$\text{SST}=\text{SSR}+\text{SSE}$ (cours §1).
Pour $\text{SST}=200$ et $\text{SSE}=20$, calculer $\text{SSR}$.
$\text{SSR}=200-20=180$.
Pour l'exercice 2, calculer le coefficient de détermination $R^2$.
$R^2=\text{SSR}/\text{SST}=180/200=0{,}9$ : le modèle explique 90% de la variabilité de $y$.
Écrire la formule de la statistique de Fisher pour tester la significativité globale du modèle.
$F=\dfrac{\text{SSR}/p}{\text{SSE}/(n-p-1)}$ (cours §2).
Pour $\text{SSR}=180,\,\text{SSE}=20,\,p=3,\,n=25$, calculer $F$.
$F=\dfrac{180/3}{20/21}=\dfrac{60}{0{,}952}\approx63{,}0$.
Pour l'exercice 5 ($F\approx63$, $p$-valeur extrêmement faible), que peut-on conclure sur le modèle ?
Le modèle est globalement hautement significatif : on rejette $H_0:\beta_1=\dots=\beta_p=0$, au moins une variable explicative contribue significativement à expliquer $y$ (cours §2).
Écrire la formule de la statistique de Student pour tester $H_0:\beta_j=0$.
$t_j=\hat\beta_j/\text{SE}(\hat\beta_j)$ (cours §3).
Pour $\hat\beta_j=3{,}5$ et $\text{SE}(\hat\beta_j)=0{,}8$, calculer $t_j$.
$t_j=3{,}5/0{,}8=4{,}375$ — une valeur élevée, suggérant un coefficient significativement différent de $0$.
Pour $\hat\beta_j=0{,}2$ et $\text{SE}(\hat\beta_j)=0{,}5$, calculer $t_j$ et interpréter.
$t_j=0{,}2/0{,}5=0{,}4$ — une valeur faible, ne permettant pas de rejeter $H_0:\beta_j=0$ : la variable associée n'est probablement pas significative dans le modèle.
Deux coefficients ont $t_1=8{,}2$ et $t_2=1{,}1$. Lequel est probablement le plus significatif ?
Le premier ($t_1=8{,}2$, très éloigné de $0$) est nettement plus significatif que le second ($t_2=1{,}1$, proche de la zone de non-rejet).
Pour $\hat\beta=5,\,\text{SE}=1{,}2$, $n-p-1=15$ (donc $t_{15,\,0{,}975}\approx2{,}131$), calculer l'intervalle de confiance à 95%.
$5\pm2{,}131\times1{,}2\approx5\pm2{,}557$, soit $[2{,}443,\,7{,}558]$.
Si l'intervalle de confiance à 95% d'un coefficient est $[-1{,}2,\,3{,}5]$, que peut-on en conclure sur sa significativité ?
L'intervalle contient $0$ : on ne peut pas rejeter $H_0:\beta_j=0$ au seuil de 5% — le coefficient n'est pas significatif à ce seuil (cours §4, cohérence directe avec le test de Student).
Un économiste teste si le PIB dépend significativement du taux de chômage, trouvant $t=-3{,}8$ avec $n-p-1=40$. Sans table statistique précise, cette valeur suggère-t-elle une significativité au seuil usuel de 5% ?
Oui : $|t|=3{,}8$ dépasse largement les valeurs critiques usuelles de la loi de Student pour un grand nombre de degrés de liberté (proches de $1{,}96$ à $2$, similaires à la loi normale) — le coefficient associé au taux de chômage est très probablement significatif (avec un signe négatif, cohérent avec la relation attendue entre chômage et PIB).
Pour $n=30$ observations et $p=4$ variables explicatives, calculer les degrés de liberté des tests de Student et de Fisher (dénominateur).
$n-p-1=30-4-1=25$.
Vrai ou faux : « si le test de Fisher rejette $H_0$, alors tous les coefficients individuels sont nécessairement significatifs ».
Faux (cours §5) : un modèle globalement significatif peut contenir des coefficients individuellement non significatifs — c'est même un cas assez fréquent, notamment en présence de colinéarité entre variables explicatives (chapitre suivant).
Si deux variables explicatives sont fortement corrélées entre elles, comment cela affecte-t-il probablement $\text{SE}(\hat\beta_j)$ pour ces deux variables (à approfondir au chapitre suivant) ?
$\text{SE}(\hat\beta_j)$ a tendance à augmenter fortement en présence de colinéarité (la matrice $(X^TX)^{-1}$ devient numériquement instable) : les tests de Student individuels perdent en puissance, pouvant déclarer non significatives des variables qui, prises isolément, auraient un lien réel avec $y$ — un phénomène détaillé au chapitre « Qualité d'ajustement et diagnostics ».
Qu'est-ce qu'une $p$-valeur de $0{,}03$ signifie concrètement, dans le contexte d'un test de Student sur un coefficient ?
Si $H_0:\beta_j=0$ était vraie, la probabilité d'observer une statistique $t$ au moins aussi extrême que celle réellement calculée serait de $3\%$ — une probabilité suffisamment faible (inférieure au seuil usuel de $5\%$) pour rejeter $H_0$ et conclure que le coefficient est statistiquement significatif.
Pourquoi un ingénieur travaillant sur un système critique (sécurité aéronautique) pourrait-il choisir un seuil de significativité plus strict (par exemple 1% plutôt que 5%) ?
Un seuil plus strict réduit le risque de conclure à tort qu'une variable est significative (erreur de première espèce) alors qu'elle ne l'est pas réellement — un compromis jugé préférable dans un contexte où une conclusion erronée pourrait avoir des conséquences sérieuses, au prix d'un risque accru de ne pas détecter un effet réel mais plus faible (erreur de seconde espèce).
Toutes choses égales par ailleurs, pourquoi un plus grand nombre d'observations $n$ tend-il à rendre les tests de significativité plus puissants (plus susceptibles de détecter un effet réel) ?
Augmenter $n$ réduit typiquement $\text{Var}(\hat\beta_j)=\sigma^2\big[(X^TX)^{-1}\big]_{jj}$ (chapitre précédent), donc $\text{SE}(\hat\beta_j)$ — pour un $\hat\beta_j$ donné, la statistique $t_j=\hat\beta_j/\text{SE}(\hat\beta_j)$ augmente alors en valeur absolue, facilitant le rejet de $H_0$ même pour un effet de faible ampleur.
Pour un modèle avec $n=10,\,p=2$, $\text{SST}=300$, $\text{SSE}=15$ : (a) calculer $\text{SSR}$ et $R^2$. (b) calculer la statistique $F$. (c) pour $\hat\beta_1=4$ et $\text{SE}(\hat\beta_1)=0{,}9$, calculer $t_1$ et l'intervalle de confiance à 95% (avec $t_{7,\,0{,}975}\approx2{,}365$).
(a) $\text{SSR}=300-15=285$. $R^2=285/300=0{,}95$.
(b) $F=\dfrac{285/2}{15/7}=\dfrac{142{,}5}{2{,}143}\approx66{,}5$ — hautement significatif.
(c) $t_1=4/0{,}9\approx4{,}44$ (significatif). IC $=4\pm2{,}365\times0{,}9\approx4\pm2{,}129$, soit $[1{,}871,\,6{,}129]$ — ne contient pas $0$, cohérent avec la significativité du coefficient.
Exercice A — Un modèle a $n=12,\,p=3$, $\text{SST}=500$, $\text{SSE}=40$.
1. Calculer $\text{SSR}$ et $R^2$.
2. Calculer la statistique $F$ et conclure sur la significativité globale du modèle.
3. Pour $\hat\beta_2=6$ et $\text{SE}(\hat\beta_2)=1{,}5$, calculer $t_2$.
4. Calculer l'intervalle de confiance à 95% pour $\beta_2$ (avec $t_{8,\,0{,}975}\approx2{,}306$).
Exercice B — Question de cours
Un étudiant conclut : « puisque $R^2=0{,}92$ est très proche de 1, tous les coefficients du modèle sont forcément significatifs ». Commenter.
Une entreprise modélise ses ventes ($y$) en fonction du budget publicitaire et du nombre de points de vente ($p=2$ variables), sur $n=15$ périodes. On obtient $\text{SST}=800$, $\text{SSE}=120$.
1. Calculer $R^2$ et interpréter la qualité de l'ajustement.
2. Calculer la statistique $F$ et conclure sur la significativité globale du modèle.
3. Le coefficient associé au nombre de points de vente a $\hat\beta=0{,}5$ et $\text{SE}(\hat\beta)=0{,}6$. Calculer $t$ et discuter de sa significativité.
4. Le responsable marketing s'interroge : le modèle étant globalement très significatif (question 2), doit-il s'inquiéter du résultat de la question 3 concernant les points de vente ? Que lui conseillez-vous ?