Modéliser une variable binaire via le lien logit et le maximum de vraisemblance : rapports de cotes, interprétation multiplicative des coefficients et test du rapport de vraisemblance.
La régression logistique applique le cadre GLM (chapitres précédents) à une variable à expliquer binaire $Y\in\{0,1\}$ — un client achète ou non, un patient guérit ou non, un email est un spam ou non.
$Y|X\sim\mathcal B(p)$ avec le lien canonique logit :
$$\log\frac p{1-p} = X\beta \qquad \Longleftrightarrow \qquad p = \frac1{1+e^{-X\beta}}$$
Le lien $p=X\beta$ n'étant pas linéaire (à cause du logit), la relation entre $y$ et $\beta$ n'est plus linéaire : l'estimateur des moindres carrés (chapitre 1) ne s'applique plus directement. On recourt à une méthode plus générale : le maximum de vraisemblance, déjà annoncé au cours d'optimisation (prérequis).
Pour $n$ observations indépendantes $(x_i,y_i)$ :
$$\ell(\beta) = \sum_{i=1}^n\Big[y_i\log p_i+(1-y_i)\log(1-p_i)\Big], \qquad p_i=\frac1{1+e^{-x_i^T\beta}}$$
On estime $\hat\beta$ en maximisant $\ell(\beta)$ — un problème d'optimisation sans contrainte (chapitre correspondant du cours d'optimisation), résolu numériquement par une méthode de descente (Newton-Raphson est en général privilégié, la log-vraisemblance étant deux fois différentiable).
Contrairement à l'estimateur MCO (chapitre 1), il n'existe pas de formule fermée pour $\hat\beta$ en régression logistique : l'équation $\nabla_\beta\ell(\beta)=0$ n'a pas de solution analytique simple, d'où le recours systématique à des méthodes itératives.
Pour un jeu de données à 8 observations ($x=1,\dots,8$, $y=(0,0,0,1,0,1,1,1)$), l'estimation par maximum de vraisemblance donne $\hat\beta\approx(-5{,}770,\,1{,}282)^T$.
Pour $x=4$ : $\eta=-5{,}770+1{,}282\times4\approx-0{,}641$, soit $\hat p\approx0{,}345$.
Pour $x=6$ : $\hat p\approx0{,}873$ — les probabilités prédites croissent bien avec $x$, cohérent avec la tendance observée dans les données ($y$ passe globalement de $0$ à $1$ à mesure que $x$ augmente).
La cote $\dfrac p{1-p}$ (odds) mesure le rapport entre la probabilité de succès et d'échec. Le modèle s'écrivant $\log\dfrac p{1-p}=X\beta$, une augmentation d'une unité de $x_j$ multiplie la cote par $e^{\beta_j}$ — le rapport de cotes (odds ratio).
Pour $\hat\beta_1\approx1{,}282$ : $e^{1{,}282}\approx3{,}605$ — chaque augmentation d'une unité de $x$ multiplie la cote de succès par environ $3{,}6$ : une interprétation multiplicative caractéristique de la régression logistique, très différente de l'interprétation additive des coefficients en régression linéaire classique (chapitre 1).
L'analogue du test de Fisher (chapitre 1) en régression logistique est le test du rapport de vraisemblance :
$$G^2 = 2\big[\ell(\hat\beta) - \ell(\hat\beta_0)\big] \sim \chi^2(p)$$
où $\ell(\hat\beta_0)$ est la log-vraisemblance du modèle nul (intercept seul). Une grande valeur de $G^2$ indique que le modèle complet apporte une information significative.
Pour l'exemple précédent : $\ell(\hat\beta)\approx-2{,}503$, $\ell(\hat\beta_0)\approx-5{,}545$ (modèle nul, $\hat p_0=0{,}5$). $G^2=2\times(-2{,}503-(-5{,}545))\approx6{,}084$ — à comparer à une loi du $\chi^2$ à $1$ degré de liberté (un seul coefficient testé au-delà de l'intercept).
Écrire l'équation du modèle de régression logistique reliant $p$ à $X\beta$.
$\log\dfrac p{1-p}=X\beta$, soit $p=\dfrac1{1+e^{-X\beta}}$ (cours §1).
Pour $\beta=(-3,\,0{,}8)^T$ et $x=5$, calculer $\eta$ puis $p$.
$\eta=-3+0{,}8\times5=1$.
$p=\dfrac1{1+e^{-1}}\approx0{,}731$.
Un modèle prédit $\hat p=0{,}05$ pour un patient. Comment interpréter cette valeur ?
Le modèle estime à 5% la probabilité que ce patient présente la condition étudiée (par exemple, développer une maladie) — une probabilité faible, suggérant un profil à faible risque selon le modèle.
Pourquoi l'estimateur des moindres carrés ordinaires (chapitre 1) ne s'applique-t-il pas directement à la régression logistique ?
La relation entre $p$ et $\beta$ n'est pas linéaire (à cause de la fonction logit, cours §2) : le problème de minimisation de la somme des carrés ne conduit plus à un système d'équations linéaires simple comme dans le cas gaussien — on recourt donc au maximum de vraisemblance, une méthode plus générale.
Pour $p=0{,}75$, calculer la cote $p/(1-p)$.
Cote $=0{,}75/0{,}25=3$ : le succès est trois fois plus probable que l'échec.
Pour $\hat\beta_j=0{,}9$, calculer le rapport de cotes $e^{\hat\beta_j}$.
$e^{0{,}9}\approx2{,}460$ : une augmentation d'une unité de $x_j$ multiplie la cote de succès par environ $2{,}46$.
Pour l'exercice 6, que signifie un rapport de cotes supérieur à 1 ?
La variable $x_j$ associée est liée à une augmentation de la probabilité de succès : plus $x_j$ augmente, plus la cote (et donc la probabilité) de $Y=1$ augmente.
Pour $\hat\beta_j=-0{,}5$, calculer le rapport de cotes et interpréter son sens.
$e^{-0{,}5}\approx0{,}607$.
Un rapport de cotes $\lt1$ signifie que la variable $x_j$ est associée à une diminution de la cote de succès (chaque unité de $x_j$ multiplie la cote par $0{,}607$, soit une réduction d'environ 39%).
Pour une observation avec $y=1$ et $\hat p=0{,}8$, calculer sa contribution à la log-vraisemblance $\log\hat p$.
$\log(0{,}8)\approx-0{,}223$.
Pour une observation avec $y=0$ et $\hat p=0{,}3$, calculer sa contribution $\log(1-\hat p)$.
$\log(1-0{,}3)=\log(0{,}7)\approx-0{,}357$.
Pour $\beta=(-4,\,1)^T$, calculer $\hat p$ pour $x=2,\,4,\,6$, et vérifier la tendance croissante.
$x=2$ : $\eta=-2$, $p\approx0{,}119$. $x=4$ : $\eta=0$, $p=0{,}5$. $x=6$ : $\eta=2$, $p\approx0{,}881$.
Les probabilités croissent bien avec $x$ (cohérent avec $\hat\beta_1=1\gt0$) : $x=4$ correspond exactement au point où $\hat p=0{,}5$.
Une banque utilise une régression logistique pour prédire le risque de défaut de paiement. Que représenterait un coefficient positif pour la variable « nombre de crédits en cours » ?
Un coefficient positif signifierait qu'avoir davantage de crédits en cours est associé à une probabilité plus élevée de défaut de paiement — un résultat cohérent avec l'intuition financière (endettement plus élevé, risque accru).
Pour $\ell(\hat\beta)=-3{,}2$ et $\ell(\hat\beta_0)=-6{,}8$ (modèle nul), calculer $G^2$.
$G^2=2\times(-3{,}2-(-6{,}8))=2\times3{,}6=7{,}2$.
Pour l'exercice 13 ($G^2=7{,}2$, à comparer à $\chi^2(1)$, valeur critique à 5% $\approx3{,}84$), que peut-on conclure ?
$G^2=7{,}2\gt3{,}84$ : on rejette l'hypothèse nulle, le modèle complet apporte une information significativement meilleure que le modèle nul (cours §6) — le prédicteur testé est statistiquement significatif.
Vrai ou faux : « il existe une formule fermée explicite pour l'estimateur du maximum de vraisemblance en régression logistique, comme pour la régression linéaire ».
Faux (cours §3, encart) : il faut recourir à des méthodes d'optimisation itératives (Newton-Raphson, chapitre correspondant du cours d'optimisation), l'équation de vraisemblance n'ayant pas de solution analytique simple.
Une entreprise modélise la probabilité qu'un visiteur de son site achète un produit, en fonction du temps passé sur le site. Un coefficient $\hat\beta_1=0{,}3$ (par minute) a un rapport de cotes de $e^{0{,}3}\approx1{,}35$. Interpréter concrètement.
Chaque minute supplémentaire passée sur le site multiplie la cote d'achat par environ $1{,}35$ (soit une augmentation d'environ 35%) — une information directement exploitable pour orienter des actions marketing visant à prolonger le temps de visite des utilisateurs.
Pour $\hat\beta_j=-1{,}2$, calculer le rapport de cotes correspondant.
$e^{-1{,}2}\approx0{,}301$ : chaque unité de $x_j$ divise approximativement la cote de succès par $3{,}3$ (soit une réduction d'environ 70%).
Deux variables ont des rapports de cotes de $1{,}1$ et $2{,}8$. Laquelle a l'effet le plus marqué sur la probabilité de succès ?
La seconde variable (rapport de cotes $2{,}8$, bien plus éloigné de $1$) a un effet nettement plus marqué : la première ($1{,}1$) n'augmente la cote que de 10% par unité, contre 180% pour la seconde.
Pourquoi la méthode de Newton-Raphson (chapitre « Méthodes de descente » du cours d'optimisation) est-elle particulièrement bien adaptée à l'estimation en régression logistique ?
La log-vraisemblance $\ell(\beta)$ est deux fois différentiable, et sa Hessienne peut être calculée explicitement — Newton-Raphson exploite directement cette information de second ordre, offrant une convergence rapide (typiquement quadratique) vers le maximum de vraisemblance, bien plus efficace qu'une simple descente de gradient pour ce type de problème.
Pour $\hat\beta=(-2,\,0{,}6,\,0{,}3)^T$ et une observation $x=(1,3,2)^T$ : (a) calculer $\eta$ et $\hat p$. (b) calculer les rapports de cotes associés à chaque variable. (c) si $x_1$ passe de 3 à 4 (toutes choses égales par ailleurs), par quel facteur la cote de succès est-elle multipliée ?
(a) $\eta=-2+0{,}6\times3+0{,}3\times2=-2+1{,}8+0{,}6=0{,}4$. $\hat p=\dfrac1{1+e^{-0{,}4}}\approx0{,}599$.
(b) Pour $x_1$ : $e^{0{,}6}\approx1{,}822$. Pour $x_2$ : $e^{0{,}3}\approx1{,}350$.
(c) La cote est multipliée par $e^{0{,}6}\approx1{,}822$ (le rapport de cotes de $x_1$) — une augmentation d'une unité de $x_1$ correspond exactement à ce facteur multiplicatif sur la cote, indépendamment de la valeur de départ.
Exercice A — Pour $\hat\beta=(-4,\,0{,}9)^T$ et une observation $x=6$.
1. Calculer $\eta$ et $\hat p$.
2. Calculer le rapport de cotes associé au coefficient $0{,}9$, et interpréter.
3. Pour $\ell(\hat\beta)=-4{,}1$ et $\ell(\hat\beta_0)=-8{,}3$, calculer $G^2$ et conclure (valeur critique $\chi^2(1)$ à 5% $\approx3{,}84$).
Exercice B — Question de cours
Expliquer pourquoi l'interprétation d'un coefficient de régression logistique est dite « multiplicative » plutôt qu'« additive ».
Une entreprise de télécommunications modélise la probabilité de désabonnement d'un client, avec $\hat\beta=(-1{,}8,\,0{,}4,\,-0{,}7)^T$ (intercept, nombre de réclamations $x_1$, ancienneté en années $x_2$).
1. Pour un client avec $x_1=5$ réclamations et $x_2=1$ an d'ancienneté, calculer $\hat p$ (probabilité de désabonnement).
2. Calculer les rapports de cotes associés aux deux variables, et interpréter chacun d'eux.
3. L'entreprise envisage un programme de fidélité visant à augmenter l'ancienneté moyenne perçue de ses clients. D'après le modèle, cette stratégie est-elle cohérente pour réduire le désabonnement ? Justifier.