Modéliser une variable de comptage via le lien logarithmique : rapports de taux, déviance et le piège fréquent de la surdispersion.
La régression de Poisson applique le cadre GLM à une variable à expliquer de comptage $Y\in\{0,1,2,\dots\}$ — le nombre de pannes d'une machine, le nombre de clients par heure, le nombre d'accidents sur un tronçon routier.
$Y|X\sim\mathcal P(\lambda)$ avec le lien canonique logarithmique :
$$\log\lambda = X\beta \qquad \Longleftrightarrow \qquad \lambda = e^{X\beta}$$
Comme pour la régression logistique (chapitre précédent), l'estimateur des moindres carrés ne s'applique pas : on recourt de nouveau au maximum de vraisemblance.
Pour $n$ observations indépendantes $(x_i,y_i)$ :
$$\ell(\beta) = \sum_{i=1}^n\Big[y_i\,x_i^T\beta - e^{x_i^T\beta} - \log(y_i!)\Big]$$
Le dernier terme $\log(y_i!)$ ne dépendant pas de $\beta$, il n'intervient pas dans la maximisation — on l'omet généralement en pratique. Comme précédemment, $\hat\beta$ s'obtient par une méthode itérative (Newton-Raphson).
Pour un jeu de données à 6 observations ($x=1,\dots,6$, $y=(2,3,5,8,12,20)$, un nombre de pannes croissant avec l'âge d'une machine), l'estimation par maximum de vraisemblance donne $\hat\beta\approx(0{,}204,\,0{,}463)^T$.
Les valeurs prédites $\hat\lambda$ (par exemple $1{,}95,\,3{,}10,\,4{,}92,\,7{,}83,\,12{,}44,\,19{,}77$) sont très proches des valeurs observées — un ajustement de bonne qualité.
Pour une nouvelle observation $x=7$ : $\hat\lambda=e^{0{,}204+0{,}463\times7}\approx31{,}4$ pannes prédites.
Comme pour la régression logistique, l'interprétation est multiplicative : une augmentation d'une unité de $x_j$ multiplie le taux moyen prédit $\lambda$ par $e^{\beta_j}$ — le rapport de taux (rate ratio).
Pour $\hat\beta_1\approx0{,}463$ : $e^{0{,}463}\approx1{,}589$ — chaque unité supplémentaire de $x$ (par exemple, chaque année d'âge de la machine) multiplie le nombre moyen de pannes attendu par environ $1{,}59$, soit une augmentation d'environ 59%.
La déviance généralise l'idée de somme des carrés des résidus (chapitre 1) au cadre GLM :
$$D = 2\big[\ell(\text{modèle saturé}) - \ell(\hat\beta)\big]$$
où le « modèle saturé » ajuste parfaitement chaque observation ($\hat y_i=y_i$). Une déviance faible indique un bon ajustement ; elle joue, en régression de Poisson, un rôle analogue à celui de SSE en régression linéaire classique.
Pour l'exemple précédent, la déviance est très faible ($D\approx0{,}028$) — cohérent avec la qualité d'ajustement observée au §3 (valeurs prédites très proches des valeurs observées).
Rappel (chapitre « Famille exponentielle ») : la loi de Poisson impose $\text{Var}(Y)=\mathbb E[Y]$. En pratique, il est fréquent d'observer une variance empirique supérieure à la moyenne (surdispersion), souvent due à une hétérogénéité non modélisée. Ignorer ce phénomène conduit à sous-estimer les écarts-types des coefficients, et donc à déclarer à tort certaines variables significatives.
Face à une surdispersion avérée, deux solutions courantes : une régression de Poisson quasi-vraisemblance (ajustant simplement les écarts-types a posteriori), ou un modèle de régression binomiale négative, qui autorise explicitement $\text{Var}(Y)\gt\mathbb E[Y]$ dans sa spécification.
Ce chapitre clôt le panorama des modèles linéaires généralisés. Le chapitre suivant aborde la classification, en s'appuyant directement sur la régression logistique pour construire des règles de décision et évaluer leurs performances.
Écrire l'équation du modèle de régression de Poisson reliant $\lambda$ à $X\beta$.
$\log\lambda=X\beta$, soit $\lambda=e^{X\beta}$ (cours §1).
Pour $\beta=(0{,}5,\,0{,}3)^T$ et $x=4$, calculer $\eta$ puis $\lambda$.
$\eta=0{,}5+0{,}3\times4=1{,}7$.
$\lambda=e^{1{,}7}\approx5{,}474$.
Un modèle prédit $\hat\lambda=45$ visites par heure pour une page web. Comment interpréter cette valeur ?
Le modèle estime à 45 le nombre moyen de visites attendues sur cette heure, pour les valeurs des variables explicatives considérées — une prédiction ponctuelle, sachant que le nombre réel de visites variera aléatoirement autour de cette moyenne (loi de Poisson).
Pour $\hat\beta_j=0{,}5$, calculer le rapport de taux $e^{\hat\beta_j}$.
$e^{0{,}5}\approx1{,}649$ : une augmentation d'une unité de $x_j$ multiplie le taux moyen prédit par environ $1{,}65$.
Pour l'exercice 4, que signifie un rapport de taux supérieur à 1 ?
La variable $x_j$ associée est liée à une augmentation du taux moyen de comptage : plus $x_j$ augmente, plus $\lambda$ (le nombre moyen d'événements attendu) augmente.
Pour $\hat\beta_j=-0{,}3$, calculer le rapport de taux et interpréter.
$e^{-0{,}3}\approx0{,}741$.
Chaque unité de $x_j$ multiplie le taux moyen par $0{,}741$, soit une réduction d'environ 26% du nombre moyen d'événements attendu.
Pour $\hat\beta=(1,\,0{,}2)^T$, calculer $\hat\lambda$ pour $x=8$.
$\eta=1+0{,}2\times8=2{,}6$. $\hat\lambda=e^{2{,}6}\approx13{,}464$.
Comme pour la régression logistique (chapitre précédent), pourquoi l'estimateur MCO ne s'applique-t-il pas directement à la régression de Poisson ?
Le lien logarithmique rend la relation entre $\lambda$ et $\beta$ non linéaire (cours §1), rendant inapplicable la théorie des moindres carrés développée au chapitre 1 — le maximum de vraisemblance (cours §2) est de nouveau nécessaire, avec résolution numérique itérative.
Pour une observation avec $y=6$ et $\hat\lambda=5$, calculer sa contribution $y\log\hat\lambda-\hat\lambda$ (en ignorant le terme constant $\log(y!)$).
$6\times\log5-5\approx6\times1{,}609-5\approx9{,}657-5=4{,}657$.
Pourquoi la régression de Poisson est-elle préférable à une régression linéaire classique pour modéliser un nombre d'accidents routiers ?
Un nombre d'accidents est une variable de comptage, entière et positive : la régression linéaire classique pourrait produire des prédictions négatives ou non entières, physiquement absurdes — la régression de Poisson garantit des prédictions $\hat\lambda\gt0$ (cours §1) et respecte la nature discrète de la variable.
Pour $\hat\beta=(0{,}2,\,0{,}4)^T$, calculer $\hat\lambda$ pour $x=1,\,3,\,5$, et vérifier la tendance.
$x=1$ : $\hat\lambda\approx1{,}822$. $x=3$ : $\hat\lambda\approx4{,}055$. $x=5$ : $\hat\lambda\approx9{,}025$.
La tendance est bien croissante, cohérente avec $\hat\beta_1=0{,}4\gt0$ — et la croissance est de plus en plus rapide (accélération), caractéristique de la relation exponentielle du lien logarithmique.
Un assureur modélise le nombre annuel de sinistres par client, en fonction de l'âge du véhicule. Un rapport de taux de $1{,}15$ pour cette variable signifie quoi concrètement ?
Chaque année supplémentaire d'âge du véhicule multiplie le nombre moyen de sinistres attendu par $1{,}15$ (soit +15%) — une information directement exploitable pour ajuster les primes d'assurance en fonction de l'âge du véhicule assuré.
Un modèle a une déviance très faible par rapport au nombre d'observations. Que peut-on en conclure sur la qualité de l'ajustement ?
Une faible déviance indique que le modèle ajusté est proche du modèle saturé (qui ajuste parfaitement chaque observation, cours §5) : l'ajustement est de bonne qualité, les valeurs prédites $\hat\lambda_i$ étant globalement proches des valeurs observées $y_i$.
Vrai ou faux : « comme pour la régression logistique, il n'existe pas de formule fermée explicite pour l'estimateur du maximum de vraisemblance en régression de Poisson ».
Vrai (cours §2) : l'équation de vraisemblance nécessite une résolution numérique itérative, exactement comme pour la régression logistique (chapitre précédent) — une caractéristique commune aux modèles GLM utilisant un lien non identité.
Sur un jeu de données, on observe une moyenne de comptage de $4{,}2$ et une variance empirique de $18{,}5$. Que suggère cet écart ?
Une surdispersion marquée (cours §6) : la variance ($18{,}5$) est très supérieure à la moyenne ($4{,}2$), alors que la loi de Poisson impose leur égalité — un modèle de régression de Poisson standard risque de sous-estimer les écarts-types des coefficients ; un modèle binomial négatif serait à envisager.
Pour $\hat\beta_j=-0{,}8$, calculer le rapport de taux correspondant.
$e^{-0{,}8}\approx0{,}449$ : chaque unité de $x_j$ réduit le taux moyen d'environ 55%.
Deux variables ont des rapports de taux de $1{,}05$ et $3{,}2$. Laquelle a l'effet le plus marqué sur le taux moyen prédit ?
La seconde variable (rapport de taux $3{,}2$) a un effet nettement plus marqué : la première n'augmente le taux que de 5% par unité, contre 220% pour la seconde — une différence considérable dans l'impact pratique de chaque variable.
Pour modéliser si un client renouvelle ou non son abonnement (oui/non), quel modèle GLM des deux derniers chapitres serait adapté ? Et pour modéliser le nombre de fois où il contacte le support client dans l'année ?
Renouvellement (oui/non) : régression logistique (variable binaire, chapitre précédent). Nombre de contacts au support : régression de Poisson (variable de comptage, ce chapitre) — le choix du modèle dépend fondamentalement de la nature de la variable à expliquer.
Un modèle de régression de Poisson a une déviance faible mais une variance empirique des résidus bien supérieure à leur moyenne théorique attendue. Ces deux observations sont-elles contradictoires ?
Non, elles ne sont pas nécessairement contradictoires : une faible déviance renseigne sur la qualité de l'ajustement moyen (les prédictions $\hat\lambda_i$ sont globalement bonnes), tandis qu'une variance empirique excessive signale une surdispersion (cours §6) — un problème distinct portant sur la dispersion des données autour de la moyenne prédite, pas sur la qualité de la prédiction moyenne elle-même.
Pour $\hat\beta=(0{,}5,\,0{,}25,\,-0{,}1)^T$ et une observation $x=(1,6,2)^T$ : (a) calculer $\eta$ et $\hat\lambda$. (b) calculer les rapports de taux associés à chaque variable. (c) si $x_1$ passe de 6 à 7, par quel facteur le taux moyen prédit est-il multiplié ?
(a) $\eta=0{,}5+0{,}25\times6-0{,}1\times2=0{,}5+1{,}5-0{,}2=1{,}8$. $\hat\lambda=e^{1{,}8}\approx6{,}050$.
(b) Pour $x_1$ : $e^{0{,}25}\approx1{,}284$. Pour $x_2$ : $e^{-0{,}1}\approx0{,}905$.
(c) Le taux moyen est multiplié par $e^{0{,}25}\approx1{,}284$ (le rapport de taux de $x_1$) — indépendamment de la valeur de départ, exactement comme pour le rapport de cotes en régression logistique.
Exercice A — Pour $\hat\beta=(0{,}3,\,0{,}35)^T$ et une observation $x=5$.
1. Calculer $\eta$ et $\hat\lambda$.
2. Calculer le rapport de taux associé au coefficient $0{,}35$, et interpréter.
3. Sur ce jeu de données, la variance empirique observée est de $22$ pour une moyenne de $6$. Que peut-on en conclure, et quelle précaution prendre avant d'interpréter les tests de significativité ?
Exercice B — Question de cours
Expliquer pourquoi la déviance joue, en régression de Poisson, un rôle analogue à celui de SSE en régression linéaire classique.
Un centre d'appels modélise le nombre d'appels reçus par créneau horaire, avec $\hat\beta=(1{,}2,\,0{,}1,\,-0{,}4)^T$ (intercept, heure de la journée codée $x_1$, jour férié codé $x_2\in\{0,1\}$).
1. Pour un créneau avec $x_1=8$ et $x_2=1$ (jour férié), calculer $\hat\lambda$ (nombre moyen d'appels prédit).
2. Calculer les rapports de taux associés aux deux variables, et interpréter chacun d'eux.
3. Le responsable du centre d'appels observe que la variance du nombre d'appels par créneau est très proche de la moyenne observée sur l'ensemble du jeu de données. Que peut-il en conclure sur la pertinence du modèle de Poisson choisi ?