Un cadre mathématique unifié pour Bernoulli, Poisson, normale et bien d'autres lois : la clé pour généraliser la régression au-delà des variables continues gaussiennes.
La régression linéaire (chapitre 1) suppose $y$ continue et $\varepsilon$ gaussien. Or de nombreuses variables à expliquer sont d'une autre nature : binaire (un client achète ou non), un comptage (nombre de pannes par mois), une proportion... Les modèles linéaires généralisés (GLM) étendent le cadre de la régression à ces situations, en s'appuyant sur la famille exponentielle de lois de probabilité.
Une loi de probabilité appartient à la famille exponentielle (à un paramètre) si sa densité (ou sa fonction de masse) s'écrit :
$$f(y;\theta,\phi) = \exp\left[\frac{y\theta-b(\theta)}{a(\phi)}+c(y,\phi)\right]$$
où $\theta$ est le paramètre naturel (canonique), $\phi$ un paramètre de dispersion, et $b,\,a,\,c$ des fonctions connues caractérisant la loi.
Cette écriture, bien qu'abstraite, permet de traiter de façon unifiée des lois très différentes — normale, Bernoulli, Poisson, Gamma... — avec les mêmes outils mathématiques.
Pour $Y\sim\mathcal B(p)$ : $f(y;p)=p^y(1-p)^{1-y}=\exp\big[y\log p+(1-y)\log(1-p)\big]$.
En développant : $=\exp\left[y\log\dfrac p{1-p}+\log(1-p)\right]$.
On identifie $\theta=\log\dfrac p{1-p}$ (le logit de $p$), $b(\theta)=\log(1+e^\theta)$, $a(\phi)=1$, $c(y,\phi)=0$ — la loi de Bernoulli appartient bien à la famille exponentielle.
Pour $Y\sim\mathcal P(\lambda)$ : $f(y;\lambda)=\dfrac{\lambda^ye^{-\lambda}}{y!}=\exp\big[y\log\lambda-\lambda-\log(y!)\big]$.
On identifie $\theta=\log\lambda$, $b(\theta)=e^\theta$ (car $\lambda=e^\theta$), $a(\phi)=1$, $c(y,\phi)=-\log(y!)$.
$$\mathbb E[Y] = b'(\theta), \qquad \text{Var}(Y) = b''(\theta)\,a(\phi)$$
Ce résultat remarquable montre que toute l'information sur la moyenne et la variance de $Y$ est encodée dans la fonction $b$ — appelée fonction cumulante.
Pour $b(\theta)=\log(1+e^\theta)$ : $b'(\theta)=\dfrac{e^\theta}{1+e^\theta}=p$ ✓ (on retrouve bien $\mathbb E[Y]=p$, cohérent avec la loi de Bernoulli).
$b''(\theta)=\dfrac{e^\theta}{(1+e^\theta)^2}=p(1-p)$, avec $a(\phi)=1$ : $\text{Var}(Y)=p(1-p)$ ✓ — exactement la variance connue d'une loi de Bernoulli.
Pour $b(\theta)=e^\theta$ : $b'(\theta)=e^\theta=\lambda$ ✓. $b''(\theta)=e^\theta=\lambda$ ✓ — on retrouve la propriété caractéristique de la loi de Poisson, $\mathbb E[Y]=\text{Var}(Y)=\lambda$.
| Loi | Usage typique | θ | b(θ) |
|---|---|---|---|
| Normale | $y$ continue (régression classique) | $\mu$ | $\theta^2/2$ |
| Bernoulli | $y$ binaire (0/1) | $\log\frac p{1-p}$ | $\log(1+e^\theta)$ |
| Poisson | $y$ comptage | $\log\lambda$ | $e^\theta$ |
| Gamma | $y$ continue positive (durées, coûts) | $-1/\mu$ | $-\log(-\theta)$ |
Cette unification permettra, au chapitre suivant, de définir un cadre commun (la fonction de lien) pour relier $\mathbb E[Y]$ aux variables explicatives, quelle que soit la loi choisie.
Pour $p=0{,}8$, calculer $\theta=\log\dfrac p{1-p}$.
$\theta=\log\dfrac{0{,}8}{0{,}2}=\log4\approx1{,}386$.
Pour l'exercice 1, vérifier que $p=\dfrac{e^\theta}{1+e^\theta}$ redonne bien $0{,}8$.
$p=\dfrac{e^{1{,}386}}{1+e^{1{,}386}}=\dfrac{4}{5}=0{,}8$ ✓.
Pour $\lambda=5$, calculer $\theta=\log\lambda$.
$\theta=\log5\approx1{,}609$.
Pour l'exercice 3, vérifier que $\lambda=e^\theta$ redonne bien $5$.
$e^{1{,}609}\approx5$ ✓.
Pour la loi de Poisson, identifier $\theta$, $b(\theta)$, $a(\phi)$ et $c(y,\phi)$ dans l'écriture $f(y;\theta,\phi)=\exp\left[\dfrac{y\theta-b(\theta)}{a(\phi)}+c(y,\phi)\right]$.
$\theta=\log\lambda$, $b(\theta)=e^\theta$, $a(\phi)=1$, $c(y,\phi)=-\log(y!)$ (cours §4).
Pour la loi de Poisson ($b(\theta)=e^\theta$), calculer $b'(2)$.
$b'(\theta)=e^\theta\Rightarrow b'(2)=e^2\approx7{,}389$ — cette valeur représente $\mathbb E[Y]=\lambda$ pour $\theta=2$ (soit $\lambda=e^2$).
Pour la loi de Poisson, calculer $\text{Var}(Y)$ en $\theta=1{,}5$.
$b''(\theta)=e^\theta\Rightarrow\text{Var}(Y)=e^{1{,}5}\approx4{,}482$ (avec $a(\phi)=1$) — cohérent avec $\text{Var}(Y)=\lambda=e^{1{,}5}$.
Pourquoi la propriété $\mathbb E[Y]=\text{Var}(Y)=\lambda$ de la loi de Poisson est-elle une conséquence directe de son appartenance à la famille exponentielle ?
Car $b(\theta)=e^\theta$ vérifie $b'(\theta)=b''(\theta)=e^\theta$ (cours §5) : la fonction cumulante de Poisson a pour particularité que sa dérivée première et sa dérivée seconde coïncident exactement, ce qui impose l'égalité moyenne = variance pour cette loi, une propriété unique parmi les lois usuelles.
Pour la loi normale, $\theta=\mu$ et $b(\theta)=\theta^2/2$. Calculer $b'(\theta)$ et vérifier qu'il redonne bien $\mathbb E[Y]=\mu$.
$b'(\theta)=\theta$, donc $b'(\mu)=\mu$ ✓ : on retrouve bien $\mathbb E[Y]=\mu$, cohérent avec la définition de la loi normale.
Pour $b(\theta)=\theta^2/2$ (loi normale), calculer $b''(\theta)$ et interpréter (avec $a(\phi)=\phi=\sigma^2$).
$b''(\theta)=1$, donc $\text{Var}(Y)=1\times\sigma^2=\sigma^2$ ✓ — contrairement à Poisson, la variance de la loi normale ne dépend pas de la moyenne $\mu$, un fait qui se retrouve directement dans $b''(\theta)=1$ (constant).
Pourquoi le paramètre naturel $\theta$ de la loi de Bernoulli (le logit) n'est-il pas directement égal à $p$, contrairement à la loi normale où $\theta=\mu$ ?
$p\in[0,1]$ est une quantité bornée, alors que le paramètre naturel $\theta$ doit pouvoir parcourir $\mathbb R$ tout entier pour que la famille exponentielle soit bien définie sans contrainte — le logit $\theta=\log\dfrac p{1-p}$ réalise précisément cette transformation, envoyant $[0,1]$ sur $\mathbb R$ (chapitre suivant, « Fonctions de lien »).
Calculer $\text{logit}(0{,}3)=\log\dfrac{0{,}3}{0{,}7}$.
$\log(0{,}3/0{,}7)=\log(0{,}4286)\approx-0{,}847$.
Pour $\theta=-0{,}5$, calculer $p=\dfrac{e^\theta}{1+e^\theta}$.
$p=\dfrac{e^{-0{,}5}}{1+e^{-0{,}5}}\approx\dfrac{0{,}607}{1{,}607}\approx0{,}378$.
Pour les lois de Bernoulli et de Poisson, quelle est la valeur commune de $a(\phi)$ ?
$a(\phi)=1$ pour les deux lois (cours §3 et §4) — ce n'est pas le cas de la loi normale, où $a(\phi)=\sigma^2$ (un paramètre de dispersion à part entière).
Vrai ou faux : « la famille exponentielle permet de traiter la régression sur des variables binaires, de comptage, et continues avec le même cadre mathématique général ».
Vrai (cours §1 et §2) : c'est précisément l'intérêt de cette famille — unifier des lois de nature très différente (Bernoulli, Poisson, normale, Gamma...) sous une même écriture mathématique, permettant de développer une théorie d'estimation commune (chapitre « Optimisation de la vraisemblance »).
Un ingénieur modélise le nombre de pannes mensuelles d'une machine. Quelle loi de la famille exponentielle serait naturellement adaptée ?
La loi de Poisson (cours §4) : elle modélise naturellement des variables de comptage (nombre d'événements sur une période), contrairement à la loi normale, mal adaptée à des valeurs entières positives et potentiellement proches de zéro.
Pour $\mu=3$ (loi de Poisson), donner la valeur de la fonction de variance $V(\mu)=\mu$.
$V(3)=3$ : la variance attendue est égale à la moyenne, soit $3$.
Pour $\mu=0{,}4$ (loi de Bernoulli, $\mu=p$), calculer la fonction de variance $V(\mu)=\mu(1-\mu)$.
$V(0{,}4)=0{,}4\times0{,}6=0{,}24$.
Si, dans un jeu de données de comptage, la variance observée est nettement supérieure à la moyenne observée (contrairement à la propriété théorique de Poisson), quel problème cela suggère-t-il ?
Un phénomène appelé surdispersion : les données ne suivent probablement pas exactement une loi de Poisson (par exemple, à cause d'une hétérogénéité non modélisée entre les individus). Dans ce cas, un modèle alternatif (loi binomiale négative, par exemple, qui autorise $\text{Var}(Y)\gt\mathbb E[Y]$) serait plus approprié qu'une régression de Poisson standard (chapitre « Régression de Poisson »).
Pour une loi de Bernoulli avec $\theta=0{,}5$ : (a) calculer $p=b'(\theta)$. (b) calculer $\text{Var}(Y)=b''(\theta)$. (c) vérifier que $\text{Var}(Y)=p(1-p)$ avec la valeur de $p$ trouvée en (a).
(a) $p=\dfrac{e^{0{,}5}}{1+e^{0{,}5}}\approx0{,}622$.
(b) $\text{Var}(Y)=p(1-p)\approx0{,}622\times0{,}378\approx0{,}235$ (car $b''(\theta)=p(1-p)$ directement, cours §5).
(c) $0{,}622\times(1-0{,}622)=0{,}622\times0{,}378\approx0{,}235$ ✓, cohérent.
Exercice A — Pour une loi de Bernoulli avec $p=0{,}65$.
1. Calculer le paramètre naturel $\theta=\log\dfrac p{1-p}$.
2. Calculer $\text{Var}(Y)=p(1-p)$.
3. Pour $\theta=-1$, calculer $p$ correspondant, puis $\text{Var}(Y)$.
Exercice B — Question de cours
Expliquer, sans calcul, pourquoi il est utile de disposer d'un cadre mathématique unique (la famille exponentielle) pour traiter des lois aussi différentes que Bernoulli, Poisson et normale.
Un ingénieur de maintenance modélise le nombre de pannes mensuelles d'une machine par une loi de Poisson, avec un taux moyen observé $\lambda=8$.
1. Justifier le choix de la loi de Poisson plutôt qu'une loi normale pour ce phénomène.
2. Calculer le paramètre naturel $\theta=\log\lambda$.
3. Calculer $\mathbb E[Y]=b'(\theta)$ et $\text{Var}(Y)=b''(\theta)$, et vérifier qu'ils coïncident.
4. Sur un autre site, l'ingénieur observe une moyenne de 8 pannes mais une variance empirique de 25. Que peut-il en conclure, et quelle piste explorer pour un modèle alternatif ?