
\section{Introduction à la statistique \\ bayésienne}
\label{sec:Generatif-bayes}
\subsection{Généralités}
\subsubsection{Paradigme bayésien}
\index{statistique bayésienne}
L'approche dite \< fréquentiste \> de la statistique consiste (dans une version élémentaire de ce formalisme) à faire l'hypothèse que les quantités observées $\ts{\RVAR}{1}{n}$ sont des réalisations de variables aléatoires $\ts{\VAR}{1}{n}$ d'une loi $p_{\param}$, où $\param$~est un paramètre déterministe et inconnu que l'on cherche à estimer (par exemple, parce que sa connaissance et son interprétation apportent une meilleure compréhension du phénomène étudié, ou pour prédire un comportement futur des $\VAR_i$). Du fait de la variabilité des $\VAR_i$, leur utilisation pour estimer $\param$ conduit à une estimation ${\hat{\param}}$ (par maximum de vraisemblance, méthode de moments, moindres carrés ou autres) entachée d'incertitude, aléatoire en tant que fonction des $\VAR_i$. En prenant en compte le lien qu'il y a entre $\param$ et la loi de ${\hat{\param}}$, et en moyennant sur toutes les réalisations possibles des $\VAR_i$ à $\param$ fixé, on arrive à définir des propriétés désirables des estimateurs (absence de biais, optimalité, convergence) et à caractériser l'incertitude sur $\param$ (notamment via des intervalles de confiance).

La statistique bayésienne prend le parti de représenter l'incertitude du modélisateur concernant les quantités intervenant dans le modèle en les considérant comme des variables aléatoires -- non seulement pour $\VAR$, mais aussi pour $\param$, dont dépend $\VAR$. 

\subsubsection{Lois a priori et a posteriori}
Ainsi, dans le cadre bayésien, l'incertitude sur $\param$ intrinsèque au phénomène étudié présente préalablement à l'observation de l'événement $\VAR=\RVAR$ est représentée par une loi $p(\param)$, dite \index{loi!a priori}loi \< a priori \>. La loi de $\VAR$ quand $\param$~est connu, définie par $p_{\param}$ en statistique fréquentiste, est traduite par $p(x|\param)$ en statistique bayésienne.
Dès lors, la méthode naturelle pour prendre en compte l'information apportée par l'observation de $\VAR$ sur $\param$ est le conditionnement. Ainsi, l'analyse statistique bayésienne repose sur le calcul de $p(\param|x)$, dite \index{loi!a posteriori}loi \< a posteriori \>, plutôt que sur une procédure d'optimisation visant à estimer $\theta$ par un nombre réel (ou un vecteur).

Le choix de la loi a priori constitue donc une étape nécessaire dans la construction du modèle. Plusieurs motivations sont susceptibles de guider ce choix. Citons notamment l'expérience que le praticien a souvent de ses données, qui lui permet de poser une loi a priori. Une autre approche consiste à poser ce qu'on appelle un a priori non informatif (par exemple, un a priori uniforme), si l'on souhaite tenir compte du fait qu'on n'a pas de connaissance préalable sur le modèle et les lois de ses différents paramètres. Un autre critère de choix important que nous allons détailler maintenant est la calculabilité des lois a posteriori. C'est ce qui amène parfois à considérer des lois a priori dites conjuguées.
% détails dans \cite{robert:2006}

\subsubsection{Lois conjuguées -- Cas particulier de la famille exponentielle}
Comme nous l'avons soulign\'e plus haut, en statistique bayésienne, une \'etape importante est celle du choix des lois a priori. L'estimation de la loi a posteriori, même si celle a priori est connue, n'est en toute g\'en\'eralit\'e pas quelque chose de simple. Il existe pourtant un cas où la situation se simplifie : celui où elles sont dites \index{familles de lois conjuguées}conjuguées, c'est-à-dire que les lois a priori et a posteriori sont de m\^eme nature.
Nous commençons par préciser ce concept, puis nous donnons l'exemple fondamental de la famille exponentielle.
\begin{dfn}
Soit une famille paramétrique de lois $\mathcal{F}$. Elle est dite conjugu\'ee par rapport \`a la vraisemblance $p(x|\param)$ si, lorsque $\pi(\param)$ est une loi de la famille $\mathcal{F}$, la loi a posteriori $p(\param|x)$ appartient encore à la famille~$\mathcal{F}$.  
\end{dfn} 
Dans les exercices 7.1 à 7.3, nous donnons quelques exemples de familles conjugu\'ees.\\

% \AFAIRE{Définir les lois Beta et Gamma (densité)}\\

Tous ces exemples sont des cas particuliers d'une famille plus g\'en\'erale que nous allons pr\'esenter maintenant : la \index{famille exponentielle}famille exponentielle. 
\begin{dfn}
Une loi appartient \`a la famille exponentielle si sa loi de probabilit\'e (discr\`ete ou continue) s'exprime sous la forme :
\[
p(x|\param)=a(\param)b(x)exp(\eta(\param)T(x))
\]
Si $\eta(\param)=\param$, on a $p(x|\param)=b(x)exp(\param T(x)-A(\param))$ et la loi est dite sous forme canonique.
\end{dfn}
Deux exemples fondamentaux sont ceux des lois Beta et Gamma:
\begin{dfn}
La variable al\'eatoire $X$ suit la loi Gamma de param\`etres $k,\lambda>0$ si elle a pour densit\'e
\[
f(x)=\frac{x^{k-1}e^{-x/\lambda}}{\Gamma(k)\lambda^k}
\]
Cette loi appartient bien \`a la famille exponentielle avec 
\[
\param=\begin{pmatrix}k\\ \lambda\end{pmatrix},\,\eta(\param)=\begin{pmatrix}k-1\\ -1/\lambda\end{pmatrix},\,\A(\param)=\ln \Gamma(k)+k\ln(\lambda)
\]
et $b(x)=1,\,T(x)=\begin{pmatrix}\ln(x)\\ x\end{pmatrix}$
\end{dfn}
\begin{dfn}
La variable al\'eatoire $X$ suit la loi Beta de param\`etres $\alpha,\beta>0$ si elle a pour densit\'e
\[
f(x)=\frac{\Gamma(\alpha+\beta)x^{\alpha-1}(1-x)^{\beta-1})1_{[0,1]}(x)}{\Gamma(\alpha)\Gamma(\beta)}
\]
Cette loi appartient bien \`a la famille exponentielle avec 
\[
\eta(\param)=\param=\begin{pmatrix}\alpha\\ \beta\end{pmatrix},\,\A(\param)=\ln \Gamma(\alpha)+\ln \Gamma(\beta)-\ln \Gamma(\alpha+\beta)
\]
et $b(x)=1/[x(1-x)],\,T(x)=\begin{pmatrix}\ln(x)\\ \ln(1-x)\end{pmatrix}$
\end{dfn}
% \AFAIRE{Dire ce que veut dire "précisés"?}\\
Dans les exercices 7.4 à 7.6, nous donnons des exemples de lois classiques appartenant \`a la famille exponentielle. \\

\begin{prop}
Si $p(x|\param)$ est une loi de la famille exponentielle, la famille exponentielle est conjugu\'ee par rapport \`a cette vraisemblance. 
\end{prop}
% \subsubsection{Propriétés asymptotiques des estimateurs bayésiens}

