\section{Exercices}
\label{sec:Generatif-exercices}
\begin{itemize}[itemindent=20mm]
\Quest{7.1}
Supposons que la vraisemblance $p(x|\param)$ est la densit\'e de la loi gaussienne $\mathcal{N}(\param,\sigma^2)$. Quelle est la loi a posteriori de $\mathcal{N}(\mu,\tau^2)$ par rapport \`a cette vraisemblance ? Montrer que la famille des lois gaussiennes est une famille conjugu\'ee par rapport \`a la vraisemblance $p(x|\param)$.
\end{itemize}

\begin{itemize}[itemindent=20mm]
\Quest{7.2}
Supposons que la vraisemblance $p(x|\param)$ est celle d'une loi binomiale $\mathcal{B}(n,\param)$. Quelle est la loi a posteriori de $\mathcal{Be}(\alpha,\beta)$ par rapport \`a cette vraisemblance ? Montrer que la famille des lois $\mathcal{Be}$ est conjugu\'ee par rapport \`a la vraisemblance $p(x|\param)$.
\end{itemize}

\begin{itemize}[itemindent=20mm]
\Quest{7.3}
Supposons que la vraisemblance $p(x|\param)$ est la densité de la loi de Poisson~$\mathcal{P}(\param)$. Quelle est la loi a posteriori de $\mathcal{G}(\alpha,\beta)$ par rapport \`a cette vraisemblance ? Montrer que la famille des lois Gamma est conjugu\'ee par rapport \`a la vraisemblance $p(x|\param)$.
\end{itemize}

\begin{itemize}[itemindent=20mm]
\Quest{7.4}
Montrer que la loi gaussienne $\mathcal{N}(\param,\sigma^2)$ appartient \`a la famille exponentielle.
\end{itemize}

\begin{itemize}[itemindent=20mm]
\Quest{7.5}
Montrer que la loi exponentielle appartient \`a la famille exponentielle.
\vspace{-0.3cm}
\end{itemize}

\begin{itemize}[itemindent=20mm]
\Quest{7.6}
Montrer que la loi binomiale $\mathcal{B}(n,\param)$ appartient \`a la famille~expo\-nen\-tielle.
\vspace{-0.3cm}
\end{itemize}

\begin{itemize}[itemindent=20mm]
\Quest{7.7}
Expliquer comment on peut simuler une variable al\'eatoire de loi exponentielle de param\`etre $\lambda$ \`a partir d'un g\'en\'erateur de nombres pseudo-al\'eatoires.
\vspace{-0.2cm}
\end{itemize}

\begin{itemize}[itemindent=20mm]
\Quest{7.8}
%\subsection*{\theexogen\label{ex:Generatif-gauss}.  Analyse bayésienne d'un échantillon gaussien}
%\label{ex:Generatif-gaussien}
Soit $\ts{\MVAR}{1}{n}$ un échantillon i.i.d. gaussien de taille $n$, chaque $\MVAR_i$ étant de loi $\MN(\mu, \sigma^2 \Id_{\DMVAR})$ sachant $(\mu, \sigma^2)$. On considère la loi a priori suivante, $(\mu_0,\rho_0^2,\nu_0,\sigma_0^2)$ étant des hyperparamètres :
$$
p(\mu, \sigma^2) \propto \sigma^{-\nu_0-3} 
\exp\left(-\frac{1}{2\sigma^2}\left[\nu_0 \sigma_0^2 + \frac{1}{\rho_0^2} \|\mu - \mu_0\|^2\right]\right)
$$
Ceci s'interprète comme $\frac{\nu_0 \sigma_0^2}{\sigma^2} \sim \chi^2_{\nu_0}$ et $\mu \sim \MN(\mu_0, (\sigma \rho_0)^2 \Id_{\DMVAR})$ sachant $\sigma^2$ -- on dit que $(\mu, \sigma^2)\sim$  N-I$\chi^2(\mu_0,\rho_0^2,\nu_0,\sigma_0^2)$.
La vraisemblance est alors :
$$
p(\ts{\RMVAR}{1}{n}|m, \sigma^2) = \prod\limits_{i=1}^n \frac{1}{(\sqrt{2\pi \sigma^2})^D} \exp\left(-\frac{1}{2\sigma^2}\|\RMVAR_i-\mu\|^2\right)
$$ 
\begin{itemize}
\item[a)] Montrer que la loi a posteriori des paramètres est N-I$\chi^2(\mu_n,\rho_n^2,\nu_n,\sigma_n^2)$ avec
${\dps{\rho_n^2 = \frac{1}{n + \frac{1}{\rho_0^2}}, \mu_n = \rho_n^2 \left(\frac{\mu_0}{\rho_0^2}+n \me{x}{n}\right), \nu_n = Dn+\nu_0}}$ et 
${\dps{\sigma_n^2=\frac{1}{\nu_n}\left(n \ve{n} + \nu_0 \sigma_0^2 + \frac{n}{1+n\rho_0^2} \|\mu_0-\me{x}{n}\|^2\right)}}$

\item[b)] Déterminer la loi prédictive (par simulation) et la loi a posteriori des paramètres (par un calcul exact) :
\begin{enumerate}
	\item pour un jeu de données simulé : échantillons de taille 10 et 1 000 000 de loi normale d'espérance 8, d'écart-type 2;
	\item dans le cas du jeu de données SBF250 : rentabilités journalières du CAC40 (ignorer les valeurs manquantes).
\end{enumerate} 
\item[c)] Que concluez-vous dans chaque cas ? 
\end{itemize}

%\refstepcounter{exogen}
%\subsection*{\theexogen\label{ex:Generatif-ACP}.  Échantillonneur de Gibbs pour les mélanges indépendants}
\Quest{7.9} Dans cet exercice nous allons nous intéresser à l'échantillonneur de Gibbs pour les mélanges indépendants.

\begin{itemize}
\item[a)] Programmer de manière générique la fonction $x,~\theta_1,~\ldots,~\theta_K~\to \left(p(z~=~k~|~x,~\theta_1,~\ldots,~\theta_K)\right)_{1 \leq k \leq K}$.

\item[b)] Programmer de manière générique l'échantillonneur de Gibbs présenté à la section~\ref{subsec:Generatif-melanges}. L'implémenter sous forme de fonction prenant en paramètre 
le nombre d'itérations $M$, les données $\ts{x}{1}{n}$, les paramètres initiaux~$\lambda_1$, 
la fonction $x, \theta_k \to p(x|\theta_k)$, la fonction simulant un échantillon 
i.i.d. de taille donnée suivant $p(x|\theta_k)$, la fonction simulant la loi a posteriori $p(\theta_k|\ts{x}{1}{n}, \ts{z}{1}{n}=k)$ et les hyperparamètres.

\item[c)] Appliquer ces fonctions pour l'analyse bayésienne :
\begin{enumerate}
	\item D'un jeu de données simulé : échantillon de taille 500 en proportions 2/5 et 3/5 des lois 
	$\MN(7; 4)$ et $\MN(-10; 9)$, respectivement.
	\item Du jeu de données de Pearson et Lee : stature des parents. Que dire de l'adéquation
	d'un mélange gaussien à deux composantes à ce jeu de données ? Proposer une interprétation possible
	des deux états.
	\item Du jeu de données SBF250 : rentabilités journalières du CAC40 (ignorer les valeurs manquantes 
	et considérer un mélange des lois $\MN(0; \sigma_1^2)$ et $\MN(0; \sigma_2^2)$). Comparer l'adéquation
	de ce modèle au jeu de données par rapport à un simple modèle gaussien (exercice~7.8).
\end{enumerate} 
\end{itemize}

\Quest{7.10} 
Dans cet exercice nous allons nous intéresser à l'échantillonneur de Gibbs pour l'ACP probabiliste.

\begin{itemize}
%\refstepcounter{exogen}
%\subsection*{\theexogen\label{ex:Generatif-ACP}.  Échantillonneur de Gibbs pour l'ACP probabiliste}

\item[a)] Montrer la proposition \ref{prop:Generatif:acp} en \ref{subsec:Generatif-ACP}.

On admettra le résultat suivant (dérivé de résultats classiques sur les vecteurs gaussiens) : 
\begin{propnn}
Soit le modèle 
$X = {\mathbf{D}} \beta + {\mathbf{U}} \gamma + \varepsilon$ où $\varepsilon \sim \MN(0, \sigma^2 \Id_n), \gamma~\sim~\MN(0,\Id_d)$ indépendant de $\varepsilon$, ${\mathbf{U}} \in \RR^{n \times d}$ et ${\mathbf{D}} \in \RR^{n \times c}$ sont deux matrices connues et $\beta \in \RR^{c}$ est un paramètre (souvent considéré comme inconnu, mais cela n'a pas d'importance ici). Alors, en notant ${\mathbf{V}} = {\mathbf{U}} {\transp{{\mathbf{U}}}} + \sigma^2 \Id_n$, on a : $\gamma | X \sim \MN(\tau, \Sigma)$ avec
$\tau = {\transp{{\mathbf{U}}}} {\mathbf{V}}^{-1} (X-{\mathbf{D}} \beta)$ et 
$\Sigma = \Id_d - {\transp{\mathbf{U}}} {\mathbf{V}}^{-1} \mathbf{U}$.
\end{propnn}
C'est ce qu'on appelle le \index{modèle!linéaire mixte gaussien}\<~modèle linéaire mixte gaussien~\>.
\end{itemize}
\end{itemize}