\section{Correction des exercices}
\label{sec:Generatif-exercices-correction}
\AFAIRE{Supprimer les corrections de la version papier, je les laisse pour Marianne.}

\subsection*{7.1. Lois conjuguées gaussiennes}
La loi a posteriori de $\pi\sim \mathcal{N}(\mu,\tau^2)$ par rapport \`a 
la vraisemblance $p(x|\param)$ a la densit\'e suivante :
\[
p(\param|x)=\frac{p(x|\param)\pi(\param)}{\int p(x|\param)\pi(\param)d\param}
\]
On reconnaît la densit\'e de $\mathcal{N}\left(\frac{\sigma^2\mu+\tau^2 x}{\sigma^2+\tau^2},\frac{\sigma^2\tau^2}{\sigma^2+\tau^2}\right)$. 

La loi a posteriori d'une loi gaussienne par rapport \`a la vraisemblance $p(x|\param)$ reste une loi gaussienne. Cette famille est donc conjugu\'ee par rapport \`a la vraisemblance $p(x|\param)$.


\subsection*{7.2. Lois conjuguées Beta}
La loi a posteriori de $\pi\sim \mathcal{Be}(\alpha,\beta)$ par rapport \`a la vraisemblance $p(x|\param)$ a la densit\'e suivante :
\[
p(\param|x)=\frac{p(x|\param)\pi(\param)}{\int p(x|\param)\pi(\param)d\param}
\]
On reconnaît la densit\'e de $\mathcal{Be}(\alpha+x,\beta+n-x)$. La loi a posteriori d'une loi Beta par rapport \`a la vraisemblance $p(x|\param)$ reste une loi Beta. Cette famille est donc conjugu\'ee par rapport \`a la vraisemblance $p(x|\param)$.

\subsection*{7.3. Lois conjuguées Gamma}
La loi a posteriori de $\pi\sim \mathcal{G}(\alpha,\beta)$ par rapport \`a la vraisemblance $p(x|\param)$ a la densit\'e suivante :
\[
p(\param|x)=\frac{p(x|\param)\pi(\param)}{\int p(x|\param)\pi(\param)d\param}
\]
On reconnaît la densit\'e de $\mathcal{G}(\alpha+x,\beta+1)$. La loi a posteriori d'une loi Gamma par rapport \`a la vraisemblance $p(x|\param)$ reste une loi Gamma. Cette famille est donc conjugu\'ee par rapport \`a la vraisemblance $p(x|\param)$.

\subsection*{7.4. Famille exponentielle et lois normales}
Étant donné que
\[
f_{\sigma^2}(x|\param)=b_\sigma(x)\exp(T_\sigma(x)\eta_\sigma(\param)-A_\sigma(\param))
\]
avec $b_\sigma(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-x^2/(2\sigma^2)}$, $T_\sigma(x)=x/\sigma$, $\eta_\sigma(\param)=\mu/\sigma$, et $A_\sigma(\param)=\mu^2/(2\sigma^2)$, les lois normales
appartiennent à la famille exponentielle.

\subsection*{7.5. Famille exponentielle et lois exponentielles}
Étant donné que
\[
f(x|\param)=b(x)\exp(T(x)\eta(\param)-A(\param))
\]
avec $b(x)=1$, $T(x)=x$, $\eta(\param)=-\param$ et $A(\param)=-ln(\param)$, les lois exponentielles
appartiennent à la famille exponentielle.

\subsection*{7.6. Famille exponentielle et lois binomiales}
Étant donné que
\[
f(x|\param)=b(x)\exp(T(x)\eta(\param)-A(\param))
\]
avec $b(x)=\begin{pmatrix}n\\ x\end{pmatrix}$, $T(x)=x$, $\eta(\param)=ln\left(\frac{\param}{1-\param}\right)$ et $A(\param)=-n ln(1-\param)$, les lois 
binomiales appartiennent à la famille exponentielle.

\subsection*{7.7. Simulation d'une variable aléatoire de loi exponentielle}
Si $X$ suit une loi exponentielle de param\`etre $\lambda$, sa fonction de répartition est $F(x)=1-e^{-\lambda x}$, soit $F^{-}(u)=-\frac{1}{\lambda}\ln(1-u)$. D'apr\`es la proposition pr\'ec\'edente, si $U\sim \mathcal{U}[0,1]$, alors $X=-\frac{1}{\lambda}\ln(1-U)$ suit une loi exponentielle de param\`etre $\lambda$. 
	
\subsection*{7.8. Analyse bayésienne d'un échantillon gaussien}

Soit $\ts{\MVAR}{1}{n}$ un échantillon i.i.d. gaussien de taille $n$, chaque $\MVAR_i$ étant de loi $\MN(\mu, \sigma^2 \Id_{\DMVAR})$ sachant $(\mu, \sigma^2)$. On suppose que $(\mu, \sigma^2)\sim$  N-I$\chi^2(\mu_0,\rho_0^2,\nu_0,\sigma_0^2)$.

La vraisemblance s'écrit
\begin{align*}
& p(\ts{\RMVAR}{1}{n}|m, \sigma^2) = \prod\limits_{i=1}^n \frac{1}{(\sqrt{2\pi \sigma^2})^\DMVAR} \exp\left(-\frac{1}{2\sigma^2}\|\RMVAR_i-\mu\|^2\right) \\
& = \frac{1}{(\sqrt{2\pi \sigma^2})^{n\DMVAR}} \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\|\RMVAR_i-\mu\|^2\right)
\end{align*}
avec
\begin{align*}
& \sum_{i=1}^{n}\|\RMVAR_i-\mu\|^2 
= \sum_{i=1}^{n} \|\RMVAR_i-\me{x}{n} + \me{x}{n}- \mu\|^2 \\
& = \sum_{i=1}^{n}  \left(\|\RMVAR_i-\me{x}{n}\|^2 + \|\me{x}{n}- \mu\|^2 
- 2 \langle \RMVAR_i-\me{x}{n}; \me{x}{n}- \mu\rangle\right).
\end{align*}
Étant donné que ${\dps{\sum_{i=1}^{n} \RMVAR_i-\me{x}{n} = 0,\,
\langle \sum_{i=1}^{n} \RMVAR_i-\me{x}{n}; \me{x}{n}- \mu\rangle = 0}}$ et
$$
p(\ts{\RMVAR}{1}{n}|m, \sigma^2) = \frac{1}{(\sqrt{2\pi \sigma^2})^{n\DMVAR}} 
\exp\left(-\frac{1}{2\sigma^2} \left[ n \ve{n} + n\|\me{x}{n}- \mu\|^2 \right] \right)
$$ 
où ${\dps{\ve{n} = \frac{1}{n} \sum_{i=1}^{n} \|\RMVAR_i-\me{x}{n}\|^2 }}$. 
Donc (en ignorant les termes multiplicatifs qui ne dépendent ni de $\mu$, ni de $\sigma$)
\begin{align*}
& p(m, \sigma^2 |\ts{\RMVAR}{1}{n}) \propto p(m, \sigma^2, \ts{\RMVAR}{1}{n}) \\
& \propto \frac{1}{\sigma^{\nu_0+3}\sigma^{\DMVAR n}}
\exp\left(-\frac{1}{2\sigma^2}\left[ n \ve{n} + n\|\me{x}{n}- \mu\|^2 +\nu_0 \sigma_0^2 + \frac{1}{\rho_0^2}\|\mu- \mu_0\|^2\right] \right)
\end{align*}
Or d'une part, 
\begin{align*}
& n\|\me{x}{n}- \mu\|^2  + \frac{1}{\rho_0^2}\|\mu- \mu_0\|^2
= \frac{1}{\rho_n^2} \left\|\mu- \rho_n^2\left(\frac{\mu_0}{\rho_0^2}+n\me{x}{n}\right)\right\|^2 
- \rho_n^2\left\|\frac{\mu_0}{\rho_0} +n\me{x}{n}\right\|^2 \\
& = \frac{1}{\rho_n^2} \left\|\mu- \mu_n\right\|^2 
- \left\|\rho_n \mu_n\right\|^2
\end{align*}
en posant ${\dps{\rho_n^2 = \frac{1}{n + \frac{1}{\rho_0^2}} {\mbox{ et }} \mu_n = \rho_n^2 \left(\frac{\mu_0}{\rho_0^2}+n \me{x}{n}\right)}}$. D'autre part, 
$$
 - \left\|\rho_n \mu_n\right\|^2 + \frac{1}{\rho_0^2}\|\mu_0\|^2 + \|n\me{x}{n}\|^2 
 = \frac{n}{1+n\rho_0^2} \|\mu_0-\me{x}{n}\|^2.
$$
D'où 
\begin{align*}
& p(m, \sigma^2 |\ts{\RMVAR}{1}{n}) 
\propto \frac{1}{\sigma^{\nu_0+3}\sigma^{Dn}}
\exp\left(-\frac{1}{2\sigma^2}\left[ 
n \ve{n} +\nu_0 \sigma_0^2 +
\frac{n}{1+n\rho_0^2} \|\mu_0-\me{x}{n}\|^2
+ \frac{1}{\rho_n^2} \|\mu- \mu_n\|^2 
\right] \right) \\
& \propto \frac{1}{\sigma^{\nu_n}}
\exp\left(-\frac{1}{2\sigma^2}\left[ 
\nu_n \sigma_n^2 + \frac{1}{\rho_n^2}  \|\mu- \mu_n\|^2\right] \right)
\end{align*}
avec
$\nu_n = \DMVAR n+\nu_0$ et ${\dps{\sigma_n^2=\frac{1}{\nu_n}\left(n \ve{n} + \nu_0 \sigma_0^2 + \frac{n}{1+n\rho_0^2} \|\mu_0-\me{x}{n}\|^2\right)}}$.
Donc $(\mu, \sigma^2) |\ts{\RMVAR}{1}{n} \sim
{\mbox{N-I}}\chi^2(\mu_n,\rho_n^2,\nu_n,\sigma_n^2)$ 

\subsection*{7.9. Échantillonneur de Gibbs pour l'ACP probabiliste}

On admet le résultat suivant : soit le modèle 
$X = {\mathbf{D}} \beta + {\mathbf{U}} \gamma + \varepsilon$ où {\mbox{$\varepsilon \sim \MN(0, \sigma^2 \Id_n)$}}, $\gamma \sim \MN(0,\Id_d)$ indépendant de $\varepsilon$, ${\mathbf{U}} \in \RR^{n \times d}$ et ${\mathbf{D}} \in \RR^{n \times c}$, et $\beta \in \RR^{c}$. Alors, en notant ${\mathbf{V}} = {\mathbf{U}} {\transp{{\mathbf{U}}}} + \sigma^2 \Id_n$, on a : $\gamma | X \sim \MN(\tau, \Sigma)$ avec
$\tau = {\transp{{\mathbf{U}}}} {\mathbf{V}}^{-1} (X-{\mathbf{D}} \beta)$ et 
$\Sigma = \Id_d - {\transp{\mathbf{U}}} {\mathbf{V}}^{-1} \mathbf{U}$.

En reprenant les notations de la proposition \ref{prop:Generatif:acp} en \ref{subsec:Generatif-ACP} : pour obtenir la loi $\ts{\MVARC}{1}{n} | \AFFT, \sigma^2, \AFFL, \ts{\MVAR}{1}{n}$, on considère $X = {\transp{(X_{1,1}, \ldots, X_{1,\DMVAR}, \ldots, X_{2,1}, \ldots, X_{n,\DMVAR})}}$, {\mbox{$\varepsilon = {\transp{( \varepsilon_{1,1}, \ldots,  \varepsilon_{1,\DMVAR}, \ldots,  \varepsilon_{2,1}, \ldots, \varepsilon_{n,\DMVAR})}}$,}} $\gamma = {\transp{(Z_{1,1}, \ldots, Z_{1,M}, \ldots, Z_{2,1}, \ldots, Z_{n,M})}}$, {\mbox{$\beta = \mu$}},
\[
{\mathbf{A}} = 
\left(
\begin{array}{cccc}
1& 0 & \ldots & 0 \\
0 & 1& \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots \\
0 & 0& \ldots & 1
\end{array}
\right),
{\mathbf{D}} = 
\left(
\begin{array}{c}
A \\
A \\
\vdots \\
A
\end{array}
\right) {\mbox{ et }}
{\mathbf{U}} = 
\left(
\begin{array}{cccc}
\AFFL& 0 & \ldots & 0 \\
0 & \AFFL& \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots \\
0 & 0& \ldots & \AFFL
\end{array}
\right).
\]
En posant ${\mathbf{\tilde{V}}} = \AFFL \transp{\AFFL}+ \sigma^2 \Id_n$, on obtient ${\mathbf{V}} = {\mbox{diag}}({\mathbf{\tilde{V}}})$ (matrice $n\DMVAR \times n\DMVAR$ diagonale par blocs, de blocs diagonaux ${\mathbf{\tilde{V}}}$ avec des blocs diagonaux de taille $\DMVAR\times \DMVAR$). Donc ${\mathbf{V}}^{-1} = {\mbox{diag}}({\mathbf{\tilde{V}}}^{-1})$, $\Sigma = \Id_{\DVARC\DMVAR} - {\mbox{diag}}(\transp{\AFFL}{\mathbf{\tilde{V}}}^{-1}\AFFL)$, qui est elle-même diagonale. On en déduit que, sachant $\AFFT, \sigma^2, \AFFL$ et $\ts{\MVAR}{1}{n},$ les $\MVARC_1,\ldots,\MVARC_n$
sont indépendants, de matrice de variance-covariance $\Id_{\DVARC} - \transp{\AFFL}{\mathbf{\tilde{V}}}^{-1}\AFFL$. Un calcul analogue à celui ci-dessus nous donne, pour $i=1,\ldots,n$, l'espérance conditionnelle de $\MVARC_i :  \transp{\AFFL}{\mathbf{\tilde{V}}}^{-1}(\MVAR_i-\mu)$.


Pour obtenir la loi $\AFFL | \AFFT, \sigma^2, \ts{\MVARC}{1}{n}, \ts{\MVAR}{1}{n}$, on considère à présent $\gamma = {\transp{(W_{1,1}, \ldots, W_{1,M}, \ldots, W_{2,1}, \ldots, W_{\DMVAR,M})}}$ et 
\[
{\mathbf{U}} = 
\left(
\begin{array}{cccc}
\transp{\MVARC}_1 & 0 & \ldots & 0 \\
0 & \transp{\MVARC}_1 & \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots \\
0 & 0& \ldots & \transp{\MVARC}_1 \\
\transp{\MVARC}_2 & 0 & \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots \\
0 & 0& \ldots & \transp{\MVARC}_2 \\
\vdots & \vdots & \vdots & \vdots \\
0 & 0& \ldots & \transp{\MVARC}_n
\end{array}
\right).
\]
Par un calcul analogue au cas précédent, on trouve 
\[
\transp{\mathbf{U}} (\mathbf{U} \transp{\mathbf{U}}+ \sigma^2 \Id_{n\DMVAR})^{-1}\mathbf{U}={\mbox{diag}}(\transp{\mathbf{Z}} (\mathbf{Z} \transp{\mathbf{Z}}+ \sigma^2 \Id_{n})^{-1}\mathbf{Z}).
\] 
Cette fois-ci, sachant $\AFFT, \sigma^2, \ts{\MVARC}{1}{n}$ et $\ts{\MVAR}{1}{n},$ ce sont les lignes de ${\mathbf{\AFFL}}$ $ ({\transp{\tilde{\AFFL}}}_1,\ldots,{\transp{\tilde{\AFFL}}}_{\DMVAR})$ qui sont indépendantes, de matrice de variance-covariance $\Id_{\DVARC} - \transp{\mathbf{Z}} (\mathbf{Z} \transp{\mathbf{Z}}+ \sigma^2 \Id_{n})^{-1}\mathbf{Z}$. On trouve également, pour $j=1,\ldots,n$, l'espérance conditionnelle de ${\tilde{\AFFL}}_j : \transp{\mathbf{Z}} (\mathbf{Z} \transp{\mathbf{Z}}+ \sigma^2 \Id_{n})^{-1}({\tilde{\MVAR}}_j-\mu_j \Un_n)$.

% Exemple de BMAT
%\[
%\Sigma=
%\left(
%\begin{BMAT}(rc){cc}{cc}
%\begin{BMAT}(rc){cc}{cc}
%1\quad & 0 \\
%0\quad & 1
%\end{BMAT} & 
%\begin{BMAT}(rc){cccc}{cccc}
%0.1 & 0.1 & 0.1 & 0.1 \\
%0.1 & 0.1 & 0.1 & 0.1
%\end{BMAT} \\
%\begin{BMAT}(rc){cc}{cccc}
%0.1 & 0.1 \\
%0.1 & 0.1 \\
%0.1 & 0.1 \\
%0.1 & 0.1
%\end{BMAT}
%& A
%\end{BMAT}
%\right)
%\]
