\subsection{Analyse en composantes principales \\ probabiliste}
\label{subsec:Generatif-ACP}

L'\index{analyse en composantes principales probabiliste}analyse en composantes principales (ACP) probabiliste est une ACP basée sur l'hypothèse que, pour chaque individu $i$, on observe un vecteur aléatoire $\MVAR_i$ de dimension $\DMVAR$ qui est une version bruitée d'une variable aléatoire latente $\MVARC_i$ de dimension réduite $\DVARC$, ayant subi au préalable une transformation affine $\AFFL$ : 
$\MVAR_i = \AFFL \MVARC_i + \AFFT + \BA_i$ avec $\MVARC_i \sim \MN(0, \Id_{\DVARC})$, et où
$\BA_i~\sim~\MN(0, \sigma^2 \Id_{\DMVAR})$ est indépendant de $\MVARC_i$ et $\AFFL \in \RR^{\DMVAR \times \DVARC}$.

%Dans le cas où la transformation affine et la variance du bruit sont considérées comme des quantités déterministes, on retombe essentiellement sur les résultats du chapitre~\ref{ch:DataAnalysis}. L'intérêt d'utiliser un modèle probabiliste explicite plutôt qu'une approche géométrique réside en la possibilité de faire de la validation ou de la sélection de modèles (pour déterminer notamment la dimension $\DVARC$), de pouvoir étendre le modèle à des données $\VAR$ partiellement observées, ou à des mélanges d'ACP probabilistes, et éventuellement à d'autres hypothèses que celle gaussienne.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% \it{Notations and terminology}
%	\begin{center}
%		%\includegraphics[height=4.5cm]{fig/IV-Pca/notations.pdf}
%	\end{center}
%	\begin{itemize}
%		\item Matrix of centred data: $\BSY$ (each column of $\BSX$ minus average of that column over all
%		individuals).
%		\item Sample covariance matrix: $S$
%		\item Sample variance for $\myth{k}$ variable: $s_k^2$.
%	\end{itemize}
%
%

% \AFAIRE{Discuter des notations : $\param$ vs. $\lambda$.}\\

On observe $n$ réalisations de $\MVAR_i \in \RR^{\DMVAR}$, indépendantes sachant les paramètres  $\lambda=(\AFFL, \AFFT, \sigma^2)$, tandis que les $\MVARC_i \in \RR^{\DVARC}$ ne sont pas observés. La variable $\BA_i$ étant un bruit, $\MVARC_i$ représente le signal d'intérêt (de faible dimension) qui contient toute l'information utile; c'est pourquoi l'objectif de l'étude est l'inférence de $\MVARC_i$ (réduction de dimension).

La loi marginale de $\MVAR_i$ est $\MN(\AFFT, \AFFL{}^t\AFFL + \sigma^2 \Id_{\DMVAR})$. Or, pour toute matrice orthogonale ${\mathbf{R}} \in \RR^{\DVARC \times \DVARC}$, le modèle $\MVAR_i = \AFFL {\mathbf{R}} \MVARC_i + \AFFT + \BA_i$ est équivalent au précédent au sens où les deux conduisent à la même loi des observations $\MVAR_i \sim \MN(\AFFT, \AFFL{}^t\AFFL + \sigma^2 \Id_{\DMVAR})$.
En conclusion, en n'observant que les $\MVAR_i$, on ne peut espérer estimer $\AFFL$ qu'à une transformation orthogonale ${\mathbf{R}}$ près.

En notant $\ts{\RMVARC}{1}{n}=(\RMVARC_1,\ldots,\RMVARC_n)$ et $\ts{\RMVAR}{1}{n}=(\RMVAR_1,\ldots,\RMVAR_n)$, l'inférence se fonde sur le calcul de la loi $p(\ts{\RMVARC}{1}{n}|\ts{\RMVAR}{1}{n})$. Même en considérant des lois a priori de type N-I$\chi^2$ (exercice~7.8), qui sont conjuguées dans le cas d'un échantillon i.i.d. gaussien,
les lois prédictives ou a posteriori n'ont pas d'expression explicite dans le cas du modèle d'ACP.
On a donc recours à un échantillonneur de Gibbs, qui met en jeu les paramètres inconnus
$\sigma^2$, $\AFFT$ et $\AFFL$ et les variables latentes.

Cet algorithme part d'une valeur initiale $\lambda_1$ des paramètres, puis est basé sur l'itération suivante à chaque étape $e \leq E$. À l'itération $e$, on note $\lambda_e = (\sigma^2_e, \AFFT_e, \AFFL_e)$ 
les paramètres simulés.  
% $\lambda_{m,-k}=(\param_{1,m},\ldots,\param_{k-1,m},\param_{k+1,m-1},\ldots,\param_{\NVARC,m-1})$ avec des notations analogues $\VARC_{i,m}$, $\MVARC_m$ et $\MVARC_{m,-i}$ pour les clusters simulés.
\begin{enumerate}
	\item Simuler $p(\ts{\MVARC}{1}{n} | \lambda_e, \ts{\MVAR}{1}{n})$
	\item Simuler $\sigma^2_{e+1} \sim p(\sigma^2|\AFFT_e, \AFFL_e, \ts{\MVARC}{1}{n}, \ts{\MVAR}{1}{n})$
	\item Simuler $\AFFT_{e+1} \sim p(\AFFT|\sigma^2_{e+1}, \AFFL_e, \ts{\MVARC}{1}{n}, \ts{\MVAR}{1}{n})$
	\item Simuler $p(\AFFL |\AFFT_{e+1}, \sigma^2_{e+1}, \ts{\MVAR}{1}{n})$
\end{enumerate}

Chaque étape met en jeu des lois explicites si on choisit les lois a priori suivantes : 
$(\mu, \sigma^2)\sim$  N-I$\chi^2(\mu_0,\rho_0^2,\nu_0,\sigma_0^2)$ et $\AFFL$ avec des coefficients i.i.d.~$\MN(0,1)$. 

Les étapes 1 et 4 sont simplifiées grâce à la proposition \ref{prop:Generatif:acp} (à montrer dans l'exercice~7.10) : \\
\begin{prop}
	\label{prop:Generatif:acp}
	On note ${\tilde{\AFFL}}_1,\ldots,{\tilde{\AFFL}}_{\DMVAR}$ les vecteurs colonnes dont les transposés sont les lignes de $\AFFL$, ${\MATVARC}$ la matrice dont les colonnes sont les $(\MVARC_i)_{1\leq i \leq n}$, ${\MATVAR}$ la matrice dont les colonnes sont les $(\MVAR_i)_{1\leq i \leq n}$ et $\tilde{\MVAR}_1, \ldots, \tilde{\MVAR}_n$ les vecteurs colonnes dont les transposés sont les lignes de ${\MATVAR}$ ($\tilde{\MVAR}_j$ représente les valeurs de la $\eme{j}$ variable pour les $n$ individus). Sous les hypothèses précédentes, 
	\begin{itemize}
		\item sachant $\AFFT, \sigma^2, \AFFL$ et $\ts{\MVAR}{1}{n},$ les $\MVARC_1,\ldots,\MVARC_n$
		sont indépendants et $\MVARC_i \sim \MN(\tau_i, {\mathbf{\Sigma}})$ 
		avec $\tau_i = \transp{\AFFL} {\mathbf{S}}^{-1} (\MVAR_i-\AFFT)$, ${\mathbf{\Sigma}} = \Id_{\DVARC} - \transp{\AFFL} {\mathbf{S}}^{-1} \AFFL$ et ${\mathbf{S}} = \AFFL \transp{\AFFL} + \sigma^2 \Id_{\DMVAR}$;
		\item sachant $\AFFT, \sigma^2, \ts{\MVARC}{1}{n}$ et $\ts{\MVAR}{1}{n},$ les ${\tilde{\AFFL}}_1,\ldots,{\tilde{\AFFL}}_{\DMVAR}$ sont indépendants et {\mbox{${\tilde{\AFFL}}_j\sim\MN(\rho_j, {\mathbf{\Xi}})$}} 
		avec ${\mathbf{Q}} = \MATVARC \transp\MATVARC + \sigma^2 \Id_{n},$ $\rho_j = \transp{\MATVARC} {\mathbf{Q}}^{-1} ({\tilde{\MVAR}}_j-\mu_j \Un_{n})$ et ${\mathbf{\Xi}} = \Id_{\DVARC} - \transp{\MATVARC} {\mathbf{Q}}^{-1} \MATVARC$.
	\end{itemize}
\end{prop}

Les étapes 2 et 3 sont obtenues remplaçant $\MVAR_i$ par $\BSY_i$ dans le résultat de l'exercice~7.8, avec $\BSY_i = \MVAR_i- \AFFL \MVARC_i$ pour $i=1,\ldots,n$.

% \AFAIRE{En fait on a un problème analogue au label switching des modèles de mélange mais dans la version continue du problème. Les $\AFFL_e$ peuvent avoir subi une rotation ${\mathbf{R}}_e$ à l'itération $e$. Il faudrait l'identifier (matching de rotation dans le contexte de données bruitées). À détailler ou pas ? Pistes : maximum de vraisemblance pour ${\mathbf{R}}_e$ ? ($\AFFL_{e+1} = {\mathbf{R}}_e \AFFL_{e} + {\tilde{\varepsilon}}_e$)}

% \AFAIRE{Mentionner la sélection de modèle également, pour le choix de $\DVARC$.}