\section{Motivations}
\label{sec:Generatif-motivations}
% Note éditeur, commune 
Les chapitres \ref{ch:decomposition}, \ref{ch:discriminant} et \ref{ch:deep} de cet ouvrage illustrent comment, à l'aide d'approches combinant optimisation et fonctions de décision ou approches géométriques, il est possible de réaliser des prédictions dans des contextes d'apprentissage supervisé, notamment par réseaux de neurones ou fonctions discriminantes linéaires, quadratiques, etc.  En utilisant des fonctions de distance entre objets et des règles d'affectation d'observations prises individuellement à des groupes, il est aussi possible d'effectuer du {\textit{clustering}} (classification non supervisée). Ces méthodes sont basées sur des représentations d'objets ramenées à des descripteurs $\VAR$; elles peuvent ou non reposer
sur des modèles probabilistes mais, dans les approches citées, ces modèles opèrent conditionnellement à $\VAR=\RVAR$. Autrement dit, pour prédire une quantité d'intérêt $\VARC$ (par exemple, une classe, ou une variable quantitative dépendant de $\VAR$), elles ne nécessitent pas de modéliser l'incertitude ou le comportement stochastique de $\VAR$.

Les modèles génératifs abordés dans ce chapitre, au contraire, non seulement incorporent
une loi de probabilité conditionnelle reliant $\VAR$ et $\VARC$ (en général, $p(\RVARC|\RVAR))$, mais permettent en définitive d'obtenir une loi jointe $p(\RVAR,\RVARC)$, qui prétend inclure (de manière éventuellement simplifiée) tous les aspects aléatoires du comportement simultané de $\VAR$ et $\VARC$. De ce fait, il devient possible, une fois $p$ identifiée à partir d'échantillons de valeurs de $\VAR$ et $\VARC$, de simuler ces variables aléatoires, d'où le nom de \< modèles génératifs \>. Cependant, un modèle plus complet doit reposer sur des hypothèses plus nombreuses et donc en un sens plus restrictives. Dès lors, quel gain y a-t-il à en espérer et dans quelles situations ?

Nous présentons ici des approches pour traiter des problèmes d'analyse de données, notamment d'inférence et de prédiction, qui nécessitent d'incorporer au niveau de $p$ des quantités d'intérêt dont l'estimation apporte une réponse, éventuellement indirecte, au problème posé sur les données. Pour ceci, les modèles font souvent appel à des variables aléatoires latentes dépendantes des variables observées et de paramètres, ces trois types de composants s'organisant de manière hiérarchique.

L'approche développée dans ce chapitre est fondée sur une démarche statistique
bayésienne, c'est-à-dire prenant le parti de représenter l'incertitude du modélisateur
concernant toutes les quantités intervenant dans le modèle en les considérant comme des variables aléatoires. C'est le cas en particulier pour les paramètres $\param$, dont dépendent $\VAR$ et $\VARC$. La caractérisation de $\param$ repose sur le calcul de sa loi sachant les quantités observées $p(\param|\RVAR)$ ou $p(\param|\RVAR,\RVARC)$, dite loi a posteriori, plutôt que sur une procédure d'optimisation (maximum de vraisemblance, moindres carrés, ou autre).

L'intérêt des modèles génératifs pour la classification semi-supervisée est notamment illustré dans le cadre des bases d'images. % \cite{bishop:2007}
Partant du principe qu'il est coûteux d'étiqueter de grandes quantités de données (par exemple de décrire le contenu de millions d'images), il est avantageux de modéliser les images non étiquetées par une approche générative (loi $p(\RVAR|{\tilde{\param}})$) et les images étiquetées par une approche discriminative (loi $p(\RVARC|\RVAR,{\param})$). L'apprentissage de la dépendance a posteriori entre ${\tilde{\param}}$ et ${\param}$ à partir d'un grand nombre de données non étiquetées $\VAR$ et un petit nombre de données étiquetées $(\RVARC,\RVAR)$ permet ainsi de prédire avec une précision accrue la classe $\VARC$ de futures observations $\VAR$, par rapport à deux modèles séparés -- l'un purement génératif, l'autre purement discriminatif. 

Nous développons ci-après deux types de problème d'apprentissage non supervisé basés sur des approches génératives : les modèles graphiques et ceux à variables latentes. 

\subsection{Modèles graphiques}
Les \index{modèle!graphique}\index{modèle!probabiliste graphique}modèles probabilistes graphiques reposent sur une représentation des relations de dépendance et d'indépendance conditionnelle entre variables aléatoires à l'aide de graphes. Ces derniers fournissent une représentation des interactions entre variables plus compacte et plus facilement interprétable que des équations. 
% Bien que l'on trouve des cas d'utilisation de ce principe dès le début du $\eme{20}$ siècle, la vision unifiée actuelle des différents modèles développés depuis est due en grande partie aux travaux de Pearl dans les années 1980, et de \cite{lauritzen:1996}. Ils ont été depuis utilisés avec succès pour un nombre important d'applications dans des domaines et avec des types de données variés, notamment en traitement d'image, traitement de la parole et du signal en général. 
L'identification des relations de dépendance entre variables aléatoires permise par les modèles graphiques a souvent un intérêt en soi, pour l'interprétation du procédé de génération des données, éventuellement même en termes de relations de causalité. La connaissance de ces dépendances permet la prédiction de certaines variables en fonction d'autres. 
% \citep{pearl:1995}. 
L'approche graphique facilite également la définition de modèles complexes, comportant divers niveaux de hiérarchie ou de structure entre des variables, dont certaines peuvent être latentes; c'est pourquoi ce chapitre aborde une telle approche en premier.$\param$ 
Enfin, la représentation de graphes en tant que structures de données dans un logiciel est aisée et permet d'automatiser et d'optimiser certaines procédures d'intérêt -- comme le calcul de probabilités conditionnelles, l'identification de la valeur la plus probable de certaines variables sachant d'autres, ou l'estimation de paramètres.

\subsection{Modèles à variables latentes}
Introduire des variables latentes (c'est-à-dire non observées) dans un modèle permet en général de représenter des relations de dépendance complexes entre variables aléatoires observées, qui ne peuvent être obtenues via des dépendances directes uniquement, ou de représenter des caractéristiques dans les données qui sont cachées mais ont un intérêt pour le modélisateur -- soit parce que les inférer à partir des données est l'objectif principal de l'étude, soit parce qu'elles ont un impact tel qu'on ne peut les ignorer dans la résolution d'un problème d'analyse de données.

\subsubsection{Mélanges}
Les modèles de \index{mélange de lois}\< mélanges indépendants \> visent à représenter de l'hétérogénéité dans les données, c'est-à-dire le fait que l'échantillon soit analogue à un regroupement de plusieurs sous-échantillons tels que les propriétés stochastiques soient les mêmes à l'intérieur de chaque sous-échantillon (indépendance, même loi), mais différentes de l'un à l'autre (indépendance mais lois différentes). La difficulté est que, en pratique, on ne sait pas de quel sous-échantillon provient chaque observation. Les modèles de mélanges constituent donc une approche privilégiée pour réaliser le {\textit{clustering}} de données (classification non supervisée), puisque retrouver les sous-échantil\-lons revient à trouver des groupes de données comparables en termes de distribution. 
Dans les modèles de mélanges, on associe une variable latente $\VARC$ catégorielle (à valeur dans $\set{1,\ldots,\NVARC}$, $\NVARC$ étant le nombre de {\textit{clusters}} à former) à chaque variable observée $\VAR$. Si $\VARC=k$, alors $\VAR$ suit une loi $p_k$ et réciproquement. Si l'on met une loi de probabilités sur $\VARC$, alors on est capable de générer un échantillon : d'abord $\VARC$, puis $\VAR$ sachant~$\VARC$. Le {\textit{clustering}} proprement dit est basé sur l'estimation de la loi de $\VARC$ et des $(p_k)_{1 \leq k \leq \NVARC}$, puis le calcul de la valeur de $\VARC$ la plus probable sachant~$\VAR$.

Il s'agit donc d'un modèle génératif, par opposition à d'autres approches ne nécessitant pas de définir de loi de probabilités, mais par exemple simplement une mesure de distance $d$ entre $\RVAR$ et $\RVAR^\prime$, puis reposant sur un algorithme pour décider si l'on doit regrouper ou non $\RVAR$ et $\RVAR^\prime$ au vu de $d(\RVAR,\RVAR^\prime)$ (classification hiérarchique ascendante ou $K$-moyennes entre autres exemples). L'avantage des modèles de mélanges sur ces approches est qu'ils représentent finement l'intention du modélisateur en termes de caractéristiques stochastiques à prendre ou non en compte dans le {\textit{clustering}}. Par exemple pour des données $\VAR$ univariées, certaines applications nécessiteront de regrouper les données d'après leur espérance et d'autres d'après leur variance. Des problèmes d'analyse de données multivariées peuvent nécessiter de les regrouper d'après la corrélation entre certaines coordonnées, plutôt que d'après la moyenne, etc. La limite de cette approche, comme pour bien d'autres modèles génératifs, est qu'elle repose sur des hypothèses restrictives sur les lois $(p_k)_{1 \leq k \leq K}$ 
susceptibles d'engendrer une dégradation importante des résultats si elles ne sont pas vérifiées.

\subsubsection{Analyse en composantes principales probabiliste}
\index{analyse en composantes principales probabiliste}L'analyse en composantes principales (ACP), comme évoquée au chapitre précédent, vise à projeter des données observées dans un espace vectoriel de dimension réduite. Ce type d'analyse peut servir à visualiser non seulement ces données dans un plan ou en 3D, mais aussi les relations entre les variables. Parfois, l'ACP est utilisée en pré-traitement sur les données comme méthode de réduction de dimension préalable, par exemple, à une classification ou à un {\textit{clustering}}.

Ce type d'ACP est basé sur une approche géométrique débouchant sur un critère à optimiser (l'inertie projetée). Nous présentons ici une approche différente, %\cite{bishop:2006}
basée sur un modèle probabiliste pour les composantes principales $\VARC$ et les données observées $\VAR$. Elle est basée sur l'hypothèse qu'il existe des vecteurs aléatoires latents $\VARC$ de dimension réduite $M$, dont on observe une transformation affine $\VAR$ de dimension $\DMVAR > \DVARC$ à travers un bruit gaussien $\varepsilon$, isotrope\index{isotrope} (c'est-à-dire un vecteur gaussien dont les composantes, indépendantes, ont toutes la même variance). 

Dans le cas où la transformation affine et la variance du bruit sont considérées comme des quantités déterministes, on retombe essentiellement sur les résultats du chapitre précédent. L'intérêt d'utiliser un modèle probabiliste explicite plutôt qu'une approche géométrique réside en la possibilité de faire de la validation ou de la sélection de modèles (pour déterminer notamment la dimension $\DVARC$), de pouvoir étendre le modèle à des données $\VAR$ partiellement observées, ou à des mélanges d'ACP probabilistes et, éventuellement, à d'autres hypothèses que celle gaussienne.

\subsubsection{Chaînes de Markov cachées}
Les \index{chaînes de Markov cachées}chaînes de Markov cachées (\index{CMC}CMC) visent, comme les modèles de mélanges indépendants, à représenter de l'hétérogénéité dans les données, mais dans le cas où cette hétérogénéité présente une structure de dépendance temporelle. Elles sont donc utilisées dans l'analyse de séries chronologiques (processus à pas de temps discret $\VAR_1,\ldots,\VAR_n$, noté $\ts{\VAR}{1}{n}$) présentant différents \< régimes \>, c'est-à-dire des plages temporelles où les $\VAR_t$ consécutifs ont le même comportement stochastique. Les CMC sont une approche consistant également à associer une variable latente $\VARC_t$ représentant le régime à chaque variable observée $\VAR_t$, mais où l'hypothèse d'indépendance est remplacée par une hypothèse de dépendance markovienne entre les $(\VARC_t)_{1 \leq t \leq n}$ (en un sens à préciser, $\VARC_t$ ne dépend que de $\VARC_{t-1}$). Le comportement stochastique de $\VAR_t$ quand $\VARC_t=k$ est également régi par une loi~$p_k$, ce qui fait qu'on peut simuler des données en générant une chaîne de Markov $\ts{\VARC}{1}{n}$, puis $\ts{\VAR}{1}{n}$. Pour détecter les instants où ont lieu les changements de régime, des alternatives existent à de tels modèles génératifs, en particulier les modèles de rupture. Ces derniers font l'hypothèse que les instants de rupture sont des paramètres indépendants, à estimer (plutôt qu'une chaîne de Markov). Leur limite est qu'ils ne prennent pas en compte un retour à un régime déjà visité auparavant et ne permettent pas de prédire les données qui pourraient être observées ultérieurement à~$\VAR_n$. 

Les CMC ou leurs extensions ont été utilisées pour la segmentation de séquences (par exemple, l'identification de gènes dans l'ADN assimilé à une séquence), mais aussi pour leur classification supervisée. En effet, si l'on dispose de séquences regroupées en classes, on peut estimer un modèle de CMC $p_g$ pour chaque groupe $g$ en utilisant les séquences associées, puis prédire la classe d'une nouvelle séquence $\ts{\RVAR}{1}{n}$ en lui associant la classe $g$ pour laquelle $p_g(\ts{\RVAR}{1}{n})$ est maximale.

% \subsubsection{Modèles hiérarchiques à variables latentes : pLSI, LDA}
% \AFAIRE{Décider si on garde ou pas}.