Objectifs de la formation
Le deep learning a révolutionné un nombre croissant de domaines, par exemple, la vision par ordinateur, le traitement du langage naturel, les jeux, etc. Dans ce cours, nous visons à introduire des concepts fondamentaux, des théories et des techniques avancées dans l'apprentissage structuré profond, couvrant en particulier l'apprentissage séquence à séquence et le Generative Adversarial Network (GAN). Un certain nombre de travaux pratiques seront programmés, y compris par exemple la génération d'images, la génération d'images en texte, la génération de texte en image, le transfert de style, etc.
Mots-clés
Apprentissage structuré, réseaux récurrents, LSTM, Modèles attentionnels, Transformer, Bert, GAN
Programme
Apprentissage séquence à séquence
- Réseaux récurrents, LSTM, GRU
- Modèles attentionnels
- Transformer
- Modèles de langue, ELMO, BERT, GPT
Generative Adversarial Network (GAN)
- Base fondamentale
- GAN conditionnel
- cGAN non supervisé
- le cadre théorique des GANs
- WGAN, EBGAN, InfoGAN, VAE-GAN, BiGAN
- Evaluation de GAN
- Applications: face editing, génération de parole
Compétences visées
- Connaître les principes de base de l'apprentissage structuré
- Savoir mettre en oeuvre des techniques et méthodes d'apprentissage structuré profond, e.g., LSTM, Transformer, GAN, sur des problèmes concrets
- Savoir évaluer la qualité d'une méthode d'apprentissage structuré implémentée
Évaluation
Test final et note de BE