Introduction aux réseaux de neurones (édition 2019)

Cours commun aux Master 2 Mathématiques et applications parcours Finance computationnelle et Master 2 Ingénierie Statistique et Numérique (ISN) du Département de Mathématiques de l'Université de Lille.


CONSIGNES POUR L'EXAMEN:
L'examen aura lieu le vendredi 18 octobre 2019 de 9h00 à 10h30 (Salle C1 Amphi François). Vous êtes autorisés à amener une page A4 recto-verso de notes manuscrites. L'examen portera sur la compréhension des deux séries d'exercices (voir les TD 3 et 4 ci-bas).

Horaire Sujet(s) Matériel
Semaine 1
Cours 1 Mercredi 11 septembre
9h à 12h
Apprentissage automatique, prédicteurs linéaires
et descente de gradient
- Introduction.
- Notes sur les prédicteurs linéaires.
- Descente de gradient *Mis à jour le 26 septembre* (notebook jupyter sur github).
TD 1 Vendredi 13 septembre
9h à 12h
Introduction à Python Voir le répertoire Github (répertoire td_semaine_1).
Semaine 2
Cours 2 Mercredi 18 septembre
9h à 12h
Réseaux de neurones, rétropagation du gradient - Du prédicteur linéaire au réseau de neurones (le notebook jupyter est sur github).
- Rétropropagation du gradient.
TD 2 Vendredi 20 septembre
9h à 12h
Introduction à la librairie PyTorch Voir le répertoire Github. (répertoire td_semaine_2)
Semaine 3
Cours 3 Mercredi 25 septembre
9h à 12h
Le processus d'apprentissage, et autres astuces - Le processus d'apprentissage en pratique
- Réseau pour classification multiclasse
TD 3 Vendredi 27 septembre
9h à 12h
1. Classification multiclasse
2. Exercices en préparation à l'examen
Partie 1: Voir le répertoire Github (répertoire td_semaine_3).
Partie 2: Exercices / Solutions
Semaine 4
Cours 4 Mercredi 2 octobre
9h à 12h
Réseaux convolutifs - Réseaux convolutifs
TD 4 Vendredi 4 octobre
9h à 12h
1. Réseaux convolutifs avec PyTorch
2. Exercices en préparation à l'examen
Partie 1: Voir le répertoire Github (répertoire td_semaine_4).
Partie 2: Exercices / Solutions
Semaine 5
Cours 5 Mercredi 9 octobre
9h à 12h
Application données textuelles
et aperçu de sujets avancés
- Sujets avancés
TD 5 Vendredi 11 octobre
9h à 12h
1. Utilisation de GPUs et Google Colab
2. Travail sur le TP
Voir le répertoire Github (répertoire td_semaine_5).

Travail pratique


Évaluations


Quelques ressources sur les réseaux de neurones


Remerciements
* Un grand merci à Philippe Giguère, Ludovic Trottier, Philippe Heinrich, Émilie Kauffman, Chi Tran, Benjamin Guedj, Cristian Preda, Audrey Durand pour les discussions et conseils lors de la création de ce cours.