Introduction aux réseaux de neurones

Cours commun aux Master 2 Mathématiques et applications parcours Finance computationnelle et Master 2 Ingénierie Statistique et Numérique (ISN) du Département de Mathématiques de l'Université de Lille.


CONSIGNES POUR L'EXAMEN:
L'examen aura lieu le mercredi 28 novembre de 9H00 à 10h00, bâtiment M1, Amphi Galois. Vous êtes autorisés à amener une page A4 recto-verso de notes manuscrites. L'examen portera sur la compréhension des deux séries d'exercices (voir les cours 5 et 7 ci-bas).

# Horaire Sujet(s) Matériel
1 Vendredi 21 septembre
14h à 17h (td)
Introduction à Python 1: Les bases du langage - Transparents d'introduction (rédigés principalement par Philippe Heinrich*)
- Informations et ressources sur Python
- Tutoriel intéractif: télécharger sur github ou exécuter sur binder
- Solutionnaire des exercices du premier TD
2 Vendredi 28 septembre
14h à 17h (td)
Introduction à Python 2: Python pour la science des données - Tutoriel intéractif: télécharger sur github
- Solutionnaire des exercices du deuxième TD
- Scipy Lecture Notes: Lire les sections 1.3.1, 1.3.2 et 1.4.2
3 Vendredi 5 octobre
14h à 18h (cours)
Réseaux de neurones 1: Introduction - Notebooks 1, 2 et 3 sur le github du cours
- Transparents: Présentation du cours, Partie 1, Partie 2, Partie 3
- Video suggéré: Adrew Ng explique la descente de gradient avec momentum
4 Vendredi 12 octobre
14h à 16h (cours)
16h à 18h (td)
Réseaux de neurones 2: Rétropropagation, la librairie PyTorch - Transparents: Partie 4 (modifié le 17 octobre)
- TD: TD1 sur le github du cours (ainsi que le solutionnaire)
5 Mercredi 17 octobre
9h à 12h (cours)
Réseaux de neurones 3: La régularisation, sélection de modèle, ... - Transparents: Partie 5
- Exercices: Énoncé / Solutions
6 Vendredi 19 octobre
14h à 16h (cours)
16h à 18h (td)
Réseaux de neurones 4: Réseaux de neurones convolutifs - Transparents: Partie 6
- TD: TD2 sur le github du cours (ainsi que le solutionnaire)
7 Vendredi 9 novembre
14h à 16h (cours)
16h à 18h (td)
Réseaux de neurones 5: Retour sur les réseaux convolutifs,
apprentissage de représentations et applications aux données textuelles
- Transparents: Partie 6-bis, Partie 7
- Exercices/TD: Énoncé / Solutions
8 Vendredi 16 novembre
14h à 16h (cours)
16h à 18h (td)
Autre méthodes: Le SVM et les noyaux - Transparents: Partie 8
- La scéance de TD sera consacrée au projet.

Évaluations


Projet / Travail pratique


Quelques ressources sur les réseaux de neurones


Remerciements
* Un grand merci à Philippe Giguère, Ludovic Trottier, Philippe Heinrich, Émilie Kauffman, Chi Tran, Benjamin Guedj, Cristian Preda, Audrey Durand pour les discussions et conseils lors de la création de ce cours.