Les cours de ce premier semestre abordent des thématiques modernes en mathématiques appliquées, et ont pour objectif de préparer au mieux le second semestre et l’entrée dans le monde de la recherche.
Ce tronc commun est dédoublé, les mêmes cours ayant lieu à la fois sur Saint-Etienne (majeure « Calcul intensif et simulation ») et Lyon (toutes les autres).
Des remises à niveau en informatique, analyse et statistique sont proposées en début de semestre. Le contenu sera adapté au niveau et connaissances de la promotion.
Modélisation déterministe
- De la physique aux équations aux dérivées partielles. Deuxième loi de Newton. Bilan des forces (gradient de pression, viscosité, Coriolis, gravité). Loi de continuité. Les grandes équations: Navier-Stockes, Euler.
- Espaces de Sobolev. Grands théorèmes: injection, inégalité de Poincaré, théorème de Rellich. Extensions, calcul fonctionnel.
- Théorie variationnelle elliptique. Lemmes de Lions-Stampacchia et Lax-Milgram. Problèmes de Dirichlet et de Neumann. Théorie spectrale des problèmes aux limites. Méthode de Galerkin.
- Problèmes paraboliques. Construction de solutions approchées, estimations sur les solutions approchées et compacité. Passage à la limite.
- Problèmes hyperboliques scalaires. Notions de solutions faibles, non unicité. Solution entropique. Construction de solutions de viscosité. Extension aux systèmes de lois de conservations.
- Prise en compte des conditions aux limites pour les problèmes elliptiques et paraboliques.
Modélisation stochastique et apprentissage statistique
- Régression en grande dimension: Exemples concrets et modélisation, Rappels et développement autour du modèle linéaire (modélisation, hypothèses, moindre carrés et vraisemblance, Test de Fisher/Student, …) – Introduction à la sélection de modèles (construction des critères Cp/AIC/BIC, inégalités oracles, comportement en grande dimension) – Méthode Ridge (heuristique, lien avec Tikhonov, propriété du risque – Introduction à la méthode LASSO (construction et heuristiques, lien avec le compressed sensing, propriétés théoriques / inégalités oracles, conditions de compatibilité).
- Classification Supervisée: Exemples concrets et modélisation, tour d’horizon de quelques algorithmes (kNN, SVM, réseaux de neurones, régression logistique, …), aspects théoriques (inégalités de concentrations, noyaux,…)
- Classification non-supervisée: ACP, Clustering (kmeans, méthodes hiérarchiques,…), Modèles de mélange gaussien, Spectral clustering.
Optimisation et machine learning
- Introduction: Inventaire de quelques problèmes concrets d’optimisation (Ridge, LASSO, SVM, régression logistique, réseaux de neurones, problèmes inverses, EDP): expression sous forme de minimisation et exemple de fonction coût.
- Généralités convexe: Etude de quelques algos (descente de gradient, méthodes de 1er et 2nd ordre), Méthodes proximales, Dualité Lagrange et Fenchel, Formulation primal/duale, Contraintes KKT, Convergence, Forte convexité et taux de convergence
–> TP1: Minimisation d’un problème différentiable (EDP / Problème inverse avec pénalisation hyperbolique) : méthode de gradient, backtracking, Newton, BFGS
–> TP2 : Minimisation d’un problème non-différentiable (détection de changement avec passage dans le dual puis gradient-proximal ou Douglas-Rachford, logistique sparse pour classification) - Généralités non-convexe: Méthodes de gradient, méthodes de minimisation alternée (Gauss-Seidel, PAM, PALM)
–> TP : logistique sparse avec pénalisation non convexe / Factorisation de matrice non-négative - Mise en pratique: Algèbre linéaire : calcul de valeurs propres et vecteurs propres; méthodes de la puissance, puissance inverse, inversion de système linéaire, méthodes directes, méthodes directes par factorisation (LU, QR), méthodes itératives classiques (Jacobi, Gauss-Seidel et de relaxation), Préconditionnement, résolution des grands systèmes linéaires creux, techniques de stockage creux. Résolution des grands systèmes linéaires creux. Résolution des grands systèmes linéaires creux, techniques de stockages creux. Résolution de systèmes non-linéaires creux.
–> TP: méthode de la puissance pour calculer constante de Lipschitz dans descente de gradient proximal, inversion matricielle et mise en œuvre sur un exemple de régression sparse. - Optimisation et simulations stochastique: Descente de gradient/forward-backward stochastique (principaux résultats de convergence et taux de convergence), Adam, Adagrad,…. et notions importantes (learning rate, batch, dropout, …), Algo EM, Gibbs, Metropolis Hastings, prox MALA.
–> TP1 : régression ridge et sparse avec gradient et gradient proximal stochastiques. Comparaison gradient et gradient proximal non stochastiques. Afficher taux de convergence.
–> TP2: Détection de changement avec MCMC puis prox MALA sur le dual. - Deep learning: Différentiation automatique, dérivation en chaîne, backpropagation, architectures des réseaux profonds, algorithmes déroulés (forward-backward déroulé, LISTA), lien entre opérateur proximal et fonctions d’activations
–> TP1: Différentiation automatique, introduction à Pytorch (Exemple pour automatiser la différentiation automatique sur une fonction quelconque puis la même chose en quelques lignes avec PyTorch (accumulation, autograd)
–> TP2: construction d’un réseau de neurones pour la classification MNIST et/ou résolution ODE avec Pytorch (construction réseaux de neurones (feed forward) : couche affine et non-affine et pourquoi elles sont alternées puis optimisation avec comparaison des différents algos)
Anglais scientifique
Plusieurs modes de fonctionnement envisageables en fonction des années et des opportunités :
- Réalisation de projet, éventuellement en binôme (lecture d’articles, variante de preuve, implémentation d’algorithme,…) + rapport en anglais + soutenance en anglais en janvier.
- Mise en place d’un groupe de lecture, chaque étudiant.e devant faire au moins une présentation (en anglais) dans le semestre.
- Séminaire / mini-cours (en anglais) montés de manière ad’hoc pour des invités de passage ou intervenants extérieurs + travail de restitution.
- Participation des étudiant.es à des conférences programmées pendant l’automne (avec préparation, suivi d’exposés, puis restitution).
En parallèle, une intervention de 2h sur les erreurs courantes des francophones en anglais (écrit et orale)