Rappels sur la notion de convexité : fonctions strictement et fortement convexes, régularité, sous-différentiel.
Algorithmes de descente de gradient et de gradient projeté.
Taux de convergence selon la régularité et la forte convexité de la fonction.
Quelques mots sur l’algorithme de sous-gradient.
Opérateur proximal, algorithmes proximaux et optimisation de fonctions non-lisses (pénalisation L1, Lasso…).
Quelques mots sur les algorithmes de gradient accéléré et l’algorithme FISTA.
Optimisation stochastique et algorithme de gradient stochastique, critères de choix (échantillonnage uniforme vs importance sampling).
Dualité convexe : transformation de Legendre-Fenchel et dérivation formelle d’un problème dual par interversion inf-sup. Dualité faible et forte.
Algorithmes utilisant la dualité : Uzawa, Lagrangien Augmenté…
Exemples de problèmes d’optimisation dans le domaine de l’apprentissage. Discussion sur le rôle de la convexité (et digression sur l’optimisation non-convexe) dans l’optimisation en grande dimension et dans les applications à l’apprentissage, lien avec la notion de sparsité et les pénalisation L1. La plupart des résultats de convergence seront vus en CM, les TD seront dédiés aux compléments sur les fonctions convexes, aux exemples d’application, et aux exercices, et les TP porteront sur la programmation de certains algorithmes et l’observation expérimentale de leur convergence.