Rappels sur la notion de convexit\u00e9 : fonctions strictement et fortement convexes, r\u00e9gularit\u00e9, sous-diff\u00e9rentiel.<\/p>\n\n\n\n
Algorithmes de descente de gradient et de gradient projet\u00e9.<\/p>\n\n\n\n
Taux de convergence selon la r\u00e9gularit\u00e9 et la forte convexit\u00e9 de la fonction.<\/p>\n\n\n\n
Quelques mots sur l\u2019algorithme de sous-gradient.<\/p>\n\n\n\n
Op\u00e9rateur proximal, algorithmes proximaux et optimisation de fonctions non-lisses (p\u00e9nalisation L1, Lasso\u2026).<\/p>\n\n\n\n
Quelques mots sur les algorithmes de gradient acc\u00e9l\u00e9r\u00e9 et l\u2019algorithme FISTA.<\/p>\n\n\n\n
Optimisation stochastique et algorithme de gradient stochastique, crit\u00e8res de choix (\u00e9chantillonnage uniforme vs importance sampling).<\/p>\n\n\n\n
Dualit\u00e9 convexe : transformation de Legendre-Fenchel et d\u00e9rivation formelle d\u2019un probl\u00e8me dual par interversion inf-sup. Dualit\u00e9 faible et forte.<\/p>\n\n\n\n
Algorithmes utilisant la dualit\u00e9 : Uzawa, Lagrangien Augment\u00e9\u2026<\/p>\n\n\n\n
Exemples de probl\u00e8mes d\u2019optimisation dans le domaine de l\u2019apprentissage. Discussion sur le r\u00f4le de la convexit\u00e9 (et digression sur l\u2019optimisation non-convexe) dans l\u2019optimisation en grande dimension et dans les applications \u00e0 l\u2019apprentissage, lien avec la notion de sparsit\u00e9 et les p\u00e9nalisation L1. La plupart des r\u00e9sultats de convergence seront vus en CM, les TD seront d\u00e9di\u00e9s aux compl\u00e9ments sur les fonctions convexes, aux exemples d\u2019application, et aux exercices, et les TP porteront sur la programmation de certains algorithmes et l\u2019observation exp\u00e9rimentale de leur convergence.<\/p>\n","protected":false},"excerpt":{"rendered":"
Rappels sur la notion de convexit\u00e9 : fonctions strictement et fortement convexes, r\u00e9gularit\u00e9, sous-diff\u00e9rentiel. Algorithmes de descente de gradient et de gradient projet\u00e9. Taux de convergence selon la r\u00e9gularit\u00e9 et la forte convexit\u00e9 de la fonction. Quelques mots sur l\u2019algorithme de sous-gradient. Op\u00e9rateur proximal, algorithmes proximaux et optimisation de fonctions non-lisses (p\u00e9nalisation L1, Lasso\u2026). Quelques Lire plus …<\/a><\/p>\n","protected":false},"author":6,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-939","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages\/939","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/comments?post=939"}],"version-history":[{"count":5,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages\/939\/revisions"}],"predecessor-version":[{"id":946,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages\/939\/revisions\/946"}],"wp:attachment":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/media?parent=939"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}