Les m\u00e9thodes d’apprentissage statistique et de machine learning sont au c\u0153ur de la r\u00e9volution de l’intelligence artificielle. Au del\u00e0 des performances pratiques et de l’utilisation de ces m\u00e9thodes sous forme de \u00ab\u00a0bo\u00eetes noires\u00a0\u00bb, un des enjeux actuels est la compr\u00e9hension fine de leur fonctionnement. L’objectif de cette majeure est de proposer un panorama sur la construction, le fonctionnement et l’\u00e9tude de ces m\u00e9thodes. <\/p>\n\n\n\n
Les cours de cette majeure sont associ\u00e9s \u00e0 L’objectif de ce cours est double:<\/p>\n\n\n\n Le cours commencera avec la propri\u00e9t\u00e9 d’approximation universelle des r\u00e9seaux de neurones. Nous verrons ensuite pourquoi la profondeur am\u00e9liore la capacit\u00e9 des r\u00e9seaux \u00e0 donner des approximations pr\u00e9cises de fonctions pour un budget de calcul donn\u00e9.<\/p>\n\n\n\n Des outils permettant de traiter les probl\u00e8mes d’apprentissages rencontr\u00e9s dans l’entrainement de ces r\u00e9seaux sur de grands jeux de donn\u00e9es seront propos\u00e9s, et des \u00e9l\u00e9ments de convergence seront discut\u00e9s. <\/p>\n\n\n\n Finalement, des r\u00e9sultats statistiques sur les garantie en g\u00e9n\u00e9ralisation des r\u00e9seaux de neurones profonds seront pr\u00e9sent\u00e9s, \u00e0 la fois dans des sc\u00e9narios (classique) de sous-apprentissage, mais aussi dans le cas de sur-apprentissage conduisant au ph\u00e9nom\u00e8ne de ‘double descente’.<\/p>\n\n\n\n La parcimonie et la convexit\u00e9 sont des ph\u00e9nom\u00e8nes importants et r\u00e9currents en machine learning et en statistique. Dans ce cours, on s’int\u00e9ressera \u00e0 la th\u00e9orie math\u00e9matique associ\u00e9e \u00e0 des m\u00e9thodes performantes bas\u00e9es sur des relaxations convexes : m\u00e9thodes de r\u00e9gularisation L1 en statistique et traitement du signal, minimisation de la norme nucl\u00e9aire en compl\u00e9tion de matrice, K-means et clustering de graphes. Toutes ces approches sont dites ‘semi-definite representable (SDP)’ et utilisables en pratiques. La partie th\u00e9orique du cours portera sur les performances de ces approches et des algorithmes associ\u00e9es sous une hypoth\u00e8se de parcimonie. La partie pratique pr\u00e9sentera les solvers SDP classiques pour ces types de probl\u00e8mes d’apprentissage.<\/p>\n\n\n\n Mots-cl\u00e9s: r\u00e9gularisation L1; Compl\u00e9tion de matrices; K-Means; Clustering de graphes; Semi-Definite Programming;<\/p>\n\n\n\n Un graphe est un objet math\u00e9matique particuli\u00e8rement utile pour l\u2019\u00e9tude des r\u00e9seaux, c\u2019est \u00e0 dire l\u2019\u00e9tude d\u2019ensembles discrets dont les \u00e9l\u00e9ments v\u00e9rifient des propri\u00e9t\u00e9s relationnelles. Depuis les r\u00e9seaux sociaux jusqu\u2019au r\u00e9seau internet, l\u2019objet graphe est pr\u00e9pond\u00e9rant dans l\u2019analyse de nombreux jeux de donn\u00e9es. Les relations au sein des \u00e9cosyst\u00e8mes, depuis les relations entre esp\u00e8ces (pr\u00e9dation, interaction entre plantes et pollinisateurs, etc\u2026) jusqu\u2019aux relations sociales entre individus (socialit\u00e9 chez les primates, etc\u2026), offrent un champ d\u2019application de la mod\u00e9lisation par graphe et de l\u2019\u00e9tude des r\u00e9seaux.<\/p>\n\n\n\n Dans ce cours, nous d\u00e9couvrirons le cadre conceptuel h\u00e9rit\u00e9 de la th\u00e9orie des graphes et de la science des r\u00e9seaux, pour d\u00e9couvrir des probl\u00e9matiques de recherche moderne autour de l’\u00e9tude des \u00e9cosyst\u00e8mes. Ce cours convoquera des m\u00e9thodes des math\u00e9matiques discr\u00e8tes, des statistiques et du machine learning. El\u00e9ments th\u00e9oriques: Bases \/ d\u00e9finitions (graphe, chemin, etc…) – M\u00e9triques – Techniques de clustering – M\u00e9thodes spectrales – Mod\u00e8les de graphes al\u00e9atoires – Mod\u00e8les graphiques (inf\u00e9rence de graphes) – Traitement de signal sur graphe – Graphes multi-couches (temps, espace, type de liens) – Techniques d’embedding (optionnel) Le but du cours est de pr\u00e9senter les grandes lignes de la th\u00e9orie du transport optimal et certaines de ses applications en science des donn\u00e9es.<\/p>\n\n\n\n Une premi\u00e8re partie du cours d\u00e9taillera le probl\u00e8me de Monge-Kantorovich, sa formulation comme probl\u00e8me de programmation lin\u00e9aire et l’utilisation de la dualit\u00e9 convexe, ainsi que les distances (dites distances de Wasserstein) que le transport optimal permet de d\u00e9finir sur l’espace des mesures de probabilit\u00e9. Les g\u00e9od\u00e9siques et les barycentres dans l’espace de Wasserstein, de grande importance dans l’interpolation et la comparaison des donn\u00e9es, seront introduits \u00e9galement. <\/p>\n\n\n\n Une deuxi\u00e8me partie du cours se concentrera sur les m\u00e9thodes num\u00e9riques pour la r\u00e9solution des probl\u00e8mes de transport optimal, avec une attention particuli\u00e8re aux m\u00e9thodes les mieux adapt\u00e9es \u00e0 la grande dimension et aux donn\u00e9es non-structur\u00e9es, en particulier l’algorithme de Sinkhorn.<\/p>\n\n\n\n Enfin, la troisi\u00e8me partie du cours pr\u00e9sentera un choix d’applications du transport et des distances de Wasserstein en apprentissage, dont on cite comme exemples les Wasserstein GANs, l’apprentissage par transfert, les mod\u00e8les de g\u00e9n\u00e9ration de donn\u00e9es,… <\/p>\n","protected":false},"excerpt":{"rendered":" Les m\u00e9thodes d’apprentissage statistique et de machine learning sont au c\u0153ur de la r\u00e9volution de l’intelligence artificielle. Au del\u00e0 des performances pratiques et de l’utilisation de ces m\u00e9thodes sous forme de \u00ab\u00a0bo\u00eetes noires\u00a0\u00bb, un des enjeux actuels est la compr\u00e9hension fine de leur fonctionnement. L’objectif de cette majeure est de proposer un panorama sur la Lire plus …<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-771","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages\/771","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/comments?post=771"}],"version-history":[{"count":10,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages\/771\/revisions"}],"predecessor-version":[{"id":1403,"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/pages\/771\/revisions\/1403"}],"wp:attachment":[{"href":"https:\/\/mastermas.univ-lyon1.fr\/index.php\/wp-json\/wp\/v2\/media?parent=771"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
– une s\u00e9quence de remise \u00e0 niveau
– un tronc commun<\/a> au premier semestre
– deux autres cours \u00e0 choisir parmi ceux propos\u00e9s dans les autres majeures (voir la page d’accueil<\/a> pour la liste compl\u00e8te). <\/p>\n\n\n\nR\u00e9seaux de neurones<\/h2>\n\n\n\n
\n
<\/li>\n<\/ul>\n\n\n\nParcimonie et grande dimension<\/h2>\n\n\n\n
Graphes et r\u00e9seaux \u00e9cologiques<\/h2>\n\n\n\n
Le cours sera partag\u00e9 entre \u00e9tudes de cas en \u00e9cologie et \u00e9l\u00e9ments th\u00e9oriques.\u00a0<\/p>\n\n\n\n
Etude de cas sur donn\u00e9es r\u00e9elles : R\u00e9seau de contact entre animaux. R\u00e9seau d’interaction entre esp\u00e8ces en milieu marin et\/ou montagnard. R\u00e9flexion sur la pertinence de la prise en compte d’un graphe pour le maintien de la biodiversit\u00e9.<\/p>\n\n\n\nTransport optimal pour l’apprentissage<\/h2>\n\n\n\n