Machine Learning Optimization
Voie Data Science et Marketing
- Année
- 3e année
- Semestre
- Semestre 6
- Unité d’enseignement
- Outils Data Science
- Volume horaire
- 20 h
- Crédits
- 1,5
Les fiches sont renseignées à partir des syllabus RESA/ENEAM et peuvent être actualisées par l’équipe pédagogique. Les modalités d’évaluation indiquées ne remplacent pas les consignes du cours.
Objectif du cours
Les algorithmes fondamentaux d'apprentissage automatique sont désormais intégrés à presque tous les moments de notre vie numérique. Et l'apprentissage automatique est le pivot de nombreuses technologies qui se profilent à l'horizon, des voitures autonomes aux usines entièrement automatisées, en passant par les chatbots et les assistants numériques entièrement formés.
Ce cours offre une introduction holistique et pratique aux principes fondamentaux de l'optimisation mathématique pour l'apprentissage automatique.
Plan du cours
-
Chapitre 1 : Machine learning overview in the context of mathematical optimization
2 h- Supervised learning and unconstrained optimization: deep nets, trees, and kernels
- The tools in the warchest: first and second order methods
- Deep learning and engineering-focused first order methods
- Dimension reduction, clustering, and constrained optimization
- Dealing with discontinuities via heuristic methods
-
Chapitre 2 : Overview of fundamental mathematical and computational tools
2 h- Review of Linear Algebra, probability and statistics
- Calculus of multivariate functions, Taylor series and local function approximation
- Optimality conditions for unconstrained / constrained optimization
- Numerical methods for computing derivatives, automatic differentiation
- Numerical computation of eigenvalues / singular values
-
Chapitre 3 : Unconstrained optimization via local search
4 h- Local search as a general optimization paradigm
- Random local search and the curse of dimensionality
- Steplength rules and intuition
- Formal principles of random local search
-
Chapitre 4 : First order methods: gradient descent and extensions
4 h- Gradient descent - normalized and unnormalized versions
- Step size selection and convergence
- Conservative theoretical guarantees and linesearch
- Formal principles of gradient descent
- Steepest descent - norm generalization
- Batch / Stochastic gradient descent
- Variations on normalized stochastic gradient descent (e.g., RMSprop, Adagrad)
-
Chapitre 5 : Second order methods: Newton and quasi-Newton methods
4 h- Newton’s method basics - normalized and unnormalized versions
- Newton’s method, stepsize, and backtracking linesearch
- Honest adjustments for non-convex functions
- Scaling issues with Newton’s method
- Newton and secant method as zero-finding algorithms
- Quasi-Newton Methods
- BFGS and L-BFGS algorithms
-
Chapitre 6 : Methods of constrained optimization
4 h- Projected / proximal gradient algorithms
- Barrier and penalty methods
- Interior point methods
- Primal-dual methods
Évaluation
1 examen écrit
Bibliographie
- Borwein, J.M. & Lewis, A.S. (2006). Convex Analysis and Nonlinear Optimization: Theory and Examples. Springer.
- Nesterov Y. (2004). Introductory lectures on convex optimization. Springer.
- Peypouquet P. (2016). Convex Optimization in Normed Spaces. Springer