OPTIMIZATION METHODS FOR MACHINE LEARNING

Obiettivi formativi

Conoscenza e comprensione Lo scopo del corso è quello di introdurre gli studenti all'applicazione delle tecniche di ottimizzazione per l’addestramento in problemi di apprendimento automatico. Si prevede che gli studenti acquisiscano competenze sui modelli standard usati in apprendimento automatico (Deep Networks and Support Vector Machines) e sui più recenti algoritmi di ottimizzazione per determinare i parametri (addestrare) di tali modelli che meglio si adattano ai dati disponibili. Capacità di applicare conoscenza e comprensione Alla fine del corso, gli studenti dovrebbero essere in grado di selezionare il modello corretto per il problema in questione e utilizzare software standard specializzato per l'applicazione e/o sviluppare il proprio algoritmo di ottimizzazione. Autonomia di giudizio Lezioni frontali, esercitazioni pratiche e sessioni di revisione dei progetti forniranno agli studenti la possibilità di valutare i principali punti di forza e di debolezza dei diversi modelli di apprendimento automatico applicati ai casi studio in apprendimento automatico. Capacità di comunicazione Alla fine del corso, gli studenti sono in grado di individuare le caratteristiche principali di un problema di apprendimento automatico e di spiegare le tecniche per la sua soluzione sia con un pubblico specializzato che non specializzato. Queste capacità sono verificate e valutate nei progetti realizzati in piccoli gruppi di lavoro, incoraggiando così il team building e un processo di apprendimento proattivo e collaborativo. Queste abilità possono anche essere verificate nella prova orale finale. Capacità di apprendere Gli studenti sviluppano le capacità di apprendimento necessarie per intraprendere ulteriori studi sugli argomenti rilevanti con un alto grado di autonomia. Durante le lezioni, gli studenti sono incoraggiati a lavorare su progetti in piccoli gruppi, stimolando così l'attività e il coinvolgimento degli studenti. Si consiglia di consultare pubblicazioni di ricerca supplementari e siti internet per individuare le scelte dettagliate necessarie per svolgere efficacemente i progetti assegnati. Queste capacità sono testate e valutate nell’analisi delle relazioni finali dei progetti in cui gli studenti devono discutere le principali questioni dei problemi affrontati e le loro scelte per superare le difficoltà, sulla base degli argomenti e dei materiali trattati in classe.

Canale 1
LAURA PALAGI Scheda docente

Programmi - Frequenza - Esami

Programma
Il contenuto dell'insegnamento è articolato come nel programma sosttostante seguendo la stessa articolazione temporale riportata (1 lezione = 2 ore didattcai frontale). 1. Introduction. (3 lezioni) Definition of learning systems. Goals and applications of machine learning (classification and regression). Basics on statistical learning theory (Vapnik Chervonenkis bound). Underfitting and Overfitting. Use of data: training set, test set, validation set. 2. Review of optimization tools and comparison of learning algorithms from the optimization point of view. (3 lezioni) 3. Artificial Neural Networks. (11 lezioni) Neurons and biological motivation. Linear threshold units. The Perceptron and its learning algorithm (proof of convergence). Classification of linearly separable patterns. Multi-Layer Feedforward Neural Networks. Gradient method: basics. Back-propagation (BP) algorithm. BP batch version: proof of convergence and choice of the learning rate. BP on-line version: incremental method, theorem of convergence. Momentum updating rule. Radial-Basis function (RBF) networks: regularized and generalized RBF networks. Their use in interpolation and approximation. learning strategies and error functions. Unsupervised selection of center. Supervised selection of weights and centers: decomposition methods into two blocks and decomposition methods into more blocks. Convergence theory of decomposition methods. Early stopping 4. Support Vector Machines (Kernel methods) (11 lezioni) Soft and hard Maximum Margin Classifiers. Quadratic programming formulation of the soft/hard maximum margin separators. Kernels methods. Dual formulation of the primal QP problem. Wolfe duality theory for QP. KKT conditions. Frank Wolfe method: basics. Decomposition methods: SMO-type algorithms, MVP algorithm, SVMlight, cyclic methods. Convergence theory. Implementation tricks: Caching, shrinking. Choosing parameters: k-fold cross-validation. Multiclass SVM problems: one-against-one and one-against-all. 4. Practical use of learning algorithms. (1 lezioni) 6. Use of open-source software (2 lezioni)
Prerequisiti
Algebra lineare, principi di analisi matematica per funzioni multivariate (Taylor, derivate parziali). Convessità Non sono previste propeudeticità con altri insegnamenti
Testi di riferimento
Il materiale didattico è costituito da slide e note di lezioni. Sono anche suggeriti i seguenti libri Pattern Recognition and Machine Learning - Bishop - 2006 Deep Learning - Goodfellow, Bengio, Courville - 2016
Modalità insegnamento
La modalità di svolgimento è tradizionale, in aula con didattica frontale. La possibilità di svolgere le lezioni a distanza è prevista in caso di necessità legate alla situazione pandemica in corso. La frequenza non è obbligatoria, ma consigliata. Il metodo didattico prevede didattica frontale e interazione con gli studenti mediante questionari di autovalutazione svolti in aula
Frequenza
in presenza
Modalità di esame
La valutazione prevede lo svolgimento di uno/due progetti. Se svolti durante il semestre di erogazione del corso i progetti sono due e associati a due prove scritte a risposta multipla e/o aperta. Se svolto al di fuori del periodo di erogazione del corso, l'esame prevede un solo progetto associato ad una prova scritta e ad un orale. L'obiettivo del progetto è acquisire capacità di sviluppo autonomo di un sistema di apprendimento automatico a vari livelli, a partire da utilizzo di software open source fino allo sviluppo in proprio di codice. La prova scritta e/o orale mirano alle verifiche delle competenze metodologiche
Bibliografia
Pattern Recognition and Machine Learning - Bishop - 2006 Deep Learning - Goodfellow, Bengio, Courville - 2016
Modalità di erogazione
in presenza
  • Codice insegnamento1041415
  • Anno accademico2025/2026
  • CorsoIngegneria Gestionale - Management Engineering
  • CurriculumBusiness intelligence and analytics (percorso formativo valido anche ai fini del conseguimento del doppio titolo italo-francese) - in inglese
  • Anno2º anno
  • Semestre1º semestre
  • SSDMAT/09
  • CFU6
  • Ambito disciplinareAttività formative affini o integrative