Metodi di ottimizzazione numerica A.A. 2020-2021
Docente: Prof. Valeria Ruggiero
ORARIO DELLE LEZIONI (2° Semestre) - Inizio lezioni dal 24 febbraio 2020:
Mercoledì, ore 11:30-13:30; dal 21 aprile 2021, ore 9:00-11:00
Venerdì ore 9:00-11:00
Ricevimento: previo appuntamento via e-mail.
Per informazioni, comunicazioni veloci e problemi relativi al corso: rgv@unife.it
Modalità di esame:
orale
CALENDARIO DELLE LEZIONI
Le lezioni si terranno via Meet in streaning.
Il materiale è reperibile su Classroom (codice e4i7dwd)
24 febbraio 2021 (2 ore) - Introduzione al corso e possibili applicazioni. Definizione di ottimizzazione numerica. Esempi di problemi di ottimo.
26 febbraio 2021 (2 ore) - Richiami di algebra e analisi multivariata, esempi e rappresentazione Matlab. Funzioni convesse e loro caratterizzazione (I ordine e II ordine). Definizione di minimo. Esistenza di minimi.
3 marzo 2021 (2 ore) - Condizioni necessarie e condizioni sufficienti del I e II ordine. Metodi numerici per problemi non vincolati: introduzione ai metodi di discesa. Classe dei metodi del gradiente.
5 marzo 2021 (2 ore) - Condizioni di Wolfe. Teorema di Zoutendijk. Direzioni gradient related. Realizzazione in Matlab del metodo del gradiente con line search inesatta.
10 marzo 2021 (2 ore) - Convergenza dei metodi del gradiente con ricerca del passo esatta, inesatta e limitata. Ulteriori risultati di convergenza. Applicazioni in Matlab del teorema della cattura. Definizioni di velocità di convergenza.
12 marzo 2021 (2 ore) - Caso quadratico: metodo di discesa ripida e velocità di convergenza. Interpretazione geometrica del metodo di discesa ripida del caso quadratico. Tecniche di accelerazione di SD: precondizionamento.
17 marzo 2021 (2 ore) - Implementazione di SD precondizionato nel caso quadratico. Tecniche di accelerazione di SD: regole di Barzilai Borwein. Analisi spettrale. Applicazioni numeriche nel caso quadratico. Applicazioni numeriche nel caso generale. Realizzazione di metodi con regole BB alternate.
La lezione del giorno 19 marzo è sospesa, per concomitante sessione di laurea.
24 marzo 2021 (2 ore) - Metodi delle direzioni coniugate. Teorema di terminazione finita. Metodo CG. Proprietà del metodo CG.
26 marzo 2021 (2 ore) - Discretizzazione del modello lineare di ricostruzione di immagini distorte e rumorose per risoluzione come problema di minimo di minimi quadrati regolarizzato con Hypersurface potential. Errore nel metodo CG. Precondizionamento di CG.
31 marzo 2021 (2 ore) - Sperimentazione del metodo CG e CG precondizionato. Metodo di Newton: convergenza e velocità di convergenza. Metodi quasi Newton: velocità di convergenza.
9 aprile 2021 (2 ore) - Regole SR1. Regole DFP e BFGS. Invarianza dei metodi quasi-Newton. Implementazione del metodo di Newton e della regola BFGS.
14 aprile 2021 (2 ore) - Le tecniche trust region: scelta del raggio, punto di Cauchy, tecnica dogleg. Metodo CG-Steinaugh.
16 aprile 2021 (2 ore) - Implementazione della tecnica trust region in Matlab (con dogleg e con CG-Steinaugh); proprietà dei metodi TR e convergenza.
21 aprile 2021 (2 ore) - Introduzione alla programmazione vincolata. Condizioni di ottimalità del I ordine per programmazione vincolata. Esempi.
28 aprile 2021 (2 ore) - Sensitività dei moltiplicatori di Lagrange. Esempi ed esercizi. Condizioni di ottimalità del II ordine per programmazione non lineare. Dualità.
30 aprile 2021 (2 ore) - Alcuni casi di proiezione per vincoli semplici. Metodi per problemi di programmazione quadratica con vincoli di uguaglianza lineari: metodo dello spazio immagine. Metodo dello spazio nullo. Tecniche di fattorizzazione per il metodo dello spazio nullo.
5 maggio 2021 (2 ore) - Metodi per problemi di programmazione quadratica con vincoli di disuguaglianza lineari: metodo dell'insieme attivo.
7 maggio 2021 (2 ore) - Metodi SQP. Metodi di penalizzazione, metodo della Lagrangiana aumentata e metodi ADMM.
12 maggio 2021 (2 ore) - Una applicazione: un problema lasso. Metodo del gradiente proiettato, tecniche di scalatura variabile e di scelta del passo.
14 maggio 2021 (2 ore) - Implementazione del metodo del gradiente proiettato per problemi quadratici con vincoli box. Una applicazione: la metodologia delle Support Vector Machines: caso di classi linearmente separabili e debolmente linearmente separabili.
19 maggio 2021 (2 ore) - SVM per classi con separazione non lineare nella classificazione binaria. Implementazione per classificazione binaria SVM. Classificazione multiclasse,
21 maggio 2021 (2 ore) - Regressione lineare e non lineare con SVM. Tecniche di decomposizione in ambito SVM e software disponibile. Esempi di applicazioni. Introduzione alle reti neurali. Metodi di ottimizzazione stocastica: motivazioni del loro uso e problematiche connesse.
24 maggio 2021 (2 ore) - Introduzione alle reti neurali e all'ottimizzazione stocastica
