Docente: Francesco
Masulli.
http://www.disi.unige.it/person/MasulliF/syllabus-rn199
Ultima modifica: 21 Feb 2000.
Metodi di ricerca analitici, enumerativi, casuali - Steepest Ascend/Descent Procedures - Simulated Annealing - Applicazione al problema TSP.
Misure di Casualita' - Generazione di numeri casuali con distribuzione uniforme - Test del CHI quadro - Test di Komogorof-Smirnov - Generazione di bit casuali - Generazione di distribuzioni casuali basato sulla legge di trasformazione delle probabilita' - Serie caotiche e generatori di numeri casuali.
Ispirazione biologica - Elementi costituenti gli Algoritmi Genetici - Schemi - Teorema degli schemi - Funzioni GA-hard - Minimal Deceptive Problem - Convergenza prematura - Stagnazione - Operatori avanzati di selezione - Scalatura della fitness - Coding - Codifica multiparametrica - Discretizzazione - Ottimizzazione con vincoli - Operatori avanzati di crossover - GA per ottimizzazione combinatoria - Stategie Evolutive a due membri e a molti-membri.
Apprendimento automatico - Macchine ad apprendimento - Compiti di apprendimento - Classificazione - Regressione - Bias/variance tradeoff - Stima di densita' di probabilita' - Clustering e quantizzazione vettoriale - Funzioni approssimanti - Proprieta' di approassimazione universale di funzioni : Polinomi e funzioni semiparametriche - Interpretazione connessionista di reti multistrato feed-forward - Teoria statistica dell'apprendimento - Paradimi di apprendimento Supervisonato, non-supervisionato, con rinforzo - Generalizzazione - Training set, validation set, test set - Misure di similarita`/dissimilarita` - Overfitting/Overtraining - Approcci all'apprendimento parametrico e non-parametrico - Principi di apprendimento per modelli paramterici - Massima verosomiglianza-Metodi non- parametrici - Regole del primo vicino e dei k primi vicini - Course of dimensionality - Complessita' di insiemi di funzioni - Numero parametri nei polinomi e nelle reti neurali - Dimesnione di Vapnik-Chervonenkis - Principi induttivi - Minimum description length - Penalizzazione/regolarizzazione - Mimizzazione del rischio strutturale.
Neurone e reti di neuroni biologici - Neuroni matematici - Neurone di Mc Culloch e Pitts - Percettroni semplici - Unita' deterministica a soglia o Linear Threshold Unit - Problemi linearmente separabili e problemi non linearmente separabili - Regole hebbiane per LTU - Teorema di convergenza per LTU - Unita' a funzione di attivazione lineare o ADALINE - Apprendimento mediate discesa a gradiente - Unita' a funzione di attivazione non lineare - Percettroni multistrato con unita' tipo LTU - Esistenza della soluzione per problemi non linearmente separabili - Soluzione problema XOR - Percettrone multistrato con unita' a funzione di attivazione non lineare - Regola di apprendimento Back-Propagation - Apprendimento by pattern o by epoch - Criteri di stop - Early stopping /cross-validation - Bold driver - Momento - Metodi di ottimizzazione di second'ordine - Metodi globali - Teorema di approssimazione universale di funzioni - Applicazione alla regressione - Euristiche per l'implementazione di percettroni multistrato.
Classificazione supervisionata e non supervisionata - Regole di decisione - Superfici di decisione - Funzioni discriminanti - Regioni di decisione - Confini di decisione - Condensed Nearest Neigboor - Regola di decisione di Bayes - Minimizzazione del rischio - Applicazione alla classificazione - Caso distribuzione normale dei pattern - Equivalenza di classificatori gaussiani e ADALINE - Classificatori supervisionati parametrici - Stima con massima verosomiglianza - Classificatori supervisionati non parametrici - NN e KNN - Applicazione di percettroni multistrato alla classificazione - Teorema di approssimazione della funzione discriminante di Bayes con percettroni multistrato - Problema dei falsi positivi - Reti di funzioni a base radiale.
Reti per previsione di serie temporali - Tapped Delay Neural Networks - Reti Neurali Ricorrenti - Memorie Associative Neurali - Rete di Hopfield - Applicazione a problemi di ottimizzazione combinatoria .
Clustering e Quantizzazione Vettoriale - Code-books- Tassellazione di Voronoi - Approccio Parametrico al clustering - Massima Verosomiglianza - Hard C-Means - Quantizzazione Vettoriale con apprendimento by pattern - Mappe Auto-organizzanti.