Reti Neurali (6 crediti) A.A. 2003/04

http://www.disi.unige.it/person/MasulliF/RN03.hml
Ultima modifica: 20 Nov 2003.
Commenti a Francesco Masulli.

Docente: Francesco Masulli.

Corso:

Prerequisiti

Obiettivi

Programma

Laboratorio

Testi di Riferimento
Home Page - Informazioni On-Line

Motivazioni

Le Reti Neurali (NN) sono macchine per l'elaborazione dell'informazione basate sulla metafora connessionistica delle reti di neuroni dei sistemi nervosi biologici. I compiti di elaborazione che vengono affrontati con le NN sono principalmente quelli di classificazione (p.e., riconoscimento di caratteri manoscritti), di regressione (p.e., stima di variabili di stato in un impianto), di previsione (p.e., previsione di indici di borsa), di quantizzazione vettoriale (p.e., codifica di immagini televisive digitali), analisi di componenti indipendenti (p.e., deconvoluzione di segnali), clustering (p.e., fusione di dati).
Le NN possono apprendere il loro compito di elaborazione in base a una serie di esempi, vengono normalmente simulate attraverso raffinati algoritmi di calcolo numerico e presentano un parallelismo di elaborazione massivo che ha ispirato loro implementazioni in VLSI sia digitale che analogico. Insieme al Calcolo Evoluzionario (EC) e alla Logica Sfumata (FL), i NN sono uno dei principali costituenti del cosidetto Soft Computing (SC).
A Genova l'attivita' su NN e' iniziata negli anni 60 con il progetto pionieristico PAPA (Programmatore Automatico e Analizzatore di Probabilita') presso l'allora Istituto di Fisica dell'Universita' in Viale Benedetto XV, ed attualmente a livello locale coinvolge diversi gruppi di ricerca presso varie facolta' universitarie, enti di ricerca, ospedali e industrie.

Obiettivi

Conoscenza delle basi teoriche dell'apprendimento automatico e delle reti neurali e capacita' di applicare le reti neurali a problemi concreti.

Prerequisiti

Programmazione. Elementi di analisi matematica, algebra lineare, calcolo numerico, probabilita' e statistica.

Programma del Corso

Macchine ad apprendimento automatico

Richiami di statistica e probabilita' - Compiti di apprendimento - Bias/variance tradeoff - Funzioni approssimanti - Proprieta' di approssimazione universale di funzioni - Teoria statistica dell'apprendimento - Paradigmi di apprendimento - Generalizzazione - Misure di similarita`/dissimilarita` - Overfitting/Overtraining - Apprendimento parametrico e non-parametrico - Curse of dimensionality - Complessita' di insiemi di funzioni - Dimensione di Vapnik-Chervonenkis - Principi induttivi - Minimum description length - Penalizzazione/regolarizzazione - Mimizzazione del rischio strutturale - Valutazione e confronto di macchine ad apprendimento automatico.

Apprendimento Bayesiano

Classificazione supervisionata e non supervisionata - Regole di decisione - Superfici di decisione - Funzioni discriminanti - Regioni di decisione - Confini di decisione - Teoria delle decisioni di Bayes - Minimizzazione del rischio - Applicazione alla classificazione - Funzioni discriminanti per distribuzione normale dei pattern - - Classificatori supervisionati parametrici - Stima con massima verosomiglianza - Stima Bayesiana - Classificatori supervisionati non parametrici - K- nearest neighbor - Condensed Nearest Neigbor - Classificatore Naive di Bayes - Applicazione alla classificazione del testo: Filtri anti-SPAM - Bayesian Belief Networks.

Reti Neurali

Apprendimento con supervisore

Neurone e reti di neuroni biologici - Neurone di Mc Culloch e Pitts - Percettroni semplici - Percettroni multistrato - Regola di apprendimento Back-Propagation - Metodi di ottimizzazione di second'ordine - Metodi globali - Teorema di approssimazione universale di funzioni - Applicazione alla regressione - Euristiche per la simulazione di percettroni multistrato - Equivalenza di classificatori gaussiani e ADALINE - Applicazione di percettroni multistrato alla classificazione - Teorema di approssimazione della funzione discriminante di Bayes con percettroni multistrato - Problema dei falsi positivi - Reti di funzioni a base radiale. Reti per previsione di serie temporali - Tapped Delay Neural Networks - Reti Neurali Ricorrenti - Memorie Associative Neurali - Rete di Hopfield - Applicazione a problemi di ottimizzazione combinatoria - Sistemi Neuro-Fuzzy - Fuzzy Basis Function network - ANFIS.

Apprendimento senza supervisore

Clustering e Quantizzazione Vettoriale - Code-books - Tassellazione di Voronoi - Approccio Parametrico al clustering - Algoritmo EM - Hard C- Means - ISODATA Quantizzazione Vettoriale con apprendimento by pattern - Mappe Auto-organizzanti - Capture Effect Neural Network - Neural Gas - Fuzzy C-Means e regolarizzazione - Informazione e Entropia - MEP-FC e Deterministic Annealing - Clustering probabilistico e Clustering Possibilistico - Possibilistic Clustering - Modello di Clustering Possibilistico Graduato - Applicazione alla segmentazione di immagini biomediche multivariate - Applicazione alla detezione di rette - Applicazione alla selezione di features - Analisi delle componenti principali - Analisi delle componenti indipendenti.

Ulteriori dettagli del programma sono presenti sul Syllabus.

Laboratorio

Gli studenti lavoreranno organizzati in gruppi di laboratorio e implementeranno alcuni algoritmi sui seguenti temi:

Discesa a gradiente.
Studio di generatori di numeri casuali.
Classificatori parametrici.
Classificatori non parametrici.
Percettrone semplice.
Percettrone multistrato.
Mappe auto-organizzanti.

Testi di riferimento

Libri di testo:

[DHS01] R.O. Duda, P.E. Hart e D.G. Stork, Pattern Classification, 2nd. ed. J. Wiley & Sons, 2001, (ING.006.4.21 - Vecchia edizione del 1973 MAT 68-1973-03IN, ING2 EL.0069) ISBN: 0471056693.
[HKP91] J. Hertz, A. Krogh, & R.G. Palmer, Introduction to the Theory of Neural Computation, Addison Wesley, 1991 (MAT 68-1991-118, FIS 577.27 HER 70, ING2 EL.0666, ING2 EL.0665, ING2 EL.0994).
[HAY98] S. Haykin, Neural Networks, A Comprehensive Foundation (2nd ed.), IEEE Press, 1998 (MAT 68-1994-037IN).

Altri testi consigliati:

[BIS95] C.M. Bishop, Neural Networks for Pattern Recognition, Oxford U.P., 1995 (MAT 68-1995-190, ING2 AI.0135. ARC C.3673, SAV 006.3 BIS).
[CM98] V. Cherkassky e F. Mulier, Learning from data : concepts, theory, and methods, Wiley, 1998 (MAT 68-1998-229)
[CST2000] N. Cristianini e J. Shawe-Taylor, An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods, Cambridge University Press, 2000 (CSB ECO 006.31/002 MA-IN) ISBN: 0521780195.
[DJ01] C. Domeniconi e M. Jordan. Discorsi sulle Reti Neurali e l'Apprendimento, Franco Angeli Editore, 2001.
[FLO96] D. Floreano, Manuale sulle Reti Neurali, Il Mulino, 1996 (ARC C.3475, ECO 006.3/001).
[FLE80] R. Fletcher, Pratical methods of optimization, vol. 1 e 2, John Wiley & Sons, 1980 e 1981 (MAT 49-1980-09 e MAT 49-1981-06).
[HTF01] T. Hastie, R. Tibshirani, J. H. Friedman, The Elements of Statistical Learning, Springer Verlag, 2001 (ECO 006.31/003 MA-IN) ISBN: 0387952845.
[KEC01] V. Kecman, Learning and Soft Computing, MIT Press, Cambridge, MA, 2001.ISBN: 0262112558.
[KIT97] L.J. Kitchens, Exploring Statistics, Duxbury Press; 2 edition, 1997 ISBN: 0534263461.
[LIP68] S. Lipschutz, Theory and problems of probability, Schaum Publishing Co., 1968 (MAT 60-1968-22, DIEM Sez. Matematica Finanziaria L I 1 98.)
[MIT97] T. M. Mitchell, Machine learning, McGraw-Hill, 1997, ISBN: 0070428077.
[PAP91] A. Papoulis, Probalility, random variables and stochastic processes, McGraw-Hill, 1991 (IMI MM:0259, ING2 GE.0925, ING2 MAN.04.0038, ING1 A.MAT.T.0252, ING2 MAN.04.0026) ISBN: 0072817259.
[PTVF92] W.H. Press, S. A. Teukolsky, W.T. Vetterling, B.P. Flannery, Numerical Recepies in C: the Art of Scientific Computing (2nd ed.), Cambridge University Press, 1992 (MAT 68-1992-094, ING2 EL.O1.0151, DISEG F.0796). Vedi anche sito web ww.nr.com .
[RUD76] W. Rudin, Principles of mathematical analysis, MacGraw-Hill, 1976 (MAT 26-1964-04, DIEM Sez. Matematica Finanziaria E I 5 19, trad italiana, ING1 A.MAT.T.0246, DIEM Sez. Matematica Finanziaria A II 1 31).
[SPI61] M.R. Spiegel, Murray Ralph Schaum's outline of theory and problems of statistics, Schaum Publishing Co., 1961 (MAT 62-1961-09, FIS 519.2 SPI 120, DIP F 4 / 0001, DICHEP 17D3.CNR.0097).

Ulteriore materiale didattico sara' reso disponibile agli studenti durante il corso.