Reti Neurali 1 (una unita') - a.a. 2001/02

http://www.disi.unige.it/person/MasulliF/RN101

Docente: Francesco Masulli.
 
Corso:
Prerequisiti
Obiettivi
Programma
Laboratorio
Testi di Riferimento


HOME PAGE DEL CORSO DI RN1 CON AGGIORNAMENTI

Prerequisiti

Obiettivi

Programma del Corso

Introduzione.

Soft Computing e Applicazioni Industriali -Simulatori e implementazioni hardware di sistemi di Soft Computing.

Metodi di ricerca

Metodi di ricerca analitici, enumerativi e  casuali - Steepest Ascend/Descent Procedures - Simulated Annealing - Applicazione al problema TSP.

Generazione numeri casuali

Generazione di numeri casuali con distribuzione uniforme - Applicazioni della  legge di trasformazione delle probabilita'.

Macchine ad appredimento

Macchine ad apprendimento automatico - Compiti di apprendimento - Bias/variance tradeoff  - Funzioni approssimanti - Proprieta' di approssimazione universale di funzioni&ieta' di approssimazione universale di funzioni  - Teoria statistica dell'apprendimento - Paradigmi di apprendimento  - Generalizzazione -  Misure di similarita`/dissimilarita` - Overfitting/Overtraining - Apprendimento parametrico e non-parametrico - Curse of dimensionality - Complessita' di insiemi di funzioni -  Dimensione di Vapnik-Chervonenkis - Principi induttivi - Minimum description length - Penalizzazione/regolarizzazione - Mimizzazione del rischio strutturale.

Reti Neurali

Percettroni semplici e multistrato

Neurone e reti di neuroni biologici -  Neurone di Mc Culloch e Pitts - Percettroni semplici - Percettroni multistrato - Regola di apprendimento Back-Propagation -  Metodi di ottimizzazione di second'ordine - Metodi globali - Teorema di approssimazione universale di funzioni - Applicazione alla regressione - Euristiche per l'implementazione di percettroni multistrato.

Riconoscimento delle forme e reti neurali

Classificazione supervisionata e non supervisionata -  Regola di decisione di Bayes - Minimizzazione del rischio - Applicazione alla classificazione - Equivalenza di classificatori gaussiani e ADALINE - Classificatori supervisionati parametrici e non parametrici -  App non parametrici -  Applicazione di percettroni multistrato alla classificazione - Teorema di approssimazione della funzione discrimazione della funzione discriminante di Bayes con percettroni multistrato - Problema dei falsi positivi - Reti di funzioni a base radiale.

Altre reti neurali supervisionate

Reti per previsione di serie temporali - Tapped Delay Neural Networks - Reti Neurali Ricorrenti - Memorie Associative Neurali - Rete di Hopfield - Applicazione a problemi di ottimizzazione combinatoria .

Modelli di classificazione non-supervisionata

Clustering e Quantizzazione Vettoriale - Code-books- Tassellazione di Voronoi - Approccio Parametrico al clustering - Massima Verosomiglianza - Hard C-Means - Quantizzazione Vettoriale con apprendimento by pattern - Mappe Auto-organizzanti.

Calcolo Evoluzionario

Algoritmi Genetici - Teorema degli schemi - Funzioni GA-hard - Minimal Deceptive Problem - Convergenza prematura - Stagnazione - Operatori avanzati di selezione - Operatori avanzati di crossover - GA per ottimizzazione combinatoria - Stategie Evolutive .

Ulteriori dettagli del programma sono presenti sul Syllabus

Laboratorio

• Discesa a gradiente.
• Studio di generatori di numeri casuali.
• Simulated annealing.
• SGA e sua applicazione all'ottimizzazione di funzioni.
• GA e ottimizzazione combinatoria.
• Classificatori parametrici.
• Classificatori non parametrici.
• Percettrone semplice.
• Percettrone multistrato.
• Mappe auto-organizzanti.

Testi di riferimento

• Libri di testo

D.E. Goldberg. Genetic Algorithms in Search, Optimization and Machine Learning, Addison Wesley, 1989 (MAT 68-1989-48IN, CHI1 M.9, ING1 A.ELE.T.0264).

C. Domeniconi & M. Jordan. Discorsi sulle Reti Neurali e l'Apprendimento", Franco Angeli Editore, 2001.

• Altri testi consigliati

H.D.I Abarbanel, Analysis of Observed Chaotic Data, Springer, 1996 (MAT 68-1996-198,IFI BIBL.DOC.53).

C.M. Bishop, Neural Networks for Pattern Recognition, Oxford U.P., 1995 ( (MAT 68-1995-190, ING2 AI.0135. ARC C.3673, SAV 006.3 BIS).

C. Chatfield, The Analysis of Time Se SAV 006.3 BIS).

C. Chatfield, The Analysis of Time Series-An Introduction, Chapmann and Hall, 1996 (MAT 68-1996-196).

V. Cherkassky e F. Mulier, Learning from data : concepts, theory, and methods, Wiley, 1998 (MAT 68-1998-229)

N. Cristianini, J. Shawe,TaylorAn Introduction to Support Vector Machines : And Other Kernel-Based Learning Methods, Cambridge University Press, 2000.

R.O. Duda e P.E. Hart, Pattern Classification and Scene Analysis, J. Wiley & Sons, 1973, (MAT 68-1973-03IN, ING2 EL.0069).

D. Floreano, Manuale sulle Reti Neurali, Il Mulino, 1996 (ARC C.3475, ECO 006.3/001).

D.B. Fogel, Evolutionary Computation, IEEE Press, 1995 (MAT 68-1995-191).

J. Hertz, A. Krogh, & R.G. Palmer, Introduction to the Theory of Neural Computation, Addison Wesley, 1991 (MAT 68-1991-118, FIS 577.27 HER 70, ING2 EL.0666, ING2 EL.0665, ING2 EL.0994)NG2 EL.0665, ING2 EL.0994).

S. Haykin, Neural Networks-A Comprehensive Foundation (2nd ed.) , IEEE Press, 1998 (MAT 68-1994-037IN).

V. Kechman, Learning and Soft Computing, MIT Press, Cambridge, MA, 2001

J.R. Koza, Genetic Programming, MIT Press, 1992 (MAT 68-1992-038IN).

M. Mitchell, An Introduction to Genetic Algoritms, MIT Press, 1996 (MAT 68-1996-197).

A. Papoulis Probalility, random variables and stochastic processes, McGraw-Hill, 1991 (IMI MM:0259, ING2 GE.0925, ING2 MAN.04.0038, ING1 A.MAT.T.0252, ING2 MAN.04.0026).

T.S. Parker & L.O. Chua, Practical Numerical Algorithms for Chaotic Systems, Springer Verlag, 1989 (MAT 68-1989-49IN, IID 32.2.006).

W.H. Press, S. A. Teukolsky, W.T. Vetterling, B.P. Flannery Numerical Recepies in C: the Art of Scientific Computing (2nd ed.), Cambridge University Press, 1992 (MAT 68-1992-094, NG2 EL.O1.0151, DISEG F.0796). Vedi anche sito web ww.nr.com .

H.P. Schwefel, Evolution and Optimum Seeking, J. Wiley & Sons, 1995.