Reti Neurali I a.a. 2002/03 Laurea Quinquennale
Reti Neurali a.a. 2002/03 -
Laurea Triennale (7 crediti)
http://www.disi.unige.it/person/MasulliF/RN02
- Ultima modifica: 17 ottobre 2002. Commenti a Francesco Masulli.
Docente: Francesco Masulli.
Motivazioni
Le Reti Neurali (NN) sono macchine per l'elaborazione dell'informazione
basate sulla metafora connessionistica delle reti di neuroni dei
sistemi nervosi biologici. I compiti di elaborazione che vengono affrontati
con le NN sono principalmente quelli di classificazione (p.e.,
riconoscimento di caratteri manoscritti), di regressione (p.e., stima
di variabili di stato in un impianto), di previsione (p.e., previsione
di indici di borsa), di quantizzazione vettoriale (p.e., codifica
di immagini televisive digitali), analisi di componenti indipendenti
(p.e., deconvoluzione di segnali), clustering (p.e., fusione di
dati).
Le NN possono apprendere il loro compito di elaborazione in base
a una serie di esempi, vengono normalmente simulate attraverso
raffinati algoritmi di calcolo numerico e presentano un parallelismo
di elaborazione massivo che ha ispirato loro implementazioni in VLSI
sia digitale che analogico. Insieme al Calcolo Evoluzionario (EC)
e alla Logica Sfumata (FL), i NN sono uno dei principali costituenti
del cosidetto Soft Computing (SC).
A Genova l'attivita' su NN e' iniziata negli anni 60 con il
progetto pionieristico P.A.P.A. (Pattern Analyzer
and Probalistic Associator) presso l'Istituto di Fisica dell'Universita'
in Viale Benedetto XV, ed attualmente a livello locale
coinvolge diversi gruppi di ricerca presso varie facolta' universitarie,
enti di ricerca, ospedali e industrie.
Obiettivi
Conoscenza delle basi teoriche dell'apprendimento
automatico e delle reti neurali e capacita' di applicare le reti
neurali a problemi concreti.
Prerequisiti
Programmazione in linguaggio C o
C++ . Elementi di analisi matematica, algebra lineare, calcolo numerico,
probabilita' e statistica.
Programma del Corso
Generalita'
Introduzione.
Soft Computing e Applicazioni Industriali - Simulatori e implementazioni
hardware di sistemi di Soft Computing.
Metodi di ricerca
Metodi di ricerca analitici, enumerativi, casuali
- Steepest Ascend/Descent Procedures - Simulated Annealing - Calcolo Evoluzionario
- Applicazione al problema TSP.
Generazione numeri casuali
Generazione di numeri casuali con distribuzione uniforme
- Applicazioni della legge di trasformazione delle probabilita'.
Macchine ad apprendimento automatico
Compiti di apprendimento - Bias/variance tradeoff
- Funzioni approssimanti - Proprieta' di approssimazione universale di
funzioni - Teoria statistica dell'apprendimento - Paradigmi di apprendimento
- Generalizzazione - Misure di similarita`/dissimilarita` - Overfitting/Overtraining
- Apprendimento parametrico e non-parametrico - Curse of dimensionality
- Complessita' di insiemi di funzioni - Dimensione di Vapnik-Chervonenkis
- Principi induttivi - Minimum description length - Penalizzazione/regolarizzazione
- Mimizzazione del rischio strutturale.
Reti Neurali
Modelli supervisionati
Neurone e reti di neuroni biologici - Neurone
di Mc Culloch e Pitts - Percettroni semplici - Percettroni multistrato
- Regola di apprendimento Back-Propagation - Metodi di ottimizzazione
di second'ordine - Metodi globali - Teorema di approssimazione universale
di funzioni - Applicazione alla regressione - Euristiche per la simulazione
di percettroni multistrato. Classificazione supervisionata e non supervisionata
- Regola di decisione di Bayes - Minimizzazione del rischio - Applicazione
alla classificazione - Equivalenza di classificatori gaussiani e ADALINE
- Classificatori supervisionati parametrici e non parametrici -
Applicazione di percettroni multistrato alla classificazione
- Teorema di approssimazione della funzione discriminante di Bayes con percettroni
multistrato - Problema dei falsi positivi - Reti di funzioni a base radiale.
Reti per previsione di serie temporali - Tapped Delay Neural Networks
- Reti Neurali Ricorrenti - Memorie Associative Neurali - Rete di Hopfield
- Applicazione a problemi di ottimizzazione combinatoria.
Modelli non supervisionati
Clustering e Quantizzazione Vettoriale - Code-books - Tassellazione
di Voronoi - Approccio Parametrico al clustering - Massima Verosomiglianza
- Hard C-Means - Quantizzazione Vettoriale con apprendimento by pattern
- Mappe Auto-organizzanti.
Ulteriori dettagli del programma sono presenti sul Syllabus.
Laboratorio
Gli studenti lavoreranno organizzati in gruppi di laboratorio e
implementeranno alcuni algoritmi sui seguenti temi:
- Discesa a gradiente.
- Studio di generatori di numeri casuali.
- Classificatori parametrici.
- Classificatori non parametrici.
- Percettrone semplice.
- Percettrone multistrato.
- Mappe auto-organizzanti.
Testi di riferimento
- Libri di testo
- C. Domeniconi e M. Jordan. Discorsi sulle Reti Neurali
e l'Apprendimento, Franco Angeli Editore, 2001.
- Altri testi consigliati
- H.D.I . Abarbanel, Analysis of Observed Chaotic Data,
Springer, 1996 (MAT 68-1996-198, IFI BIBL.DOC.53).
- C.M. Bishop, Neural Networks for Pattern Recognition, Oxford
U.P., 1995 (MAT 68-1995-190, ING2 AI.0135. ARC C.3673, SAV 006.3 BIS).
- C. Chatfield, The Analysis of Time Series - An Introduction,
Chapmann and Hall, 1996 (MAT 68-1996-196).
- V. Cherkassky e F. Mulier, Learning from data : concepts, theory,
and methods, Wiley, 1998 (MAT 68-1998-229)
- N. Cristianini e J. Shawe-Taylor, An Introduction to
Support Vector Machines and Other Kernel-Based Learning Methods, Cambridge
University Press, 2000.
- R.O. Duda, P.E. Hart e D.G. Stork, Pattern Classification,
2nd. ed. J. Wiley & Sons, 1991, (ING.006.4.21 - Vecchia edizione
del 1973 MAT 68-1973-03IN, ING2 EL.0069).
- D. Floreano, Manuale sulle Reti Neurali, Il Mulino, 1996 (ARC
C.3475, ECO 006.3/001).
- D.B. Fogel, Evolutionary Computation, IEEE Press, 1995 (MAT
68-1995-191).
- J. Hertz, A. Krogh, & R.G. Palmer, Introduction to the
Theory of Neural Computation, Addison Wesley, 1991 (MAT 68-1991-118, FIS
577.27 HER 70, ING2 EL.0666, ING2 EL.0665, ING2 EL.0994).
- S. Haykin, Neural Networks-A Comprehensive Foundation (2nd
ed.) , IEEE Press, 1998 (MAT 68-1994-037IN).
- V. Kecman, Learning and Soft Computing, MIT Press, Cambridge,
MA, 2001
- A. Papoulis Probalility, random variables and stochastic processes,
McGraw-Hill, 1991 (IMI MM:0259, ING2 GE.0925, ING2 MAN.04.0038, ING1
A.MAT.T.0252, ING2 MAN.04.0026).
- T.S. Parker & L.O. Chua, Practical Numerical Algorithms
for Chaotic Systems, Springer Verlag, 1989 (MAT 68-1989-49IN, IID 32.2.006).
- W.H. Press, S. A. Teukolsky, W.T. Vetterling, B.P. Flannery
Numerical Rece. Vetterling, B.P. Flannery Numerical Recepies in C: the
Art of Scientific Computing (2nd ed.), Cambridge University Press, 1992
(MAT 68-1992-094, NG2 EL.O1.0151, DISEG F.0796). Vedi anche sito web ww.nr.com .
Ulteriore materiale didattico sara' reso disponibile agli studenti
durante il corso.