Syllabus del Corso di Reti Neurali 1 (una unita')
- a.a. 2001/02
http://www.disi.unige.it/person/MasulliF/syllabus-rn101
Ultima modifica: 24 Genn 2002.
Metodi di ricerca
Metodi di ricerca analitici, enumerativi, casuali - Steepest Ascend/Descent
Procedures - Simulated Annealing - Applicazione al problema TSP.
Generazione numeri casuali
Misure di Casualita' - Generazione di numeri casuali con distribuzione
uniforme - Test del CHI quadro - Generazione di bit casuali - Generazione
di distribuzioni casuali basato sulla legge di trasformazione delle probabilita'
.
Macchine ad appredimento
Apprendimento automatico - Macchine ad apprendimento - Compiti di apprendimento
- Classificazione - Regressione - Bias/variance tradeoff - Stima di densita'
di probabilita' - Clustering e quantizzazione vettoriale - Funzioni approssimanti
- Proprieta' di approassimazione universale di funzioni : Polinomi e funzioni
semiparametriche - Interpretazione connessionista di reti multistrato feed-forward
- Teoria statistica dell'apprendimento - Paradimi di apprendimento Supervisonato,
non-supervisionato, con rinforzo - Generalizzazione - Training set, validation
set, test set - Misure di similarita`/dissimilarita` - Overfitting/Overtraining
- Approcci all'apprendimento parametrico e non-parametrico - Principi di
apprendimento per modelli paramterici - Massima verosomiglianza-Metodi
non- parametrici - Regole del primo vicino e dei k primi vicini - Course
of dimensionality - Complessita' di insiemi di funzioni - Numero parametri
nei polinomi e nelle reti neurali - Dimesnione di Vapnik-Chervonenkis -
Principi induttivi - Minimum description length - Penalizzazione/regolarizzazione
- Mimizzazione del rischio strutturale.
Reti Neurali
Percettroni semplici e multistrato
Neurone e reti di neuroni biologici - Neuroni matematici - Neurone di Mc
Culloch e Pitts - Percettroni semplici - Unita' deterministica a soglia
o Linear Threshold Unit - Problemi linearmente separabili e problemi non
linearmente separabili - Regole hebbiane per LTU - Teorema di convergenza
per LTU - Unita' a funzione di attivazione lineare o ADALINE - Apprendimento
mediate discesa a gradiente - Unita' a funzione di attivazione non lineare
- Percettroni multistrato con unita' tipo LTU - Esistenza della soluzione
per problemi non linearmente separabili - Soluzione problema XOR - Percettrone
multistrato con unita' a funzione di attivazione non lineare - Regola di
apprendimento Back-Propagation - Apprendimento by pattern o by epoch -
Criteri di stop - Early stopping /cross-validation - Bold driver - Momento
- Metodi di ottimizzazione di second'ordine - Metodi globali - Teorema
di approssimazione universale di funzioni - Applicazione alla regressione
- Euristiche per l'implementazione di percettroni multistrato.
Riconoscimento delle forme e reti neurali
Classificazione supervisionata e non supervisionata - Regole di decisione
- Superfici di decisione - Funzioni discriminanti - Regioni di decisione
- Confini di decisione - Condensed Nearest Neigboor - Regola di decisione
di Bayes - Minimizzazione del rischio - Applicazione alla classificazione
- Caso distribuzione normale dei pattern - Equivalenza di classificatori
gaussiani e ADALINE - Classificatori supervisionati parametrici - Stima
con massima verosomiglianza - Classificatori supervisionati non parametrici
- NN e KNN - Applicazione di percettroni multistrato alla classificazione
- Teorema di approssimazione della funzione discriminante di Bayes con
percettroni multistrato - Problema dei falsi positivi - Reti di funzioni
a base radiale.
Altre reti neurali supervisionate supervionate
Reti per previsione di serie temporali - Tapped Delay Neural Networks -
Reti Neurali Ricorrenti - Memorie Associative Neurali - Rete di Hopfield
- Applicazione a problemi di ottimizzazione combinatoria .
Modelli di classificazione non-supervisionata
Clustering e Quantizzazione Vettoriale - Code-books- Tassellazione di Voronoi
- Approccio Parametrico al clustering - Massima Verosomiglianza - Hard
C-Means - Quantizzazione Vettoriale con apprendimento by pattern - Mappe
Auto-organizzanti.
Calcolo Evoluzionario
Ispirazione biologica - Elementi costituenti gli Algoritmi Genetici - Schemi
- Teorema degli schemi - Funzioni GA-hard - Minimal Deceptive Problem -
Convergenza prematura - Stagnazione - Operatori avanzati di selezione -
Stategie Evolutive a due membri e a molti-membri.