Introduzione alle variabili e processi aleatori. Concetto di stimatore. Stimatori a minima varianza non polarizzati. Cramer-Rao lower bound. Statistica sufficiente. Modelli e stimatori lineari. Stima a massima verosimiglianza. Stima ai minimi quadrati. Approccio Bayesiano alla stima, stimatori MMSE e MAP, filtro di Wiener. Stime spettrali non parametriche. Stime spettrali parametriche. Spettri razionali, modelli ARMA. Spettri a righe, metodi basati su sottospazi. Stima spaziale, array di sensori
1) S.M. Kay, Fundamentals of statistical signal processing: Volume I - Estimation theory, Prentice Hall, 1998.
2) A.M. Mood, F.A. Graybill, D.C. Boes, Introduction to the theory of statistics, McGraw-Hill, 1974.
3) L.L Sharf, Statistical Signal Processing, Addison-Wesley Publishing Co., 1990.
4) M.H. Hayes, Statistical Digital Signal Processing and Modeling, John Wiley & Sons, 1996.
5) P. Stoica, R.L. Moses, Spectral Analysis of Signals, Prentice Hall, 2005.
6) A. Papoulis, S.U. Pillai, Probability, Random Variables, and Stochastic Processes, 4th ed., McGraw-Hill, 2002.
7) D. Manolakis, V.K. Ingle, S.M. Kogon, Statistical and Adaptive Signal Processing: Spectral Estimation, Signal Modeling, Adaptive Filtering and Array Processing, Artech House, 2005.
Obiettivi Formativi
Il corso ha lo scopo di fornire le conoscenze di base per il trattamento dei segnali stocastici (con particolare attenzione alla teoria della stima di parametri, il filtraggio di segnali aleatori, i metodi di stima spettrale) e la capacità di applicare tale conoscenza in casi concreti nell'ambito dell'Ingegneria delle Telecomunicazioni.
Conoscenza e comprensione:
- conoscenza dei metodi classici della teoria della stima (stimatori non polarizzati a minima varianza, statistica sufficiente, Cramer-Rao lower bound, stima a massima verosimiglianza, stima ai minimi quadrati);
- conoscenza dei metodi della stima Bayesiana (MMSE, MAP, LMMSE, filtraggio di Wiener);
- conoscenza dei metodi di stima spettrale non parametrica (periodogramma, Welch-Bartlett, Blackman-Tukey);
- conoscenza dei metodi di stima spettrale parametrici (modelli ARMA, metodi ai sottospazi, MUSIC, ESPRIT).
Capacità di applicare conoscenza e comprensione:
- capacità di classificare i diversi metodi e i criteri usati nella teoria della stima e di selezionare i metodi più idonei nelle singole applicazioni per estrarre i parametri di interesse di un segnale in presenza di rumore;
- capacità di implementare algoritmi di stima in contesti applicativi nell'ambito dell'Ingegneria delle Telecomunicazioni mediante idonei software di simulazione e di valutarne le prestazioni.
Prerequisiti
Si presuppone una conoscenza di base di: teoria dei segnali; teoria delle probabilità; variabili e processi aleatori e loro caratterizzazione nel dominio temporale e della frequenza; calcolo vettoriale e matriciale.
Metodi Didattici
Lezioni frontali
Modalità di verifica apprendimento
L'esame finale consiste in due prove:
- un elaborato al calcolatore da effettuarsi (preferibilmente) in linguaggio MATLAB su un argomento concordato con il docente;
- una prova orale sugli argomenti svolti durante il corso.
L'obiettivo della prima prova (elaborato al computer) è quello di verificare la capacità di:
- saper modellare un problema di stima;
- sapere estrarre informazioni di interesse utilizzando uno degli stimatori discussi durante il corso;
- sapere utilizzare idonei criteri di qualità per valutare la bontà di uno stimatore.
L'obiettivo della prova orale è quello di verificare:
- le conoscenze teoriche alla base della stima classica e Bayesiana;
- le conoscenze teoriche alla base della stima spettrale.
Programma del corso
Richiami sulla definizione e proprietà delle variabili aleatorie. Richiami sui processi aleatori.
Introduzione al problema della stima [Kay, cap. 1-2]
Dati osservati e modello del segnale. Generalità sugli stimatori. PDF dei dati. Bias di uno stimatore. Stimatore minimum variance unbiased (MVU): caso scalare e vettoriale. Esempi di calcolo della media e della varianza degli stimatori.
Cramer-Rao lower bound (CRLB) [Kay, cap. 3, sez. 3.4-3.7, appendice 3A; Mood, cap. VII, sez. 5.1]
Teorema del calcolo del CRLB, caso scalare. Informazione di Fisher. CRLB e trasformazione dei parametri. CRLB per segnale in AWGN. Calcolo del CRLB per vettore di parametri. Esempi di calcolo del CRLB, caso scalare e vettoriale.
Statistica sufficiente [Kay, cap. 5, sez. 5.3-5.6; Mood, cap. VII, sez. 4.1-4.3, 5.2; Sharf, cap. 3, sez. 3.1-3.2, 3.6]
Definizione e proprietà di una statistica sufficiente. Fattorizzazione di Neyman-Fischer. Uso della statistica sufficiente per ricavare lo stimatore MVU, teoremi di Rao-Blackwell e di Lehmann-Scheffe. Estensione al caso vettoriale.
Modello lineare e stima lineare [Kay, cap. 4, sez. 4.3-4.5, cap. 6, sez. 6.3-6.4]
Stimatore per il modello lineare e sua covarianza. Modello lineare generalizzato ed estensione al caso vettoriale. Best unbiased linear estimator (BLUE), caso scalare e vettoriale. Esempi di calcolo del BLUE.
Stima a massima verosimiglianza [Kay, cap. 7, sez. 7.3-7.7; Mood, cap. VII, sez. 2.2]
Definizione e motivazioni della stima a massima verosimiglianza (maximum likelihood estimator, MLE). Proprieta' asintotiche del MLE. Calcolo del MLE per via numerica. Stimatore ML per trasformazione dei parametri. Stima ML per vettore di parametri. Esempi di stima ML.
Stima ai minimi quadrati [Kay, cap. 8, sez. 8.3-8.5]
Approccio ai minimi quadrati (least squares, LS). Stima LS con modello lineare. Weighted LS. Interpretazione geometrica della stima LS. Stima LS non lineare.
Stima Bayesiana [Kay, cap. 10, sez. 10.3-10.6, cap. 11, sez. 11.3-11.6, cap. 12, sez. 12.3-12.5, 12.7; Hayes, cap. 7, sez. 7.2.1, 7.3.1]
Approccio Bayesiano alla stima. PDF a priori e a posteriori. Stimatore Bayesiano in senso MMSE. Modello lineare Bayesiano generalizzato. Esempi di stima Bayesiana. Stima Bayesiana con vettore di parametri. Rischio di Bayes. Stima maximum a posteriori (MAP). Stima MAP vettoriale. Esempi di stima MAP. Stima LMMSE, caso scalare e vettoriale. Esempi di stima LMMSE. Interpretazione geometrica stima LMMSE. Teoria del filtraggio ottimo. Filtro di Wiener: predizione, filtraggio, smoothing. Filtraggio FIR. Filtraggio IIR non causale.
Stime spettrali [Hayes, cap. 8, sez. 8.2; Stoica, cap. 3, sez. 3.1-3.4, 3.6-3.7, cap. 4, sez. 4.2-4.3, 4.5, 4.7, cap. 6, 6.2, 6.4]
Metodi non parametrici: periodogramma, periodogramma modificato, metodo di Welch-Bartlett, metodo di Blackman-Tukey. Metodi parametrici: stime spettrali basate su modelli AR, MA e ARMA. Metodi agli autovalori, Pisarenko Harmonic Decomposition, MUSIC, ESPRIT. Metodi di filtraggio spaziale, array di sensori.