Il corso affronta il problema di trasmettere efficacemente e fedelmente un messaggio. Introduce l’informazione come qualcosa di definito e misurabile e fornisce risposta a due quesiti fondamentali per qualsiasi sistema di informazione, ovvero quale è il massimo livello di compressione e quale è la massima velocità di trasmissione dei dati. Il corso fornisce poi elementi di codifica sia di sorgente che di canale, utilizzate per avvicinarsi ai limiti teorici definiti in precedenza.
T. M. Cover, J. A. Thomas: Elements of Information Theory. John Wiley & Sons, New York, 2nd ed 2006
N. Abramson: Information Theory and Coding. McGraw-Hill, New York, 1963.
S. Benedetto, E. Biglieri, V. Castellani: Digital Transmission Theory, Prentice Hall, 1988.
S. Lin, D. J. Costello Jr.: Error Control Coding: Fundamentals and Applications. Prentice-Hall, 1983.
J. G. Proakis: Digital Communications. McGraw-Hill, 4a Ed., 2001.
A. Papoulis, S.U. Pillai, Probability, Random Variables, and Stochastic Processes, 4th ed., McGraw-Hill, 2002.
Obiettivi Formativi
Il corso ha lo scopo di fornire le conoscenze di base per la rappresentazione in forma compatta dell’informazione e la trasmissione sicura su un canale di comunicazione con rumore.
Al termine del corso, lo studente avrà acquisito la capacità di: comprendere i principi alla base degli standard correnti per la compressione di dati, audio, immagini e video e quelli alla base delle tecniche di protezione di un segnale trasmesso su un canale con rumore.
Prerequisiti
Si presuppone una conoscenza di base di: teoria dei segnali; teoria delle probabilità; variabili e processi aleatori e loro caratterizzazione nel dominio temporale e della frequenza; calcolo vettoriale e matriciale.
Metodi Didattici
Lezioni frontali
Modalità di verifica apprendimento
Esame orale con domande su tutto il programma, dimostrazioni e svolgimento di esercizi.
Programma del corso
PARTE I – INTRODUZIONE - Misura dell’informazione ed Entropia. Entropia di sorgenti discrete, sorgenti senza memoria e con memoria, sorgenti continue.
PARTE II – COMPRESSIONE DI SORGENTE- Introduzione alla codifica di sorgente, classificazione dei codici. Disuguaglianze di Kraft e di McMillan. Lunghezza media di un codice. Primo teorema di Shannon. Codifica di sorgenti estese. Codici compatti. Codifica di Huffman. Codifica aritmetica. Codifica di Lempel-Ziv, Codifica Run-Length
PARTE III- RATE DISTORTION THEORY- Quantizzazione, distorsione e misura della distorsione. Teoria della Rate-Distortion (cenni): significato della curva di rate-distortion di una sorgente. Funzione di rate distortion per variabili Gaussiane
PARTE III - CAPACITA’ DI CANALE - Modelli di canale per la trasmissione di informazione. Equivocazione di canale. Capacità di canale. Regole di decisione e probabilità di errore. Disuguaglianza di Fano. Secondo teorema di Shannon, sulla trasmissione affidabile di informazione su canali rumorosi. Capacità di un canale Gaussiano. Limite di Shannon e regione di comunicazione affidabile.
PARTE IV - CODIFICA DI CANALE - Codifica a controllo d'errore. Rivelazione e correzione di errori. Codici blocco. Codici lineari. Decodifica hard di codici lineari. Codici ciclici. Codici BCH. Codici Reed-Solomon. Codici concatenati. Tecniche di interleaving. Codici convoluzionali. Decodifica dei codici convoluzionali: algoritmo di Viterbi. Decodifica soft. Guadagno di un codice di canale.