Le lezioni vengono svolte in italiano, ed anche il materiale didattico fornito è in italiano.
Contenuto del corso
Il corso affronta il problema di trasmettere efficacemente e fedelmente un messaggio.
Introduce l’informazione come qualcosa di definito e misurabile e fornisce risposta a due quesiti fondamentali per qualsiasi sistema di informazione, ovvero quale è il massimo livello di compressione e quale è la massima velocità di trasmissione dei dati.
Il corso fornisce poi elementi di codifica sia di sorgente che di canale, utilizzate per avvicinarsi ai limiti teorici definiti in precedenza.
Il materiale didattico dell'intero corso è disponibile sulla piattaforma Moodle.
https://e-l.unifi.it/enrol/index.php?id=15090
Come ulteriori testi di consultazione per eventuali approfondimenti:
T. M. Cover, J. A. Thomas: Elements of Information Theory. John Wiley & Sons, New York, 2nd ed 2006
N. Abramson: Information Theory and Coding. McGraw-Hill, New York, 1963.
S. Lin, D. J. Costello Jr.: Error Control Coding: Fundamentals and Applications. Prentice-Hall, 1983.
K. Sayood: Introduction to data compression, Elsevier 4a ed., 2012
S. Benedetto, E. Biglieri, V. Castellani: Digital Transmission Theory, Prentice Hall, 1988.
J. G. Proakis: Digital Communications. McGraw-Hill, 4a Ed., 2001.
A. Papoulis, S.U. Pillai, Probability, Random Variables, and Stochastic Processes, 4th ed., McGraw-Hill, 2002.
Obiettivi Formativi
Il corso ha lo scopo di fornire le conoscenze di base per la rappresentazione in forma compatta dell’informazione e la trasmissione affidabile dell’informazione su un canale di comunicazione con rumore, in particolare:
- Conoscenze dei concetti di base sulla rappresentazione dell’informazione
- Conoscenza degli elementi fondamentali della codifica di sorgente e tecniche di codifica di sorgente
- Conoscenza delle problematiche e caratterizzazione della trasmissione affidabile su canali rumorosi
- Conoscenza sui principi della codifica di canale e tecniche di codifica di canale.
Al termine del corso, lo studente avrà acquisito la capacità di:
- comprendere i principi alla base degli standard correnti per la compressione di dati, audio, immagini e video
- saper applicare tecniche di compressione di sorgente
- comprendere i principi alla base delle tecniche di protezione di un segnale trasmesso su un canale con rumore
- saper applicare tecniche di codifica di canale
Prerequisiti
Si presuppone una conoscenza di base di: teoria dei segnali; teoria delle probabilità; variabili e processi aleatori e loro caratterizzazione nel dominio temporale e della frequenza; calcolo vettoriale e matriciale.
Metodi Didattici
l corso sarà costituito da:
Lezioni frontali svolte con l'ausilio di dispense fornite dal docente (messe a disposizione sulla piattaforma Moodle
https://e-l.unifi.it/enrol/index.php?id=15090)
Seminari finali su nuovi ambiti applicativi della Teoria dell'Informazione
Altre Informazioni
Le date degli appelli di esame sono disponibili on line.
Le dispense ed il materiale didattico verranno messi a disposizione durante il corso sulla pattaforma moodle
Le lezioni saranno fatte in parte in presenza e sempre sulla piattaforma webex e le registrazioni saranno disponibili nel cloud webex.
Gli studenti si devono iscrivere alla piattaforma Moodle (la password non è richiesta) e accedere dal connettore webex disponibile nella sezione annunci.
Modalità di verifica apprendimento
La verifica finale consta di una prova orale durante la quale verranno fatte domande teoriche e svolti esercizi.
Le domande teoriche hanno lo scopo di verificare
- la comprensione del concetto di informazione
- la comprensione della teoria che sta alla base della compressione e della codifica di canale
- la comprensione dei meccanismi e dei principi che permettono di costruire sia un codice di sorgente che di canale
- la comprensione delle caratteristiche dei codici di sorgente e di canale e le metriche di valutazione delle prestazioni
Gli esercizi hanno lo scopo di verificare
- la capacità di applicare i concetti teorici
- la capacità di applicare le tecniche di codifica analizzate
Fino al 31 Dicembre 2020 l'esame si svolgerà in modalità telematica utilizzando Google Meet
Le istruzioni verranno inviate dal docente alla chiusura delle iscrizione all'esame.
Gli studenti che vogliono svolgere l'esame IN PRESENZA devono esprimere la propria preferenza scrivendola nel campo "Note per il docente" al momento dell'iscrizione all'esame. Tutti coloro che non esprimeranno la preferenza, sosterranno la prova automaticamente a distanza.
Programma del corso
PARTE I – INTRODUZIONE - Misura dell’informazione ed Entropia. Entropia di sorgenti discrete, sorgenti senza memoria e con memoria, sorgenti continue.
PARTE II – COMPRESSIONE DI SORGENTE- Introduzione alla codifica di sorgente, classificazione dei codici. Disuguaglianze di Kraft e di McMillan. Lunghezza media di un codice. Primo teorema di Shannon. Codifica di Huffman. Codifica aritmetica. Codifica di Lempel-Ziv, Codifica Run-Length
PARTE III- RATE DISTORTION THEORY- Quantizzazione, distorsione e misura della distorsione. Teoria della Rate-Distortion (cenni): significato della curva di rate-distortion di una sorgente. Funzione di rate distortion per variabili Gaussiane
PARTE IV - CAPACITA’ DI CANALE - Modelli di canale per la trasmissione di informazione. Equivocazione di canale. Capacità di canale. Regole di decisione e probabilità di errore. Disuguaglianza di Fano. Secondo teorema di Shannon, sulla trasmissione affidabile di informazione su canali rumorosi. Capacità di un canale Gaussiano. Limite di Shannon e regione di comunicazione affidabile.
PARTE V - CODIFICA DI CANALE - Codifica a controllo d'errore. Rivelazione e correzione di errori. Codici blocco. Codici lineari. Decodifica hard di codici lineari. Codici ciclici. Codici BCH. Codici Reed-Solomon. Codici concatenati. Tecniche di interleaving. Codici convoluzionali. Decodifica dei codici convoluzionali: algoritmo di Viterbi. Decodifica soft. Guadagno di un codice di canale.
Seminari (i) su Turbo Codifica e LDPC (ii) su physical layer security