Lezione 41

Dimostrazione del teorema ergodico per CM omogenee. Tasso di entropia di un processo stocastico. Suo significato in termini di compressione dei dati.

Lezione 40

Criterio di stazionerietà per CM. Rappresentazione grafica di matrici di transizione. Matrici stocastiche ergodiche. Teorema ergodico per CM omogenee.

Lezione 39

Processi stocastici. Catene di Markov. Stazionarietà ed omogeneità per CM. Probabilità dello stato iniziale, matrice di transizione e loro utilizzo.

Lezione 38

Lemma dell'equipartizione asintiotica. Teorema di Shannon-McMillan-Breiman (versione di Shannon per variabili i.i.d.). Compressione dati tramite il Teorema di SMB.

Lezione 37

Esercizi. Entropia di una partizione numerabile. Introduzione al teorema di Shannon-McMillan-Breiman.

Lezione 36

Dimostrazione della disuguaglianza di Fano; corollari ed applicazioni. Stime dall'alto della probabilità di errore.

Lezione 35

Data Processing Inequality. Corollari ed esempi. Disuguaglianza di Fano.

Lettura extra: Minibiografia di Robert(o) Fano (da Wikipedia).

Lezione 34

Esercizi sulla mutua informazione ed ulteriori proprietà. Regola di composizione dell'entropia (condizionale). Mutua informazione condizionale. Regola di composizione della mutua informazione (condizionale). Sequenze brevi di Markov.

Lezione 33

Versione forte della disuguaglianza di Jensen. Entropia relativa (divergenza di Kullback-Leibler). Spiegazione euristica dell'entropia relativa come spreco medio di bit per cifra usando un codice sbagliato. Mutua informazione (informazione comune) e sue proprietà.

Lezione 32

Dimostrazione del teoremone. Entropia di una viariabile aleatoria. Entropia condizionale ed entropia congiunta. Regola di composizione dell'entropia. Entropia della Y funzione della X.

Verifica scritta facoltativa

Materiale verificato: tutta la parte di meccanica e teoria cinetica

Lezione 31

Operazioni sulle partizioni. Entropia condizionale. Disuguaglianza di Jensen. "Teoremone" sull'entropia condizionale e suo corollario.