Fondamenti di Teoria dell'Informazione e Codifica a Prefisso

La teoria dell'informazione fornisce le fondamenta matematiche per la compressione dei dati, i moderni sistemi di comunicazione e il machine learning. Questo corso scompone i concetti essenziali della teoria dell'informazione in spiegazioni scritte accessibili e passo dopo passo ed esercizi pratici. Inizierai dalle definizioni fondamentali delle distribuzioni di probabilità e delle misure di informazione, per poi progredire attraverso tecniche di codifica binaria ottimale, limiti di entropia e metriche di divergenza utilizzate nell'informatica moderna. Cosa imparerai: - Comprendere i principi fondamentali della codifica a prefisso binario e dei codici univocamente decodificabili - Calcolare l'entropia di Shannon e determinare i limiti inferiori teorici sulla lunghezza media del codice - Analizzare la disuguaglianza di Kraft e il suo ruolo nella costruzione dei codici a prefisso - Misurare l'entropia relativa e la divergenza di Kullback-Leibler tra distribuzioni di probabilità - Valutare la distanza statistica (distanza di variazione totale) e applicare la disuguaglianza di Pinsker - Esplorare le moderne connessioni tra misure di informazione, compressione dei dati e machine learning Il corso inizia con la terminologia fondamentale e i concetti essenziali di probabilità prima di passare a dimostrazioni dettagliate, tecniche di costruzione del codice e insiemi di problemi analitici. Questo corso è progettato per principianti curiosi, studenti di informatica e programmatori interessati all'informatica teorica. Non è richiesta alcuna esperienza avanzata nella teoria dell'informazione. Inizia a leggere oggi per costruire una solida base concettuale nella teoria dell'informazione.