Théorie de l'information
Cours de
Théorie de l'information, année 2023-24, enseigné en
Master 1 Mathématiques et applications (parcours ACC), à l'Université Paris 8.
Résumé. La théorie de l'information permet de modéliser le stockage et la transmission de données, notamment sous forme numérique. Ce cours a pour but de présenter les fondements mathématiques de cette théorie, afin d'appréhender au mieux diverses applications pratiques : transmission de messages dans un canal bruité, compression sans perte de fichiers, génération d'aléa, accès confidentiel à l'information, etc.
Lieu : salle A162, Université Paris 8
Horaire : le lundi de 9h00 à 11h30
Emploi du temps et programme prévisionnels :
- 18-09-2023. Introduction 1 : rappels de probabilités, entropie.
- 25-09-2023. Introduction 2 : information mutuelle, divergence de Kullback-Leibler.
- 02-10-2023. Codage de source 1 : codes en longueur fixe. Codes en longueur variable : codes préfixes, arbres binaires, inégalité de Kraft--MacMillan.
- 09-10-2023. Codage de source 2 : code de Shannon--Fano, code de Huffman.
- 16-10-2023. Fin du codage de source. TP Huffman.
- 23-10-2023. Fin du TP Huffman. Codage de canal (1) : canal, capacité, canal binaire symétrique.
- 30-10-2023. Pause pédagogique.
- 06-11-2023. Codage de canal (2) : canal à effacement, codes convolutifs.
- 13-11-2023. Algorithme de Viterbi. TP noté : codes convolutifs, encodage et décodage.
- 20-11-2023. Sources à mémoire, processus stochastiques simples, taux d'entropie.
- 27-11-2023. TP noté : compression, algorithme de Lempel--Ziv, RLE, transformée de Burrows--Wheeler.
- 04-12-2023. (Ouverture : génération d'aléa.) Exercices de révision.
- 18-12-2023. Évaluation écrite.
Documents utiles :