Τμήμα Φυσικής

10ΕΛΕ21 Θεωρία Πληροφορίας και Κωδίκων

Ιστοσελίδα μαθήματος: https://eclass.uoa.gr/modules/course_info/index.php?course=DI576

Περίγραμμα μαθήματος

Περιεχόμενο μαθήματος

• C.E. Shannon: Η ζωή, το έργο και η επίδραση του στις σύγχρονες επικοινωνίες.
• Μέτρα πληροφορίας και βασικές ιδιότητες: Εντροπία, αμοιβαία πληροφορία, απόσταση KL, κυρτότητα.
• Τυπικότητα και ιδιότητα της ασυμπτωτικής ισοδιαμέρισης.
• Στατικές (εργοδικές ) πηγές και ρυθμός εντροπίας.
• Συμπίεση πηγής χωρίς απώλειες. Κώδικες προθέματος. Θεμελιώδη όρια συμπίεσης με βάση το ρυθμό εντροπίας. Κώδικες Shannon. Κώδικες Hufman.
• Χωρητικότητα καναλιού. Παραδείγματα (δυαδικό συμμετρικό κανάλι, κανάλι διαγραφής) και ιδιότητες. Διατύπωση και απόδειξη του θεωρήματος κωδικοποίησης καναλιού για διακριτά κανάλια χωρίς μνήμη. Επιτευξιμότητα. Από κοινού τυπικότητα.
• Aνισότητα Fano και αντίστροφο θεώρημα. Χωρητικότητα ανάδρασης.
• Πηγές και κανάλια συνεχούς χρόνου. Διαφορική εντροπία. Αμοιβαία πληροφορία και ιδιότητες. Εντροπία κανονικού τυχαίου διανύσματος.
• Το αθροιστικό γκαουσιανό κανάλι. Τυπικότητα. Θεώρημα κωδικοποίησης. Χωρητικότητα ΑWGN καναλιού. Χωρητικότητα ζωνοπερατών καναλιών.
• Παράλληλα γκαουσιανά κανάλια. Κανάλι με έγχρωμο θόρυβο. Κατανομή ισχύος με σκοπό τη μεγιστοποίηση του ρυθμού μετάδοσης. Μέθοδος γεμίσματος νερού.
• Κωδικοποίηση πηγής με κώδικες συρμού. Αριθμητικοί κώδικες και κωδικοποίηση Lempel Ziv.
• Εισαγωγή στη θεωρία ρυθμού παραμόρφωσης και συμπίεση με απώλειες.
• Γραμμικοί κώδικες. Περιγραφή και κωδικοποίηση. Κώδικες Hamming.
• Συγκεραστικοί κώδικες trellis. Αποκωδικοποίηση και αλγόριθμος Viterbi.
• Κώδικες turbo. Επαναληπτική αποκωδικοποίηση και αλγόριθμος BCJR.
• Κώδικες LDPC. Γράφοι παραγόντων και Tanner. Αποκωδικοποίηση με τον αλγόριθμο μεταβίβασης μηνυμάτων.