Skip to main navigation Skip to main content Skip to page footer

Τμήμα Φυσικής

ΕΛΕ21

10ΕΛΕ21 Θεωρία Πληροφορίας και Κωδίκων

Ιστοσελίδα μαθήματος: https://eclass.uoa.gr/modules/course_info/index.php?course=DI576

Περιεχόμενο μαθήματος

  • C.E. Shannon: Η ζωή, το έργο και η επίδραση του στις σύγχρονες επικοινωνίες.
  • Μέτρα πληροφορίας και βασικές ιδιότητες: Εντροπία, αμοιβαία πληροφορία, απόσταση KL, κυρτότητα.
  • Τυπικότητα και ιδιότητα της ασυμπτωτικής ισοδιαμέρισης.
  • Στατικές (εργοδικές ) πηγές και ρυθμός εντροπίας.
  • Συμπίεση πηγής χωρίς απώλειες. Κώδικες προθέματος. Θεμελιώδη όρια συμπίεσης με βάση το ρυθμό εντροπίας. Κώδικες Shannon. Κώδικες Hufman.
  • Χωρητικότητα καναλιού. Παραδείγματα (δυαδικό συμμετρικό κανάλι, κανάλι διαγραφής) και ιδιότητες. Διατύπωση και απόδειξη του θεωρήματος κωδικοποίησης καναλιού για διακριτά κανάλια χωρίς μνήμη. Επιτευξιμότητα. Από κοινού τυπικότητα.
  • Aνισότητα Fano και αντίστροφο θεώρημα. Χωρητικότητα ανάδρασης.
  • Πηγές και κανάλια συνεχούς χρόνου. Διαφορική εντροπία. Αμοιβαία πληροφορία και ιδιότητες. Εντροπία κανονικού τυχαίου διανύσματος.
  • Το αθροιστικό γκαουσιανό κανάλι. Τυπικότητα. Θεώρημα κωδικοποίησης. Χωρητικότητα ΑWGN καναλιού. Χωρητικότητα ζωνοπερατών καναλιών.
  • Παράλληλα γκαουσιανά κανάλια. Κανάλι με έγχρωμο θόρυβο. Κατανομή ισχύος με σκοπό τη μεγιστοποίηση του ρυθμού μετάδοσης. Μέθοδος γεμίσματος νερού.
  • Κωδικοποίηση πηγής με κώδικες συρμού. Αριθμητικοί κώδικες και κωδικοποίηση Lempel Ziv.
  • Εισαγωγή στη θεωρία ρυθμού παραμόρφωσης και συμπίεση με απώλειες.
  • Γραμμικοί κώδικες. Περιγραφή και κωδικοποίηση. Κώδικες Hamming.
  • Συγκεραστικοί κώδικες trellis. Αποκωδικοποίηση και αλγόριθμος Viterbi.
  • Κώδικες turbo. Επαναληπτική αποκωδικοποίηση και αλγόριθμος BCJR.
  • Κώδικες LDPC. Γράφοι παραγόντων και Tanner. Αποκωδικοποίηση με τον αλγόριθμο μεταβίβασης μηνυμάτων.

 

Προτεινόμενα συγγράμματα

  • T.M. Cover, J.A. Thomas, Στοιχεία της Θεωρίας Πληροφορίας, ΙΤΕ Πανεπιστημιακές Εκδόσεις Κρήτης, 2014.
  • J.G. Proakis, M. Salehi, Συστήματα Τηλεπικοινωνιών, Eκδόσεις Γ.Χ. Φούντας, 2015.