Εξάμηνο:
6ο
Τύπος Μαθήματος:
Κατ’ Επιλογή Υποχρεωτικό (ΕΥΜ)
Κατεύθυνση:
CΕT (Computer Engineering and Telecoms)
Κωδικός:
Κ35
ECTS:
6
Διδακτικές Ώρες
Ώρες Θεωρίας:
3
Ώρες Φροντιστηρίου:
1
Ώρες Εργαστηρίου:
-
Μάθημα στις Ειδικεύσεις
Θεμελιώσεις Πληροφορικής (S1):
-
Διαχείριση Δεδομένων και Γνώσης (S2):
-
Λογισμικό (S3):
-
Υλικό και Αρχιτεκτονική (S4):
-
Επικοινωνίες και Δικτύωση (S5):
-
Επεξεργασία Σήματος και Πληροφορίας (S6):
Υ Υποχρεωτικό
Σχετικά Μαθήματα
Αναλυτική Περιγραφή
Σύντομη περιγραφή Μαθήματος
Ενότητα 1: Η ζωή το έργο του Shannon και η επίδραση του στις σύγχρονες επικοινωνίες.
Ενότητα 2: Μέτρα πληροφορίας και βασικές ιδιότητες: εντροπία, αμοιβαία πληροφορία, απόσταση Kullback-Leibler, κυρτότητα.
Ενότητα 3: Τυπικότητα και ιδιότητα της ασυμπτωτικής ισοδιαμέρισης.
Ενότητα 4: Στατικές (εργοδικές ) πηγές και ρυθμός εντροπίας.
Ενότητα 5: Συμπίεση πηγής χωρίς απώλειες, κώδικες προθέματος, θεμελιώδη όρια συμπίεσης με βάση το ρυθμό εντροπίας, κώδικες Shannon και Huffman.
Ενότητα 6: Χωρητικότητα καναλιού, παραδείγματα (δυαδικό συμμετρικό κανάλι, κανάλι διαγραφής) και ιδιότητες, διατύπωση και απόδειξη του θεωρήματος κωδικοποίησης καναλιού για διακριτά κανάλια χωρίς μνήμη, επιτευξιμότητα, από κοινού τυπικότητα.
Ενότητα 7: Aνισότητα Fano και αντίστροφο θεώρημα, χωρητικότητα ανάδρασης.
Ενότητα 8: Πηγές και κανάλια συνεχούς χρόνου, διαφορική εντροπία, αμοιβαία πληροφορία και ιδιότητες, εντροπία κανονικού τυχαίου διανύσματος.
Ενότητα 9: Το αθροιστικό κανάλι Gauss κι η χωρητικότητά του, τυπικότητα, θεώρημα κωδικοποίησης, χωρητικότητα ζωνοπερατών καναλιών.
Ενότητα 10: Παράλληλα κανάλια Gauss, κανάλι με έγχρωμο θόρυβο, κατανομή ισχύος με σκοπό τη μεγιστοποίηση του ρυθμού μετάδοσης, μέθοδος waterfilling.
Ενότητα 11: Κωδικοποίηση πηγής με κώδικες συρμού, αριθμητικοί κώδικες και κωδικοποίηση Lempel Ziv.
Ενότητα 12: Εισαγωγή στη θεωρία ρυθμού παραμόρφωσης κα συμπίεση με απώλειες.
Ενότητα 13: Γραμμικοί κώδικες, περιγραφή και κωδικοποίηση, κώδικες Hamming
Ενότητα 14: Εισαγωγή στην στατιστική επεξεργασία σήματος και στο τεστ Wald.
Ενότητα 15: Θεμελιώδεις ανισότητες της θεωρίας πληροφορίας κι εφαρμογές τους σε δίκτυα επικοινωνίας.
Βιβλιογραφία
Προτεινόμενη Βιβλιογραφία:
T. M. Cover, J. A. Thomas, Elements of Information Theory, Wiley-Interscience, 2nd edition, 2006. (Ελληνική έκδοση διαθέσιμη στον Εύδοξο)
Y. Polyanskiy, Y. Wu, Information Theory: From Coding to Learning, Cambridge University Press, 2025.
Συναφή επιστημονικά περιοδικά:
IEEE Transactions on Information Theory
IEEE Journal on Selected Areas in Information Theory
IEEE BITS
IEEE Transactions on Information Forensics and Security Annals of Statistics
e-Class link