Μάθετε περισσότερα για την διαδικασία αιτήσεων!
Θεωρία Πληροφοριάς
Επιλογές
Τελευταίες Ανακοινώσεις


Θεωρία Πληροφοριάς

Σκοπός του μαθήματος

 Σκοπός του μαθήματος είναι η ευρεία εισαγωγή στις βασικές έννοιες, τα αποτελέσματα, και τις εφαρμογές της θεωρίας πληροφορίας, η οποία αποτελεί το θεμελιώδες πεδίο μελέτης της μετάδοσης και συμπίεσης σημάτων.

Περιεχόμενα του μαθήματος

Οι έννοιες της εντροπίας και της πληροφορίας.
Αναπωλειακή συμπίεση σήματος.
Θεωρία: Ιδιότητα της «ασυμπτωτικής ισοκατανομής», ο ρόλος της εντροπίας.
Εφαρμογές: Αλγόριθμοι
Huffman, Shannon-Fano, Lempel-Ziv, αριθμητική κωδικοποίηση (arithmetic coding).
Σήματα και θόρυβος. Διακριτά κανάλια. Κωδικοποίηση και χωρητικότητα καναλιού (
channel capacity).
Θεωρία: το βασικό θεώρημα του
Shannon.
Εφαρμογές: Γραμμικοί, κυκλικοί, και άλλοι κώδικες.
Διαχωρισμός πηγής-καναλιού. Συμπίεση με απώλειες και κβαντοποίηση.
Θεωρία: Συνάρτηση ρυθμού-απώλειας (
rate-distortion function) και το δεύτερο θεώρημα του Shannon.
Εφαρμογές: Μέθοδοι κβαντοποίησης, ο αλγόριθμος του
Lloyd, πρακτικά παραδείγματα.
Αλγοριθμική πολυπλοκότητα
Kolmogorov. Εντροπία και επιστήμη υπολογιστών.

Βιβλιογραφία

Το μάθημα θα βασιστεί στα παρακάτω βιβλία, κυρίως στο πρώτο:
"
Elements of Information Theory" T.M. Cover and J. Thomas, New York: Wiley, 1991.
"Information Theory, Inference, and Learning Algorithms" D.J.C. MacKay, Cambridge University Press, 2003.

Απαιτούμενο Υπόβαθρο

Βασικά στοιχεία πιθανοτήτων: Διακριτές πιθανότητες, δεσμευμένες πιθανότητες, μέση τιμή, διασπορά, νόμος των μεγάλων αριθμών, ανισότητες Markov, Chebychev, Jensen. Ανεξαρτησία και δεσμευμένη ανεξαρτησία.

 

Ιστοσελίδα του μαθήματος

 



Οι αιτήσεις ξεκίνησαν!
Ενημερωθείτε σχετικά με τις προϋποθέσεις συμμετοχής στο πρόγραμμα.

Μάθετε Περισσότερα
ΟΠΑ - Πρόγραμμα Μεταπτυχιακών Σπουδών στην Επιστήμη των Υπολογιστών
Copyright 2017 - All Rights Reserved