Παρουσίαση Διδακτορικής Διατριβής Πέτρου Γιαννακόπουλου 8/3/2023 ώρα 10:00

Αλγόριθμοι Βαθιάς Ενισχυτικής Μάθησης για Ευφυείς Πράκτορες σε Εικονικά Περιβάλλοντα- Πέτρος Ν. Γιαννακόπουλος

ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ:
Ιωάννης Κοτρώνης, Καθηγητής (αφυπηρετήσας), Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών

ΤΡΙΜΕΛΗΣ ΕΠΙΤΡΟΠΗ ΠΑΡΑΚΟΛΟΥΘΗΣΗΣ:
Ιωάννης Κοτρώνης, Καθηγητής, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
Άγγελος Πικράκης, Επίκουρος Καθηγητής, Πανεπιστήμιο Πειραιά
Διονύσιος Ρεΐσης, Καθηγητής, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών

ΠΕΡΙΛΗΨΗ

Αντικείμενο της διατριβής  του είναι η δημιουργία ευφυών πρακτόρων, βασισμένων σε μεθόδους βαθιάς ενισχυτικής μάθησης, και η εφαρμογή τους σε εικονικά περιβάλλοντα που αφορούν τους τομείς εικόνας, ήχου και πινάκων και συνδυασμό τους.

Στο τομέα της εικόνας, εφάρμοσε βαθιά ενισχυτική μάθηση σε συνδυασμό με νευρωνική αφαιρετική μέθοδο καταστάσεων για τη δημιουργία ενός πράκτορα ικανού να περιηγείται σε περιβάλλον λαβύρινθου βασισμένου στο Minecract, χρησιμοποιώντας μόνο ακατέργαστη οπτική πληροφορία. Πρότεινε μία βελτιωμένη εκδοχή της ε-greedy εξερεύνησης, βασισμένη σε ανταγωνιστικά νευρωνικά δίκτυα, και έδειξε ότι ένας πράκτορας βαθιάς ενισχυτικής μάθησης που χρησιμοποιεί αυτή τη μέθοδο εξερεύνησης μπορεί να περιηγηθεί πιο αποδοτικά σε περιβάλλοντα λαβύρινθου του Minecraft και να παίζει το δισδιάστατο παιχνίδι πλατφόρμας, Super Mario Bros.

Στο τομέα του ήχου, δημιούργησε ένα περιβάλλον, χρησιμοποιώντας τη μηχανή του Unity, όπου ομιλητές είναι παρόντες σε διάφορα σημεία μέσα σε ένα δωμάτιο, και κατόπιν δημιούργησε έναν πράκτορα βαθιάς ενισχυτικής μάθησης ικανό να περιηγείται σε αυτό το δωμάτιο και να οδηγείται προς κάποιον καθορισμένο ομιλητή χρησιμοποιώντας μόνο ακουστική πληροφορία.

Στο τομέα των πινάκων, εφάρμοσε βαθιά ενισχυτική μάθηση σε συνδυασμό με μια τεχνική εκπαίδευσης μεταβλητού μεγέθους συστάδας για τη δημιουργία ενός πράκτορα ικανού για την επίτευξη τέλειου παιξίματος στο επιτραπέζιο παιχνίδι L-Game, από έναν πίνακα με την κατάσταση του παιχνιδιού μετά την κίνηση κάθε παίκτη, ενώ απαιτεί λιγότερα δεδομένα για την εκπαίδευσή του.

Συνδυάζοντας τους τομείς του ήχου και των πινάκων, εξέφρασε το πρόβλημα της βελτιστοποίησης των παραμέτρων της στοίβας μετα-επεξεργασίας που εφαρμόζεται στις προβλέψεις ενός συστήματος Ανίχνευσης Ακουστικών Συμβάντων ως μία Μαρκοβιανή Διεργασία Αποφάσεων. Εφάρμοσε βαθιά ενισχυτική μάθηση ως έναν τρόπο εξερεύνησης του χώρου των παραμέτρων, με σκοπό την εύρεση των τιμών για κάθε παράμετρο οι οποίες μεγιστοποιούν την τελική απόδοση κατηγοριοποίησης ακουστικών συμβάντων του συστήματος ανίχνευσης, δοθέντος ενός πίνακα με τις προβλέψεις του συστήματος.