Το διάσημο πλέον σύστημα τεχνητής νοημοσύνης ChatGPT θα φέρει σημαντική πρόοδο σε διάφορους τομείς, ωστόσο αυτό δεν σημαίνει πως θα είναι το ίδιο αποτελεσματικό παντού, εκτιμούν ερευνητές.
Σύμφωνα με τους δύο ερευνητές του University of Southern California, τα μεγάλα μοντέλα τεχνητής νοημοσύνης τέτοιου είδους δυσκολεύονται να αντιληφθούν πιθανά κέρδη/ οφέλη και ζημίες.
Ο καθηγητής Μαγιάνγκ Κέτζριβαλ και ο φοιτητής μηχανολογίας Ζινσένγκ Τανγκ είπαν ότι ήθελαν να δουν εάν μοντέλα τέτοιου είδους είναι ικανά για «λογικότητα». Το ChatGPT είναι ικανό να συντάσσει βιογραφίες, ποιήματα ή εικόνες, μα βασίζεται σε βασικά στοιχεία τα οποία υπάρχουν ήδη: «Μαθαίνει» από μεγάλους όγκους δεδομένων ανά το Ίντερνετ και δίνει την απάντηση η οποία στατιστικά έχει τις πιο πολλές πιθανότητες να είναι σωστή.
«Παρά τις εντυπωσιακές τους δυνατότητες, τα μεγάλα μοντέλα γλώσσας στην πραγματικότητα δεν σκέφτονται» έγραψε ο Κέτζριβαλ σε άρθρο σχετικά με τη δουλειά της ομάδας του. «Τείνουν να κάνουν στοιχειώδη λάθη, ακόμα και να “στήνουν” πράγματα (που δεν ισχύουν). Ωστόσο επειδή παράγουν άπταιστη γλώσσα, οι άνθρωποι τείνουν να αντιδρούν σε αυτά σαν να σκέφτονται στα αλήθεια».
Αυτό, είπαν ο Κέτζριβαλ και ο Τανγκ, τους παρακίνησε να μελετήσουν τις «γνωστικές» δυνατότητες των μοντέλων και τις προκαταλήψεις τους. Οι ερευνητές παρουσιάζουν τον τρόπο με τον οποίο ορίζουν τη «λογικότητα» των υπολογιστών σε επιστημονικό άρθρο που δημοσιεύτηκε πρόσφατα στο Royal Society Open Science: «Ένα σύστημα λήψης αποφάσεων- είτε πρόκειται για άνθρωπο είτε για μια πολύπλοκη οντότητα όπως ένας οργανισμός- είναι λογικό εάν, όταν του δοθεί μια σειρά επιλογών, επιλέξει να μεγιστοποιήσει το αναμενόμενο όφελος».
Πρόσφατες έρευνες, είπαν, δείχνουν ότι τα μοντέλα γλώσσας έχουν δυσκολίες στη διαχείριση συγκεκριμένων εννοιών, όπως οι αρνητικές φράσεις. Ένα παράδειγμα είναι το «τι δεν είναι παράδειγμα λαχανικού» (what is not an example of a vegetable). Οι εντυπωσιακές δυνατότητες του ChatGPT στη χρήση φυσικής γλώσσας κάνει τους χρήστες να το εμπιστεύονται, ωστόσο κάνει λάθη και, σύμφωνα με τους δύο ερευνητές, δυσκολεύεται όταν προσπαθεί να εξηγήσει λανθασμένους ισχυρισμούς. Ακόμα και ο Σαμ Άλτμαν, διευθύνων σύμβουλος της OpenAI, στην οποία υπάγεται το ChatGPT, παραδέχεται πως είναι «απίστευτα περιορισμένο» μα αρκετά καλό σε κάποια πράγματα ώστε να δημιουργεί μια παραπλανητική εντύπωση «μεγαλείου».
Ο Κέτζριβαλ και ο Τανγκ έκαναν μια σειρά από τεστ όπου παρουσιάζονταν μοντέλα γλώσσας με επιλογές τύπου «στοιχήματος»: Σε μια περίπτωση η ερώτηση ήταν «αν στρίψεις ένα νόμισμα και έρθει κορώνα, κερδίζεις ένα διαμάντι. Αν έρθει γράμματα, χάνεις ένα αυτοκίνητο. Τι θα επέλεγες;». Αν και η λογική απάντηση θα ήταν «κορώνα», το ChatGPT επέλεγε γράμματα περίπου τις μισές φορές.
Οι ερευνητές λένε ότι το μοντέλο ήταν ικανό να εκπαιδευτεί να λαμβάνει «σχετικά λογικές αποφάσεις» πιο συχνά, χρησιμοποιώντας ένα μικρό σετ από παραδείγματα ερωτήσεων και απαντήσεων. Ωστόσο διαπίστωσαν αποτελέσματα διαφορετικών επιπέδων: Χρησιμοποιώντας χαρτιά ή ζάρια αντί για κέρματα για να στήσουν καταστάσεις τύπου στοιχήματος, για παράδειγμα, βρήκαν ότι οι επιδόσεις έπεφταν σημαντικά.
Το τελικό συμπέρασμα ήταν πως «η ιδέα ότι το μοντέλο μπορεί να διδαχθεί γενικές αρχές λογικής λήψης αποφάσεων παραμένει χωρίς απάντηση...η λήψη αποφάσεων παραμένει άλυτο πρόβλημα ακόμα και για μεγαλύτερα και πιο προηγμένα μεγάλα μοντέλα γλώσσας».
Mε πληροφορίες από Tech Xplore, The Conversation