“H τεχνητή νοημοσύνη και τα αλγοριθμικά συστήματα ψηφιακών ελέγχων στο νέο καθεστώς ελέγχου κινητικότητας στην ΕΕ. Αυτοματοποιημένες αποφάσεις υψηλού ρίσκου για ανθρώπινες ζωές, μια αναδυόμενη αρρύθμιστη αγορά πολλών δισεκατομμυρίων ευρώ με δυστοπικές «έξυπνες» εφαρμογές.”
Στα τέλη Ιουνίου 2020, ο Robert Williams, ένας Αφροαμερικανός κάτοικος του Detroit, συνελήφθη στην είσοδο του σπιτιού του, μπροστά στις δύο ανήλικες κόρες του, χωρίς κανείς να μπορεί να του αναφέρει τον λόγο. Στο αστυνομικό τμήμα ενημερώθηκε πως θεωρείται ύποπτος για την ληστεία ενός καταστήματος το 2018, καθώς το πρόσωπό του ταυτοποιήθηκε με ένα απόσπασμα από την κάμερα ασφαλείας του καταστήματος. Η ταυτοποίηση έγινε με βάση μια παλιά φωτογραφία από δίπλωμα οδήγησης. Μετά από τριάντα ώρες κράτησης, ο Robert Williams αφέθηκε τελικά ελεύθερος. Η κυνική ομολογία των αστυνομικών του Detroit ήταν αφοπλιστική: «ο υπολογιστής μάλλον έκανε λάθος».
Ανάλογο περιστατικό συνέβη τον Ιούνιο του 2019 στον Μιchael Oliver, επίσης Αφροαμερικανό κάτοικο του Detroit που συνελήφθη λογω υποτιθέμενης ταυτοποίησης του προσώπου του από ένα βίντεο μιας κάμερας ασφαλείας. Οδηγήθηκε σε δίκη, όπου και τελικά αθωώθηκε τρεις μήνες μετά την σύλληψή του.
Αντίστοιχα, σε μια δοκιμαστική μελέτη του λογισμικού Rekognition της Amazon, το πρόγραμμα ταυτοποίησε λανθασμένα 28 μέλη του Κογκρέσου (!) με άτομα που είχαν συλληφθεί στο παρελθόν για κάποιο έγκλημα. Οι λάθος ταυτοποιήσεις αφορούσαν συντριπτικά σε μαύρους και λατίνους. Μη βιαστεί κανείς να θεωρήσει πως αυτά συμβαίνουν μόνο στις ΗΠΑ.
Όπως αναλύθηκε στα προηγούμενα δύο μέρη της έρευνας του ΜΙΙR «Τα ψηφιακά τείχη της Ευρώπης-Φρούριο» , η ΕΕ στο πλαίσιο μιας νέας αρχιτεκτονικής επιτήρησης των συνόρων και ελέγχου της κινητικότητας έχει εδώ και χρόνια εισάγει μια σειρά από συστήματα καταγραφής και παρακολούθησης των πολιτών που κινούνται στον ευρωπαϊκό χώρο. Σε αυτή την κατεύθυνση η ΕΕ χρησιμοποιεί διαφορετικούς μηχανισμούς χρηματοδότησης για έρευνα και ανάπτυξη, ρίχνοντας ολοένα και περισσότερο βάρος σε τεχνολογίες τεχνητής νοημοσύνης, οι οποίες μπορούν να χρησιμοποιούν και βιομετρικά δεδομένα.
Μεταξύ του 2007 και 2013 (αλλά με έργα που εκτελούνταν έως το 2020) το πιο σχετικό πρόγραμμα από αυτά ήταν το Seventh Framework Programme (FP7) και στη συνέχεια τη σκυτάλη πήρε το Horizon 2020. Tα δύο αυτά προγράμματα χρηματοδότησαν έργα ασφάλειας της ΕΕ αξίας άνω του 1,3 δις ευρώ. Για την τρέχουσα περίοδο 2021-2027 το πρόγραμμα Horizon Europe έχει συνολικό προϋπολογισμό 95,5 δισεκατομμυρίων ευρώ , εστιάζοντας ιδιαίτερα σε ζητήματα «ασφάλειας». Τεχνολογίες όπως η αυτοματοποιημένη λήψη αποφάσεων, τα βιομετρικά δεδομένα, οι θερμικές κάμερες και τα μη επανδρωμένα drones ελέγχουν όλο και περισσότερο τη μετανάστευση και επηρεάζουν εκατομμύρια ανθρώπους εν κινήσει. H διαχείριση των συνόρων έχει μετατραπεί σε μια επικερδή επιχείρηση πολλών δισεκατομμυρίων ευρώ στην ΕΕ και σε άλλα μέρη του κόσμου. Σύμφωνα με ανάλυση του οργανισμού TNI (Border War Series), η ετήσια ανάπτυξη της αγοράς συνοριακής ασφάλειας κυμαίνεται μεταξύ 7,2% και 8,6 %, φτάνοντας συνολικά τα 65–68 δισεκατομμύρια δολάρια έως το 2025.
Η μεγαλύτερη επέκταση σημειώνεται στις παγκόσμιες αγορές Βιομετρικών Δεδομένων και Τεχνητής Νοημοσύνης (AI). Η ίδια η αγορά βιομετρικών συστημάτων προβλέπεται ότι θα διπλασιάσει το τζίρο της από 33 δις δολάρια το 2019 σε 65,3 δισεκατομμύρια δολάρια έως το 2024. Σημαντικό μέρος της χρηματοδότησης κατευθύνεται στην ενίσχυση των δυνατοτήτων του συστήματος eu-LISA (Ευρωπαϊκός Οργανισμός για τη Λειτουργική Διαχείριση Συστημάτων Μεγάλης Κλίμακας στον Χώρο Ελευθερίας, Ασφάλειας και Δικαιοσύνης) που αναμένεται να παίξει κομβικό ρόλο στη διαχείριση και εφαρμογή της διαλειτουργικότητας των βάσεων δεδομένων για τον έλεγχο της κινητικότητας και της ασφάλειας.
Οι δραστηριότητες αυτού του υπερσυστήματος χρηματοδοτούνται από:
-επιδότηση από τον γενικό προϋπολογισμό της ΕΕ.
-συνεισφορά από τα κράτη που σχετίζονται με την εφαρμογή, λειτουργία και ανάπτυξη της ζώνης Σένγκεν και των σχετικών με το Eurodac μέτρων.
-απευθείας χρηματικές συνεισφορές από τα κράτη-μέλη.
Ο Chris Jones, εκτελεστικός διευθυντής του μη κερδοσκοπικού οργανισμού Statewatch, παρακολουθεί επί σειρά ετών την πορεία του χρήματος που ξεκινά στις Βρυξέλλες. Μας εξηγεί ότι «τα πρότζεκτ του eu-LISA εκτελούνται συνήθως από κοινοπραξίες ιδιωτικών εταιρειών, δημοσίων οργανισμών και πανεπιστημίων. Οι ιδιωτικές εταιρείες λαμβάνουν τα μεγαλύτερα ποσά, περισσότερα από τους δημόσιους φορείς». Σε πρόσφατη μελέτη του Statewatch (Funds for Fortress Europe: spending by Frontex and eu-LISA, Ιανουάριος 2022) τονίζεται ότι για την ανάπτυξη και ενίσχυση του eu-LISA κατευθύνθηκαν την περίοδο 2014-2020 σε ιδιώτες εργολάβους περίπου 1,5 δισ. ευρώ, με τη μεγαλύτερη αύξηση να σημειώνεται μετά το 2017 και την κορύφωση της προσφυγικής κρίσης.
Το ολιγοπώλιο της επιτήρησης
Ένα από τα σημαντικότερα συμβόλαια που υπεγράφησαν το 2020, ύψους 300 εκατ. ευρώ, ήταν μεταξύ των γαλλικών εταιρειών Idemia και Sopra Steria για την εφαρμογή ενός νέου συστήματος βιομετρικής ταυτοποίησης (Biometric Matching System -BMS). Οι εταιρείες αυτές κερδίζουν συχνά νέα συμβόλαια, καθώς έχουν συμφωνίες για τη συντήρηση των συστημάτων EES, EURODAC, SIS II και VIS. Άλλες εταιρείες που έχουν συνάψει υψηλά συμβόλαια για εργασίες σχετικές με το eu-LISA είναι οι Atos, IBM, and Leonardo, για 140 εκατ. ευρώ , και η κοινοπραξία Atos, Accenture και Morpho (μετέπειτα Idemia) που το 2016 υπέγραψε συμβόλαιο αξίας 194 εκατ. ευρώ. Από τα στοιχεία που συνέλεξε το Statewatch προκύπτει και συνεργασία -συνήθως μέσω κοινοπραξιών- στην επέκταση του συστήματος eu-LISA με εταιρείες ελληνικών συμφερόντων, όπως η Unisystems SA (ανήκει στον Όμιλο Quest του πρώην προέδρου του Συνδέσμου Ελλήνων Βιομηχάνων Θ. Φέσσα), που υπέγραψε συμβόλαιο 45 εκατ. ευρώ το 2019, η European Dynamics SA (του Κων/νου Βελέντζα) που συμμετέχει σε συμβόλαιο 187 εκατ. ευρώ που απονεμήθηκε το 2020, αλλά και η Intrasoft International SA με έδρα το Λουξεμβούργο (μέχρι πρότινος συμφερόντων Κόκκαλη), που συμμετέχει με πέντε ακόμη εταιρείες σε έργο ύψους 187 εκατ. ευρώ το 2020.
Οι σχέσεις του eu-LISA με την βιομηχανία φαίνεται και από τη συχνή διεξαγωγή κοινών εκδηλώσεων, όπως το “Industry Roundtable” (“στρογγυλή τράπεζα με τη βιομηχανία”) που θα διεξαχθεί στις 16 Ιουνίου 2022 στο Στρασβούργο. Πρόκειται για την 15η διαδοχική ανάλογη συνάντηση, στην οποία καλούνται να συμμετάσχουν φορείς της ΕΕ, εκπρόσωποι των συστημάτων ελέγχου της κινητικότητας, και ιδιώτες. «Υπάρχουν εκτενείς, μακροχρόνιες και πολύ μυστικές διαπραγματεύσεις μεταξύ κρατών-μελών και ευρωβουλευτών όποτε θέλουν να αλλάξουν κάτι στις βάσεις δεδομένων. Δεν γνωρίζουμε όμως ποια είναι η πραγματική επιρροή των εταιρειών που λειτουργούν αυτά τα συστήματα, εάν συνδράμουν στο τι είναι τεχνικά εφικτό και πως όλο αυτό αλληλεπιδρά με την πολιτική διαδικασία», λέει ο Chris Jones του Statewatch. Το ίδιο άγνωστο παραμένει και το περιεχόμενο των συμβολαίων που υπογράφονται μεταξύ των κοινοπραξιών και του eu-LISA, αφού αυτό δεν δημοσιεύεται.
Τα νέα σύνορα της τεχνητής νοημοσύνης και οι πιέσεις στην ΕΕ
Τον Απρίλιο του 2021, η Ευρωπαϊκή Επιτροπή δημοσίευσε το πολυαναμενόμενο σχέδιο κανονισμού για την τεχνητή νοημοσύνη (ΑΙ ACT). Η διαδικασία διαβούλευσης αναμένεται να κρατήσει αρκετό καιρό για ένα εξαιρετικά σημαντικό νομοθέτημα που υπερβαίνει τις 200 σελίδες, και το οποίο θα αποτελέσει-μεταξύ άλλων- εξειδίκευση της νομοθεσίας για την προστασία δεδομένων (οδηγία 680/2016). Οι πιέσεις που πρόκειται να ασκηθούν από τις εταιρείες και τους φορείς που δραστηριοποιούνται στον τομέα μέχρι να κατατεθεί στην τελική του μορφή το νομοσχέδιο στο Ευρωκοινοβούλιο, αναμένεται να είναι σημαντικές.
Το ΜΙΙR διερεύνησε τα αρχεία των επίσημων συναντήσεων της Προέδρου της Ευρωπαϊκής Επιτροπής, Ούρσουλα φον ντερ Λάιεν, της Επιτρόπου Μαργκρέιτε Βέστεϊγιερ (A Europe Fit for the Digital Age), του Τιερί Μπρετόν (Internal Market) και των επιτελείων τους από το Δεκέμβριο του 2019 μέχρι το Μάρτιο του 2022 σε θέματα που αφορούν τεχνητή νοημοσύνη και ψηφιακή πολιτική. Προέκυψε πως τουλάχιστον 14 οργανισμοί, ιδιωτικές εταιρείες-κολοσσοί και κονσόρτσιουμ εταιρειών που σχετίζονται με τον τομέα της ασφάλειας και της άμυνας συναντήθηκαν με βασικούς εκπροσώπους της Ευρωπαϊκής Επιτροπής 71 φορές μέσα σε 28 μήνες για να συζητήσουν ζητήματα που σχετίζονται με την ψηφιακή πολιτική και την Τεχνητή Νοημοσύνη. Τις περισσότερες συναντήσεις με τους Επιτρόπους είχε η DIGITAL EUROPE, μια οργάνωση που εκπροσωπεί 78 εταιρικά μέλη, συμπεριλαμβανομένων μεγάλων εταιρειών άμυνας και ασφάλειας όπως η Accenture, η Airbus και η Atos. Εντοπίστηκαν παράλληλα και άλλες κοινοπραξίες που κάνουν έντονο λομπι, όπως η European Round Table for Industries (ERT), εκπροσωπώντας επίσης ορισμένες εταιρείες άμυνας και ασφάλειας, όπως η Leonardo, η Rolls-Royce και η Airbus.
Συστήματα Υψηλού Κινδύνου
Στην πρόταση για τον ευρωπαϊκό κανονισμό (COM/2021/206 final) που εκδόθηκε τον Απρίλιο του 2021, δίνεται πάντως μια καλύτερη εικόνα για τα συστήματα και τις εφαρμογές τεχνητής νοημοσύνης που αναμένεται να ρυθμιστούν από το υπό διαβούλευση νομοσχέδιο, αλλά και τους κινδύνους που εγκυμονεί η μη ρυθμισμένη λειτουργία τους στα σημεία εισόδου της Ευρώπης. Όπως αναφέρεται: “(…) είναι σκόπιμο να ταξινομηθούν ως υψηλού κινδύνου τα συστήματα Τεχνητής Νοημοσύνης (ΤΝ) που προορίζονται να χρησιμοποιηθούν από τις αρμόδιες δημόσιες αρχές που είναι επιφορτισμένες με καθήκοντα στους τομείς της διαχείρισης της μετανάστευσης, του ασύλου και των συνοριακών ελέγχων ως πολύγραφοι και παρεμφερή εργαλεία ή για την ανίχνευση της συναισθηματικής κατάστασης ενός φυσικού προσώπου· για την αξιολόγηση ορισμένων κινδύνων που παρουσιάζουν φυσικά πρόσωπα που εισέρχονται στο έδαφος κράτους μέλους ή υποβάλλουν αίτηση θεώρησης ή ασύλου· για την επαλήθευση της γνησιότητας των σχετικών εγγράφων των φυσικών προσώπων· για την παροχή συνδρομής στις αρμόδιες δημόσιες αρχές για την εξέταση των αιτήσεων ασύλου, θεώρησης και αδειών διαμονής και των συναφών καταγγελιών με στόχο τον καθορισμό της επιλεξιμότητας των φυσικών προσώπων που υποβάλλουν αίτηση χορήγησης καθεστώτος”.
Η κρίσιμη παράμετρος
Το εύρος του πεδίου όπου μπορούν να βρουν εφαρμογή τα “υψηλού κινδύνου” συστήματα ΤΝ μοιάζει μεγάλο, και παρά τις ελπίδες ότι μια νέα οδηγία θα ρυθμίσει τον τρόπο λειτουργίας τους, υπάρχει μια παράμετρος που ενδεχομένως απομακρύνει αυτό το ενδεχόμενο. Όπως αποκαλύπτεται σε εσωτερική παρουσίαση της Ευρ. Επιτροπής που έγινε τον Μάιο και έφερε στο φως το Statewatch, σε περίπτωση ψήφισης του ο νέος κανονισμός θα τεθεί σε εφαρμογή 24 μήνες μετά την υπογραφή του και δεν θα ισχύει για όλα τα συστήματα, αφού δεν αναμένεται να έχει αναδρομική ισχύ σε αυτά που βρίσκονταν στην αγορά πριν από την ημερομηνία ισχύος.
«Είναι σαν να λέει ξεκάθαρα, ’ναι, θα έπρεπε να ελέγξουμε τη χρήση της τεχνητής νοημοσύνης και του machine learning με έναν υπεύθυνο τρόπο. Αλλά δεν θα το κάνουμε για τα συστήματα που ήδη οικοδομούμε γιατί… έχουμε άλλες ιδέες για αυτά…», σχολιάζει ο Chris Jones. Στο ζήτημα αναφέρεται και η κοινή ανακοίνωση που εξέδωσαν υπό την αιγίδα του δικτύου για τα ψηφιακά δικαιώματα EDRI τον Νοέμβριο 114 οργανισμοί της Κοινωνίας των Πολιτών, τονίζοντας ότι «καμία λογική αιτιολόγηση για αυτήν την εξαίρεση από τον κανονισμό για την τεχνητή νοημοσύνη δεν περιλαμβάνεται στο νομοσχέδιο ή δεν παρέχεται». Στην ανακοίνωση ζητούν από το Συμβούλιο της Ευρώπης, το Ευρωκοινοβούλιο και τις κυβερνήσεις των κρατών-μελών να συμπεριλάβουν στο τελικό νομοσχέδιο δικλείδες ασφαλείας και λογοδοσίας που θα εγγυώνται ένα ασφαλές πλαίσιο εφαρμογής των συστημάτων ΤΝ και κυρίως την προστασία των βασικών δικαιωμάτων των Ευρωπαίων πολιτών.
Robo-dogs σε δράση: Αλγόριθμοι και εφιαλτικά ερευνητικά προγράμματα
«Γίνεται μεγάλη προσπάθεια από τους θεσμούς της ΕΕ και τα κράτη-μέλη να αυξήσουν τον αριθμό των απελάσεων. Η ΕΕ έριξε χρήμα και πόρους και αυτές τις βάσεις δεδομένων για να πει στην ουσία ’θέλουμε να βοηθήσουμε την απομάκρυνση αυτών των ανθρώπων από ευρωπαϊκό έδαφος”», επισημαίνει ο Chris Jones του Statewatch. Πράγματι ο αυτοματισμός και η χρήση αλγορίθμων μέσω των τεχνολογικών εργαλείων που το βιομηχανικό σύμπλεγμα προωθεί προς τα σημεία εισόδου της Ευρώπης, παίζουν ήδη σημαντικό ρόλο, εγείροντας πολλά ερωτήματα για τη διασφάλιση των δικαιωμάτων προσφύγων και μεταναστών. Δεν είναι μόνο η δημιουργία προφίλ που προβληματίζει όσους ασκούν κριτική στα σχέδια της ΕΕ, αλλά και η ποιότητα των δεδομένων στα οποία αυτή η διαδικασία βασίζεται. «Μοιάζει με ένα “μαύρο κουτί”, που δεν ξέρουμε ακριβώς τι έχει μέσα», τονίζει η ειδικευμένη στο προσφυγικό δίκαιο δικηγόρος και ανθρωπολόγος Petra Molnar, η οποία εστιάζει στο υψηλό ρίσκο που ενέχει ο αυτοματισμός και η έλλειψη του ανθρώπινου παράγοντα στη λήψη αποφάσεων, όταν αυτές καθορίζουν ανθρώπινες ζωές.
Μερικά από τα σημαντικότερα πιλοτικά συστήματα που χρηματοδοτήθηκαν τα προηγούμενα χρόνια είναι τα παρακάτω:
iBorderCtrl – «Εξυπνοι» ανιχνευτές ψεύδους
Συνδυάζει εργαλεία ταύτισης προσώπου και εξακρίβωσης αυθεντικότητας εγγράφων με τεχνολογίες τεχνητής νοημοσύνης. Πρόκειται για έναν «ανιχνευτή ψεύδους», που δοκιμάστηκε στην Ουγγαρία, στην Ελλάδα και στη Λετονία και περιλάμβανε τη χρήση ενός «εικονικού συνοριοφύλακα», εξατομικευμένου για το φύλο, την εθνικότητα και τη γλώσσα του ταξιδιώτη. Ένας φύλακας που κάνει ερωτήσεις μέσω ψηφιακής κάμερας. Το έργο χρηματοδοτήθηκε με 4,5 εκατομμύρια ευρώ από το πρόγραμμα Horizon 2020 της Ευρωπαϊκής Ενωσης, και δέχτηκε σφοδρή κριτική ως επικίνδυνο και ψευδοεπιστημονικό (Sci-fi surveillance: Europe’s secretive push into biometric technology -The Guardian, 10 December 2020, We Tested Europe’s New Lie Detector for Travelers — and Immediately Triggered a False Positive -The Intercept, 26 July 2019).
Στις αρχές Ιουλίου του 2019 στην Αθήνα, στις εγκαταστάσεις της ΤΡΑΙΝΟΣΕ σε ειδικά διαμορφωμένο χώρο του Κέντρου Μελετών Ασφαλείας στην Αθήνα, εφαρμόστηκε πιλοτικά, σε συνθήκες προσομοίωσης. Ο υποτιθέμενος ταξιδιώτης προτού αναχωρήσει έπρεπε να ανεβάσει σε ειδική εφαρμογή μια φωτογραφία ταυτότητας ή διαβατηρίου. Επειτα απαντούσε σε ερωτήσεις που έθετε ένας εικονικός συνοριοφύλακας. Ειδικό λογισμικό κατέγραφε τα λόγια του και τις κινήσεις του προσώπου, που μπορεί να διέφευγαν την προσοχή από ένα κοινό μάτι και στο τέλος το λογισμικό υπολόγιζε –υποτίθεται- τον βαθμό ειλικρίνειας του ταξιδιώτη.
Στις 2 Φεβρουαρίου 2021 το Ευρωπαϊκό Δικαστήριο εκδίκασε την αγωγή που ασκήθηκε από τον ευρωβουλευτή και ακτιβιστή Patrick Breyer (Κόμμα των Πειρατών) κατά του απορρήτου του συγκεκριμένου ερευνητικού προγράμματος, το οποίο χαρακτήρισε ψευδοεπιστημονικό και οργουελικό.
Roborder (Autonomous swarm of heterogeneous robots for border surveillance)
Στοχεύει στην ανάπτυξη ενός αυτόνομου συστήματος επιτήρησης συνόρων με τη χρήση μη επανδρωμένων ρομπότ συμπεριλαμβανομένων εναερίων, θαλάσσιων, υποβρυχίων και επίγειων οχημάτων. Το σύνολο της ρομποτικής πλατφόρμας ενσωματώνει πολυτροπικούς αισθητήρες σε ένα ενιαίο διαλειτουργικό δίκτυο. Από τις 28 Ιουνίου έως και την 1 Ιουλίου 2021, πραγματοποιήθηκε στην Ελλάδα, η τελική πιλοτική δοκιμή του προγράμματος, στο οποίο συμμετέχει και το ελληνικό Υπουργείο Εθνικής Άμυνας.
Foldout
To ερευνητικό πρόγραμμα Foldout, προϋπολογισμού 8,1 εκατ. ευρώ, δεν κρύβει από την αρχή τους σκοπούς του: «τα τελευταία χρόνια η παράτυπη μετανάστευση έχει δραματικά αυξηθεί και δεν είναι πια διαχειρίσιμη με τα υφιστάμενη συστήματα». Βασική ιδέα του προγράμματος, που δοκιμάζεται πιλοτικά στη Βουλγαρία και παρουσιάζεται σε Φινλανδία, Ελλάδα και τη Γαλλική Γουινέα, είναι η τοποθέτηση αισθητήρων κίνησης σε χερσαία τμήματα των συνόρων όπου λόγω μορφολογίας του εδάφους ή της βλάστησης είναι δύσκολος ο εντοπισμός κάποιας παράτυπης διάσχισης. Με κάθε ύποπτη κίνηση, ανθρώπου ή οχήματος, θα υπάρχει η δυνατότητα να στέλνεται στο συγκεκριμένο σημείο drone ή θα ενεργοποιούνται επίγειες κάμερες για επιπλέον έλεγχο. Τον συντονισμό της κοινοπραξίας που το αναπτύσσει έχει το Αυστριακό Ινστιτούτο Τεχνολογίας (Austrian Institute of Technology, το οποίο έχει λάβει 25 εκατ.ευρώ από 37 ευρωπαϊκά έργα).
Σημειώνεται πως ανάμεσα στους οργανισμούς που κάνουν λόμπι σε ευρωπαϊκό επίπεδο, συναντήσαμε και την EARTO, μια κοινοπραξία ερευνητικών κέντρων και δικαιούχων έργων σε διάφορους τομείς, συμπεριλαμβανομένης της ασφάλειας, όπως το ΚΕΜΕΑ στην Ελλάδα, το Fraunhofer-Gesellschaft (140 χρηματοδοτούμενα από την ΕΕ ερευνητικά έργα, συμπεριλαμβανομένου του Roborder) και το Αυστριακό Ινστιτούτο Τεχνολογίας (Foldout).
Πολλά από τα ερευνητικά προγράμματα του Ηorizon 2020 (Roborder, iborderctl, Foldout, Trespass κα) χαρακτηρίστηκαν από τους ίδιους τους δημιουργούς τους ως «ανώριμα» ακόμα για ευρεία χρήση. Όμως η συνολική στροφή της Ευρωπαϊκής Ένωσης όσον αφορά τη χρήση τεχνητής νοημοσύνης για τον έλεγχο της κινητικότητας και για την πρόληψη της εγκληματικότητας φαίνεται από τις διαρκώς αυξανόμενες χρηματοδοτήσεις του Ευρωπαϊκού Ταμείου Εσωτερικής Ασφάλειας. Ένα τέτοιο έργο είναι και η προμήθεια χιλιάδων φορητών συσκευών από την Ελληνική Αστυνομία που θα επιτρέπουν την ταυτοποίηση πολιτών με τη χρήση λογισμικού αναγνώρισης προσώπου και λήψης δακτυλικού αποτυπώματος. Το συνολικό κόστος του προγράμματος, που ανέλαβε η εταιρεία Intracom Telecom, υπερβαίνει τα 4 εκατομμύρια ευρώ και το 75% προέρχεται από το Ευρωπαϊκό Ταμείο Εσωτερικής Ασφάλειας.
Το «πείραμα» της Σάμου
«Τα σύνορα και η μετανάστευση αποτελούν το τέλειο εργαστήριο πειραμάτων. Αδιαφανείς συνθήκες υψηλού ρίσκου με χαμηλά επίπεδα λογοδοσίας. Τα σύνορα μετατρέπονται στο τέλειο πεδίο δοκιμής νέων τεχνολογιών που μπορούν αργότερα να χρησιμοποιηθούν εκτενέστερα σε διάφορες κοινότητες και πληθυσμούς. Αυτό βλέπετε ακριβώς και στην Ελλάδα, σωστά;», διερωτάται η δικηγόρος Petra Molnar. Η απάντηση είναι καταφατική, τόσο για τον Βορρά όσο και για τον Νότο της χώρας.
Στο νησί της Σάμου στα νοτιοανατολικά σύνορα της Ελλάδας με την Τουρκία, στo νέo στρατόπεδo μεταναστών, τo οποίο σχεδόν διαφημίζει η ελληνική κυβέρνηση, τίθενται σε λειτουργία , δυο πιλοτικά ειδικά συστήματα, το Υπερίων και το Κένταυρος.
-Το ΥΠΕΡΙΩΝ αποτελεί ένα σύστημα διαχείρισης αιτούντων άσυλο, αναφορικά με όλες τις ανάγκες της Υπηρεσίας Υποδοχής και Ταυτοποίησης. Επεξεργάζεται βιομετρικά και βιογραφικά δεδομένα των αιτούντων άσυλο, όπως επίσης των μελών ΜΚΟ που επισκέπτονται τις σχετικές δομές και των εργαζομένων σε αυτές. Σχεδιάζεται να είναι το βασικό εργαλείο για την λειτουργία των Κέντρων υποδοχής και των Κλειστών δομών (ΚΕΔΝ) καθώς θα έχει την ευθύνη του ελέγχου πρόσβασης,, της παρακολούθησης παροχών ανά αιτούντα άσυλο με χρήση ατομικής κάρτας (φαγητό, προμήθειες ρουχισμού κλπ) και των μετακινήσεων μεταξύ των ΚΥΤ, των ΚΕΔΝ και των Δομών Φιλοξενίας. Παράλληλα, το έργο περιλαμβάνει τη δημιουργία εφαρμογής κινητού τηλεφώνου που θα παρέχει προσωποποιημένες πληροφορίες στον χρήστη, θα αποτελεί την ηλεκτρονική θυρίδα του αναφορικά με τη διαδικασία αίτησης ασύλου του και θα δίνει τη δυνατότητα στην υπηρεσία για προσωποποιημένη ενημέρωση.
-Το σύστημα ΚΕΝΤΑΥΡΟΣ αποτελεί ψηφιακό σύστημα διαχείρισης ηλεκτρονικής και φυσικής ασφάλειας περιμετρικά και εντός των εγκαταστάσεων, με χρήση καμερών και αλγορίθμων ανάλυσης συμπεριφοράς (Artificial Intelligence Behavioral Analytics). Περιλαμβάνει κεντρική διαχείριση από την έδρα του Υπουργείου Ψηφιακής Διακυβέρνησης και υπηρεσίες όπως : Σηματοδότηση συναγερμών παραβίασης της περιμέτρου με χρήση καμερών (που έχουν τη δυνατότητα θερμομέτρησης, εστίασης και περιστροφής) και αλγορίθμων ανάλυσης κίνησης, σηματοδότηση συναγερμών έκνομης συμπεριφοράς ατόμων ή ομάδων ατόμων σε χώρους συνάθροισης εσωτερικά της εγκατάστασης και χρήση συστημάτων μη επανδρωμένων αεροσκαφών για την εκτίμηση περιστατικών εντός της εγκατάστασης χωρίς τη μεσολάβηση ανθρώπινου παράγοντα.
«Το Κένταυρος χρησιμοποιεί κάμερες, που έχουν μεγάλη δυνατότητα να επικεντρωθούν σε συγκεκριμένα πρόσωπα, κάμερες που μπορούν ανά πάσα στιγμή, να μετρήσουν και τη θερμοκρασία κάποιου. Το πιο σημαντικό δεν είναι ότι το Κένταυρος απλά θα αντλεί αυτήν την εικόνα για λόγους ασφαλείας, είναι ότι θα χρησιμοποιούνται και αλγόριθμοι ανάλυσης συμπεριφοράς, χωρίς να εξηγείται ακριβώς τι σημαίνει αυτό» μας λέει ο δικηγόρος και μέλος της οργάνωσης Homo Digitalis, Κώστας Κακαβούλης. Όπως επισημαίνει ο ίδιος «ένας αλγόριθμος μαθαίνει να καταλήγει σε κάποια συμπεράσματα με βάση κάποια στοιχεία που του έχουμε δώσει. Ένας αλγόριθμος τέτοιος θα μπορεί να διακρίνει ανάμεσα στο ότι ο Χ άνθρωπος ενδέχεται να έχει αυξημένη επιθετική συμπεριφορά, και να επιτεθεί σε άλλους αιτούντες άσυλο ή σε φύλακες ή ενδέχεται να θελήσει να διαφύγει από τη δομή φιλοξενίας παράνομα. Μια άλλη χρήση αλγορίθμων ανάλυσης συμπεριφοράς είναι αλγόριθμοι ανάλυσης ψεύδους, οι οποίοι μπορεί να κρίνουν αν η συμπεριφορά μας και τα λεγόμενά μας, αποτυπώνουν κάτι που είναι αληθινό ή όχι. Aυτό γίνεται κυρίως μέσα από την ανάλυση βιομετρικών δεδομένων, των δεδομένων που όλοι μας παράγουμε μέσα από την κίνησή μας στο χώρο, μέσα από τη φυσική μας παρουσία, μέσα από την εξωτερική μας εμφάνιση αλλά και του τρόπου πχ που κουνάμε τα χέρια μας, που ανοιγοκλείνουμε τα μάτια μας, ο τρόπος που περπατάμε. Όλα αυτά μπορεί να μας φαίνονται επουσιώδη, όμως αν κάποιος μπορέσει να τα συλλέξει σε μεγάλο εύρος χρόνου και μπορέσει να τα συσχετίσει με τα δεδομένα πολλών άλλων ανθρώπων, ενδεχομένως μπορεί να καταλήξει σε συμπεράσματα για μας, που μπορεί και εμάς να μας καταπλήξουν, για το πόσο επιθετική μπορεί να είναι η συμπεριφορά μας, πόσο άγχος έχουμε, πόσο φοβόμαστε, αν λέμε αλήθεια ή όχι» . επισημαίνει ο Κακαβούλης. Στην ισχύουσα επί του παρόντος νομοθεσία απαγορεύεται να γίνεται μία επεξεργασία προσωπικών δεδομένων χωρίς να υπάρχει η δυνατότητα ανθρώπινης παρέμβασης.
Η δικηγόρος Petra Molnar ερευνά την τελευταία περίοδο τις επιδράσεις εφαρμογών τεχνητής νοημοσύνης στον έλεγχο των μεταναστευτικών ροών. Βρέθηκε στη Σάμο στα εγκαίνια της νέας κλειστής, ελεγχόμενης δομής. «Πολλαπλές στρώσεις συρματοπλεγμάτων, κάμερες παντού, σταθμοί δακτυλικών αποτυπωμάτων στην περιστροφική πύλη, σημεία εισόδου-εξόδου. Οι πρόσφυγες το βλέπουν ως ένα συγκρότημα φυλακών. Δεν θα το ξεχάσω ποτέ αυτό. Την παραμονή των εγκαινίων βρεθηκα στο παλιό στρατόπεδο στο Βαθύ της Σάμου. Μιλήσαμε με μια νεαρή μαμά από το Αφγανιστάν. Έσπρωχνε τη μικρή της κόρη σε ένα καρότσι και πληκτρολόγησε βιαστικά ένα μήνυμα στο τηλέφωνό της που έλεγε: “Αν πάμε εκεί, θα τρελαθούμε΄’. Και κάθε φορά που κοιτάζω τα στρατόπεδο με αυτά τα συστήματα, αντιλαμβάνομαι ότι ενσαρκώνει αυτόν τον φόβο που έχουν οι άνθρωποι όταν πρόκειται να απομονωθούν, ενώ χρησιμοποιούνται τεχνολογίες επιτήρησης που ελέγχουν ακόμη περισσότερο τις κινήσεις τους».
Οι Γιατροί Χωρίς Σύνορα χαρακτήρισαν «δυστοπικό εφιάλτη» τη νέα δομή στη Σάμο. Δεν ήταν οι μόνοι. «Το σύστημα ΚΕΝΤΑΥΡΟΣ πλαισιώνεται από τη χρήση ιδιαίτερα παρεμβατικών τεχνολογιών για την προστασία της ιδιωτικής ζωής, των προσωπικών δεδομένων καθώς και άλλων δικαιωμάτων όπως αλγόριθμοι ανάλυσης συμπεριφοράς και κίνησης, μη επανδρωμένα αεροσκάφη και κλειστό κύκλωμα καμερών παρακολούθησης. Υπάρχει σοβαρό ενδεχόμενο η εγκατάσταση των συστημάτων ΥΠΕΡΙΩΝ και ΚΕΝΤΑΥΡΟΣ να παραβιάσει τη νομοθεσία της Ευρωπαϊκής Ένωσης για την επεξεργασία προσωπικών δεδομένων και τις διατάξεις του Ν.4624/2019» επισημαίνει η οργάνωση Ηomo Digitalis. Οι οργανώσεις Ελληνική Ένωση για τα Δικαιώματα του Ανθρώπου, HIAS Ελλάδος, και Homo Digitalis και η Λέκτορας του Queen Mary University of London Δρ. Νιόβη Βάβουλα κατέθεσαν ενώπιον της ελληνικής Αρχής Προστασίας Δεδομένων Προσωπικού Χαρακτήρα (ΑΠΔΠΧ) στις 18.2.2022 αίτημα για την άσκηση των εξουσιών έρευνας και την έκδοση σχετικής Γνωμοδότησης επί της της προμήθειας και εγκατάστασης των συστημάτων. Την Τετάρτη 2 Μαρτίου 2022, η Αρχή ξεκίνησε να έρευνα το Υπουργείο Μετανάστευσης και Ασύλου για τα δύο επίμαχα συστήματα.
Η φετιχοποίηση της αυτοματοποίησης
«Το πρόβλημα είναι ότι οι αρχές, αλλά και οι πολιτικοί, αρχίζουν να αντιλαμβάνονται τις προηγμένες αναλύσεις δεδομένων ως παράγοντες κάποιου είδους αντικειμενικής και αμερόληπτης γνώσης για θέματα ασφάλειας, επειδή έχουν αυτή την αύρα μαθηματικής ακρίβειας. Αλλά η τεχνητή νοημοσύνη και η μηχανική μάθηση μπορεί να είναι στην πραγματικότητα πολύ ακριβείς στην αναπαραγωγή και τη μεγέθυνση των προκαταλήψεων του παρελθόντος. Θα πρέπει να θυμόμαστε ότι τα δεδομένα κακής ποιότητας θα οδηγήσουν μόνο σε κακές αυτοματοποιημένες, μεροληπτικές αποφάσεις» επισημαίνει ο ερευνητής Γιώργος Γλούφτσιος.
Αναρωτιόμαστε ποιός είναι τελικά ο λόγος που χρησιμοποιούμε στα σύνορα μας robot- σκύλους, ηχητικά κανόνια και διάφορους ανιχνευτές ψεύδους αλλά δε χρησιμοποιούμε την ίδια την τεχνητή νοημοσύνη για να εξοστρακίσουμε πχ ρατσιστές συνοριοφύλακες.
Flash forward. Το 2054 στο αστυνομικό τμήμα της Ουάσιγκτον έχει δημιουργηθεί μια ειδική Pre Crime (προ-εγκληματική) αστυνομική ομάδα, που συλλαμβάνει υπόπτους εγκλημάτων, πριν ακόμη αυτοί διαπράξουν το έγκλημα. Τις προβλέψεις τις κάνουν τρία μεταλλαγμένα ανθρώπινα όντα, τα οποία βρίσκονται σε καθεστώς διαρκούς ύπνωσης και έχουν τη δυνατότητα να βλέπουν το μέλλον και μεταξύ άλλων τον εν δυνάμει εγκληματία πριν καν περάσει στην πράξη. Είναι υπερβολικό-προς το παρον- να ισχυριστούμε ότι πλησιάζουμε στη φαντασία του Φίλιπ Ντικ στο Μinority Report. Όμως αυτό που δεν είναι καθόλου μακρινό είναι η ύπαρξη διαφόρων συστημάτων ανάλυσης συμπεριφοράς, ανιχνευτών ψεύδους, λογισμικών αναγνώρισης προσώπου και συναισθημάτων, με ορίζοντα τις αυτοματοποιημένες λήψεις αποφάσεων. Όλα αυτά σε ένα περιβάλλον στρατικοποίησης των εξωτερικών συνόρων της ΕΕ, σε ένα πλαίσιο αντιμετώπισης του ανθρώπου σε κινηση ως εν δυνάμει απειλής, κινδυνεύουν να οδηγήσουν σε ένα επισφαλές ανθρώπινο εργαστήριο, σε ένα πείραμα υψηλού ρίσκου για τα θεμελιώδη ανθρώπινα δικαιώματα.
*Αυτό το άρθρο έχει δημιουργηθεί στο πλαίσιο του project Panelfit, που υποστηρίζεται από το πρόγραμμα Horizon 2020 της Ευρωπαϊκής Επιτροπής (συμφωνία επιχορήγησης αρ. 788039). Η Επιτροπή δεν συμμετείχε στην παραγωγή του άρθρου και δεν είναι υπεύθυνη για το περιεχόμενό του. Το άρθρο αποτελεί μέρος της ανεξάρτητης δημοσιογραφικής παραγωγής του Ευρωπαϊκού Δικτύου Δημοσιογραφίας Δεδομένων (EDJNet).