Σύνοψη
- Ο Simon Weckert δημιούργησε πουκάμισο με adversarial pattern για object detection
- Στο επίσημο demo ένα generic open-source YOLO αποτυγχάνει σε ορισμένα καρέ
- Το project δεν ισχυρίζεται ότι νικά συγκεκριμένο κρατικό σύστημα ούτε εγγυάται ανωνυμία
- Στόχος είναι η συζήτηση για διαφάνεια, αξιοπιστία και λογοδοσία στην επιτήρηση
Ο Βερολινέζος καλλιτέχνης Simon Weckert δημιούργησε ένα πουκάμισο με adversarial pattern που επιχειρεί να κάνει ένα σύστημα computer vision να μη χαρακτηρίζει σωστά τον άνθρωπο που το φορά.
Το έργο ονομάζεται «Digital Camouflage» και παρουσιάζεται ως wearable installation σε εξέλιξη από το 2025. Στην επίσημη επίδειξη, ένα γενικό open-source μοντέλο ανίχνευσης αντικειμένων YOLO τοποθετεί πλαίσια «person» στους περαστικούς, αλλά αποτυγχάνει σε ορισμένες στιγμές να αναγνωρίσει τον χρήστη του πολύχρωμου πουκαμίσου.
Ο ίδιος ο δημιουργός βάζει σαφή όρια στον ισχυρισμό: δεν λέει ότι το ένδυμα νικά κάποιο συγκεκριμένο κρατικό ή αστυνομικό σύστημα, δεν υπόσχεται ανωνυμία και δεν το παρουσιάζει ως εργαλείο αποφυγής της αστυνομίας. Το έργο είναι σχόλιο για την αδιαφάνεια της δημόσιας επιτήρησης και για την ευκολία με την οποία ένα σύστημα μπορεί να θεωρηθεί αξιόπιστο χωρίς να είναι διαθέσιμο σε δημόσιο έλεγχο.
Πώς λειτουργεί ένα adversarial pattern
Τα συστήματα object detection δεν «βλέπουν» έναν άνθρωπο όπως το ανθρώπινο μάτι. Αναζητούν συνδυασμούς ακμών, υφών, σχημάτων και σχέσεων που έχουν μάθει από δεδομένα εκπαίδευσης. Ένα adversarial pattern σχεδιάζεται ώστε να δημιουργεί χαρακτηριστικά που ωθούν το μοντέλο προς λάθος πρόβλεψη ή μειώνουν την εμπιστοσύνη του κάτω από το όριο ανίχνευσης.
Στην οθόνη, το πουκάμισο παραμένει προφανώς ένα έντονο ένδυμα πάνω σε άνθρωπο. Για το μοντέλο, όμως, οι επαναλαμβανόμενες πολύχρωμες μορφές μπορεί να ανταγωνίζονται τα μοτίβα που χρησιμοποιεί για να εντοπίσει κορμό, άκρα και συνολικό ανθρώπινο σχήμα. Η επίθεση δεν κρύβει το φως ούτε κάνει το άτομο αόρατο στην κάμερα· προσπαθεί να αλλάξει τη μαθηματική ταξινόμηση της εικόνας.
Η επίσημη επίδειξη του Digital Camouflage
Στο βίντεο του project, οι περαστικοί λαμβάνουν κανονικά πλαίσια ανίχνευσης, ενώ ο χρήστης του πουκαμίσου εμφανίζεται χωρίς σταθερό label σε μέρος της διαδρομής. Το demo χρησιμοποιεί generic open-source YOLO, όπως δηλώνεται ρητά στην επίσημη σελίδα. Δεν είναι δοκιμή πάνω σε κάμερα του Βερολίνου ούτε απόδειξη ότι το pattern λειτουργεί απέναντι σε κάθε έκδοση YOLO.
Η διάκριση είναι κρίσιμη. Ένα μοντέλο που εκπαιδεύτηκε με διαφορετικά δεδομένα, χρησιμοποιεί άλλη ανάλυση, temporal tracking, πολλαπλές κάμερες ή πρόσθετη άμυνα απέναντι σε adversarial inputs μπορεί να συμπεριφερθεί διαφορετικά. Ακόμη και στο ίδιο μοντέλο, η γωνία, η απόσταση, ο φωτισμός, η κίνηση, η συμπίεση βίντεο και το πόσο τσαλακώνεται το ύφασμα επηρεάζουν το αποτέλεσμα.
Γιατί το project συνδέεται με το Kottbusser Tor
Ο Weckert τοποθετεί το έργο στο πλαίσιο της συζήτησης για την επιτήρηση στον δημόσιο χώρο του Βερολίνου και ειδικότερα στο Kottbusser Tor. Η περιοχή έχει βρεθεί στο επίκεντρο συζητήσεων για κάμερες, αυτοματοποιημένη ανάλυση και συστήματα που επιχειρούν να εντοπίζουν συμπεριφορές ή περιστατικά.
Το ερώτημα του έργου δεν είναι απλώς αν ένα πουκάμισο μπορεί να ξεγελάσει έναν detector. Είναι ποιος αξιολογεί την ακρίβεια ενός αδιαφανούς συστήματος, ποιος αποφασίζει ποιο ποσοστό λάθους θεωρείται αποδεκτό και τι συμβαίνει όταν η λανθασμένη αναγνώριση επηρεάζει έναν πραγματικό άνθρωπο.
Μια κάμερα ασφαλείας μπορεί να συνεχίσει να καταγράφει καθαρά τον χρήστη, ακόμη κι αν ένα συγκεκριμένο μοντέλο δεν δημιουργήσει πλαίσιο «person». Το υλικό μπορεί να αναλυθεί αργότερα από άλλο σύστημα ή από άνθρωπο. Γι’ αυτό το Digital Camouflage δεν πρέπει να συγχέεται με πραγματική ανωνυμοποίηση προσώπου, κρυπτογράφηση ή φυσική απόκρυψη.
Από την οθόνη στο ύφασμα
Οι adversarial επιθέσεις είναι συχνά πιο εύκολες σε ένα ψηφιακό αρχείο, όπου κάθε pixel ελέγχεται ακριβώς. Το τυπωμένο ύφασμα εισάγει μεταβλητές: αλλαγές χρώματος στην εκτύπωση, πτυχώσεις, τέντωμα, σκιές και κίνηση. Για να έχει αποτέλεσμα στο φυσικό περιβάλλον, το pattern πρέπει να αντέχει σε πολλές μεταμορφώσεις και όχι μόνο σε ένα ιδανικό καρέ.
Η επίσημη σελίδα παραπέμπει σε πρόσφατη ερευνητική βιβλιογραφία για adversarial clothing και φυσικά ρεαλιστικές επιθέσεις σε person detectors. Αυτό δεν σημαίνει ότι το συγκεκριμένο εμπορικό pattern έχει περάσει ανεξάρτητη ακαδημαϊκή αξιολόγηση με τα ίδια πρωτόκολλα. Ο Weckert παρουσιάζει ένα καλλιτεχνικό project βασισμένο σε αυτή την κατεύθυνση έρευνας, όχι πιστοποιημένο μέσο προστασίας.
Τι αποδεικνύει και τι δεν αποδεικνύει
Το demo αποδεικνύει ότι υπό συγκεκριμένες συνθήκες ένα οπτικό pattern μπορεί να αλλάξει την έξοδο ενός γνωστού detector. Δεν αποδεικνύει καθολική αποτελεσματικότητα, ούτε ότι οι κάμερες AI είναι γενικά άχρηστες. Αντίθετα, δείχνει ότι η απόδοση ενός μοντέλου εξαρτάται από το περιβάλλον, τα δεδομένα και τα όρια στα οποία σχεδιάστηκε να λειτουργεί.
Επίσης δεν αποδεικνύει ότι ο χρήστης είναι ασφαλής από άλλες τεχνικές: αναγνώριση προσώπου, re-identification από ρούχα και βάδισμα, θερμικές κάμερες, depth sensors ή συσχέτιση πολλών καμερών. Ένα σύστημα επιτήρησης μπορεί να χρησιμοποιεί περισσότερα από ένα σήματα και να μην βασίζεται αποκλειστικά στο label «person» ενός detector.
Το πουκάμισο ως πολιτικό αντικείμενο
Το Digital Camouflage διατίθεται και ως πραγματικό πουκάμισο, αλλά ο Weckert το περιγράφει πρωτίστως ως δημόσιο σήμα διαφωνίας με τη μη συναινετική μηχανική ανάγνωση των σωμάτων. Μέρος των εσόδων, σύμφωνα με το project, κατευθύνεται σε οργανώσεις ψηφιακών πολιτικών δικαιωμάτων και σε δράσεις κατά της επέκτασης της επιτήρησης.
Η επιλογή ενός φορέσιμου αντικειμένου κάνει τη συζήτηση ορατή. Αντί η αντιπαράθεση για datasets, thresholds και false negatives να μένει σε τεχνικές εκθέσεις, εμφανίζεται πάνω στο σώμα που προσπαθεί να ταξινομήσει το σύστημα. Αυτή είναι και η μεγαλύτερη επιτυχία του project, ανεξάρτητα από το ποσοστό των frames στα οποία το YOLO αποτυγχάνει.
Ποιος είναι ο Simon Weckert
Ο Simon Weckert είναι καλλιτέχνης με έδρα το Βερολίνο που εξετάζει την επίδραση ψηφιακών υποδομών στον δημόσιο χώρο. Έγινε ευρύτερα γνωστός με το «Google Maps Hacks», όπου ένα καρότσι με δεκάδες smartphones δημιούργησε την ψευδαίσθηση κυκλοφοριακής συμφόρησης στον χάρτη. Και στα δύο έργα χρησιμοποιεί μια απλή φυσική παρέμβαση για να αποκαλύψει πόσο εύκολα ένα ψηφιακό σύστημα μετατρέπει σήματα σε «πραγματικότητα».
Τι πιστεύουμε
Το Digital Camouflage είναι πιο πειστικό ως κριτική της αυτοματοποιημένης επιτήρησης παρά ως προϊόν ασφάλειας. Η επίδειξη είναι εντυπωσιακή, αλλά η υπεύθυνη ανάγνωση βρίσκεται στους περιορισμούς που δηλώνει ο ίδιος ο δημιουργός: generic YOLO, συγκεκριμένες συνθήκες, καμία υπόσχεση ανωνυμίας. Το ουσιαστικό ερώτημα δεν είναι αν όλοι πρέπει να φορέσουν adversarial shirts, αλλά αν τα συστήματα που επηρεάζουν τον δημόσιο χώρο μπορούν να ελεγχθούν με διαφάνεια πριν αποκτήσουν εξουσία πάνω στους ανθρώπους.
Συχνές ερωτήσεις
Κάνει το πουκάμισο τον χρήστη αόρατο στις κάμερες;
Όχι. Η κάμερα συνεχίζει να καταγράφει την εικόνα. Το pattern επιχειρεί να επηρεάσει την ταξινόμηση ενός συγκεκριμένου object detector.
Λειτουργεί απέναντι σε αστυνομικά ή κρατικά συστήματα;
Ο δημιουργός δεν κάνει τέτοιον ισχυρισμό. Το demo χρησιμοποιεί generic open-source YOLO και όχι συγκεκριμένο κρατικό σύστημα.
Γιατί μπορεί να αποτύχει;
Η γωνία, η απόσταση, ο φωτισμός, οι πτυχώσεις, η συμπίεση, η έκδοση του μοντέλου και πρόσθετες άμυνες μπορούν να αλλάξουν το αποτέλεσμα.
Ποιος είναι ο στόχος του project;
Να ανοίξει δημόσια συζήτηση για την αδιαφάνεια, την αξιοπιστία και τη δημοκρατική λογοδοσία των συστημάτων αυτοματοποιημένης επιτήρησης.
