Ερευνητές χρησιμοποιούν τη δραστηριότητα του εγκεφάλου των ανθρώπων για τη δημιουργία εικόνων τεχνητής νοημοσύνης

7 Μαρτίου 2023

Μια ομάδα Ιαπώνων επιστημόνων χρησιμοποίησε την εγκεφαλική δραστηριότητα των ανθρώπων για να δημιουργήσει εικόνες με το μοντέλο τεχνητής νοημοσύνης (AI) Stable Diffusion.

Οι ερευνητές της Μεταπτυχιακής Σχολής Συνοριακών Βιοεπιστημών του Πανεπιστημίου της Οσάκα στην Ιαπωνία, κατάφεραν να ανακατασκευάσουν εικόνες υψηλής ανάλυσης και μεγάλης ακρίβειας από την εγκεφαλική δραστηριότητα του ανθρώπου, χρησιμοποιώντας το δημοφιλές μοντέλο Stable Diffusion.

Η ομάδα, με επικεφαλής τους ερευνητές Yu Takagi και Shinji Nishimoto, παρουσίασε τα ευρήματά της σε μια εργασία που δημοσιεύθηκε τον Δεκέμβριο.

Οι επιστήμονες παρουσίασαν ένα σύνολο εικόνων και έκαναν σαρώσεις fMRI (λειτουργική μαγνητική τομογραφία) του εγκεφάλου τους, ενώ εκείνοι επικεντρώνονταν στην εικόνα.

Η ομάδα χρησιμοποίησε έναν συνδυασμό της εξόδου της εικόνας fMRI και του σημασιολογικού αποκωδικοποιητή για να δημιουργήσει την εικόνα που προέκυψε. Ωστόσο, διαπίστωσαν ότι η προσθήκη του Stable Difusion στη διαδικασία, επέτρεψε στις τελικές εικόνες που δημιουργήθηκαν να μοιάζουν περισσότερο με τις αρχικές εικόνες που έδειξαν στους συμμετέχοντες.

Σύμφωνα με το Vice, η ομάδα των ερευνητών αναφέρει ότι πρώτα προέβλεψε μια λανθάνουσα αναπαράσταση, η οποία είναι ένα μοντέλο των δεδομένων της εικόνας, από τα σήματα fMRI.

Στη συνέχεια, το μοντέλο επεξεργάστηκε και του προστέθηκε “θόρυβος” μέσω της διαδικασίας διάχυσης. Τέλος, οι ερευνητές αποκωδικοποίησαν τις αναπαραστάσεις κειμένου από τα σήματα fMRI εντός του ανώτερου οπτικού φλοιού και τις χρησιμοποίησαν ως είσοδο για την παραγωγή μιας τελικής κατασκευασμένης εικόνας.

Η μελέτη είναι το πιο πρόσφατο παράδειγμα του τρόπου με τον οποίο οι επιστήμονες προσπαθούν να ανακαλύψουν, πώς τα μοντέλα τεχνητής νοημοσύνης μπορούν να συνεργαστούν με τον ανθρώπινο εγκέφαλο για την αναδημιουργία εικόνων.

Η ομάδα των ερευνητών έδειξε φωτογραφίες προσώπων σε δύο εθελοντές μέσα σε έναν ισχυρό σαρωτή λειτουργικής μαγνητικής τομογραφίας (fMRI) που διαβάζει τον εγκέφαλο. Καθώς οι εθελοντές κοιτούσαν τις εικόνες των προσώπων, το fMRI σάρωσε τη δραστηριότητα των νευρώνων στις περιοχές του εγκεφάλου τους που είναι υπεύθυνες για την όραση.

Στη συνέχεια, οι ερευνητές τροφοδότησαν αυτές τις πληροφορίες στον αλγόριθμο τεχνητής νοημοσύνης ενός υπολογιστή και το σύστημα μπόρεσε να ανακατασκευάσει πανομοιότυπα τις αρχικές εικόνες που είχαν δει οι εθελοντές.

Εικόνες: Όλες οι φωτογραφίες προέρχονται από την εργασία με τίτλο “High-resolution image reconstruction with latent diffusion models from human brain activity” των Yu Takagi και Shini Nishimoto.

Αναζητήστε όλα τα νέα προϊόντα στο κατάστημα
Ρεπέλλα Φωτογραφικά.

To pttlgr στηρίζεται για την λειτουργία του στους αναγνώστες του!
Μπορείς να βοηθήσεις με μία μικρή δωρεά!
Υποστηρίξτε το pttlgr ακόμα και με μόλις 1€ – χρειάζεται μόνο ένα λεπτό. Εάν μπορείτε, σκεφτείτε να μας υποστηρίξετε με ένα ποσό κάθε μήνα.
Σας ευχαριστούμε.

Στηρίξτε το pttlgr και την προσπάθεια μας για έγκυρη και άμεση ενημέρωση ακολουθώντας μας
σε Instagram, YouTube και Facebook!

Ακολουθήστε το pttlgr στα Google News, εδώ!