AI μετατρέπει ηχογραφήσεις ήχου σε ακριβείς εικόνες δρόμων!
Ερευνητές ανέπτυξαν ένα AI σύστημα που μετατρέπει μια ηχογράφηση ήχου σε μια εικόνα του δρόμου από τον οποίο προήλθε ο ήχος.
Φανταστείτε να ηχογραφείτε τους ήχους από ένα συγκεκριμένο δρόμο και στη συνέχεια να μπορείτε να δημιουργείτε με ακρίβεια εικόνα αυτού του δρόμου μόνο από τους ήχους που ηχογραφήσατε! Αυτό ακριβώς φαίνεται ότι πέτυχε μια ομάδα ερευνητών από το Πανεπιστήμιο του Texas (Austin) η οποία ανέπτυξε ένα λογισμικό τεχνητής νοημοσύνης (AI) που μετατρέπει ήχο σε εικόνα. Η ομάδα αρχικά θέλησε να μελετήσει αν τα ηχητικά κλιπ από μόνα τους αρκούν ώστε η τεχνητή νοημοσύνη να κατανοήσει τα οπτικά χαρακτηριστικά του περιβάλλοντος από το οποίο έχουν προέλθει οι ήχοι.
Η ομάδα χρησιμοποίησε “γενετική” τεχνητή νοημοσύνη (generative AI) για να μετατρέψει τελικά με επιτυχία ήχους από ηχογραφήσεις σε εικόνες δρόμου. Το εντυπωσιακό σε αυτό το εγχείρημα είναι ότι οι εικόνες που δημιουργούνται έχουν μεγάλη ακρίβεια με το μέρος από το οποίο ηχογράφησαν τους ήχους. Το συμπέρασμα των ερευνητών είναι ότι ένα λογισμικό τεχνητής νοημοσύνης είναι σε θέσει να αναπαράγει την ανθρώπινη σύνδεση μεταξύ ακουστικής και οπτικής αντίληψης ενός περιβάλλοντος. Η ομάδα δοκίμασε 100 βίντεο YouTube βίντεο (χρησιμοποιώντας τα ηχητικά κλιπ) από πόλεις στη Βόρεια Αμερική, την Ασία και την Ευρώπη.
Χρησιμοποίησαν αυτά τα κλιπ για να εκπαιδεύσουν το μοντέλο τεχνητής νοημοσύνης που θα μπορούσε να παράγει εικόνες υψηλής ανάλυσης από την εισαγωγή ήχων (στο πρόγραμμα) σχετικά με το πώς φαίνονται και ακούγονται διάφορα περιβάλλοντα. Το λογισμικό τροφοδοτήθηκε με ηχητικά κλιπ διάρκειας 10 δευτερολέπτων και του ζητήθηκε να δημιουργήσει εικόνες υψηλής ανάλυσης. Το αποτέλεσμα ήταν εντυπωσιακό:
Οι ερευνητές συνέκριναν τις εικόνες που δημιούργησε η τεχνητή νοημοσύνη με τις αντίστοιχες φωτογραφίες τους από τον πραγματικό κόσμο χρησιμοποιώντας αξιολογήσεις τόσο από ανθρώπους όσο και από υπολογιστή. Ο Yuhao Kang, επίκουρος καθηγητής γεωγραφίας και περιβάλλοντος στο Πανεπιστήμιο του Texas και μέλος της ομάδας δήλωσε το εξής:
Η μελέτη μας διαπίστωσε ότι τα ακουστικά σήματα περιέχουν αρκετά οπτικά στοιχεία για να δημιουργήσουν εξαιρετικά αναγνωρίσιμες εικόνες δρόμου που απεικονίζουν με ακρίβεια διαφορετικά μέρη. Αυτό σημαίνει ότι μπορούμε να μετατρέψουμε τα ακουστικά σήματα σε ζωντανές οπτικές αναπαραστάσεις, μετατρέποντας αποτελεσματικά τους ήχους σε αξιοθέατα.
Κατά τη διάρκεια αυτής της έρευνας, έγινε και ένα τεστ σχετικά με το πόσο καλά οι άνθρωποι μπορούσαν να ταιριάξουν τον ήχο με τις παραγόμενες εικόνες. Όταν δόθηκε ένα ηχητικό κλιπ και τρεις εικόνες για να διαλέξουν, οι άνθρωποι ήταν σε θέση να προβλέψουν με ακρίβεια το σωστό περιβάλλον στο 80% των περιπτώσεων. Οι ερευνητές λένε ότι το ποσοστό επιτυχίας ήταν παρόμοιο με το ποσοστό της τεχνητής νοημοσύνης να μπορεί να δημιουργεί με ακρίβεια μια εικόνα του περιβάλλοντος μόνο από τον ήχο του. Ο Yuhao Kang λέει ότι θα μπορούσαν να υπάρχουν πολλές πιθανές εφαρμογές για το συγκεκριμένο σύστημα τεχνητής νοημοσύνης.
Για παράδειγμα, θα μπορούμε να κατανοήσουμε το ηχητικό μας τοπίο καλύτερα βρίσκοντας τρόπους ώστε να μειώσουμε τον θόρυβο. Μπορούμε επίσης να εμπλουτίσουμε τις “πολυαισθητηριακές” μας εμπειρίες (multi-sensory experiences).
Αναζητήστε όλα τα νέα προϊόντα στο κατάστημα
Ρεπέλλα Φωτογραφικά.
To pttlgr στηρίζεται για την λειτουργία του στους αναγνώστες του!
Μπορείς να βοηθήσεις με μία μικρή δωρεά!
Υποστηρίξτε το pttlgr ακόμα και με μόλις 1€ – χρειάζεται μόνο ένα λεπτό. Εάν μπορείτε, σκεφτείτε να μας υποστηρίξετε με ένα ποσό κάθε μήνα.
Σας ευχαριστούμε.
Στηρίξτε το pttlgr και την προσπάθεια μας για έγκυρη και άμεση ενημέρωση ακολουθώντας μας
σε Instagram, YouTube και Facebook!
Ακολουθήστε το pttlgr στα Google News, εδώ!
Πριν φύγετε δείτε
- ProGrade: Ήρθε η νέα κάρτα μνήμης CFexpress Type A Gold 960GB!
- Καλιφόρνια: Ένα σπάνιο θηλαστικό φωτογραφήθηκε για πρώτη φορά!
- The Brutalist: Αντιδράσεις για χρήση τεχνητής νοημοσύνης στη νέα ταινία!
- Instagram: Ήρθε η νέα λειτουργία επεξεργασίας βίντεο!
- Δείτε πως να αλλάξετε φακό στο διάστημα!
- DZOFilm: Ανακοίνωσε τον νέο macro κινηματογραφικό φακό X-Tract 18-28mm T8 Probe!
