Google: Παρουσίασε το νέο εντυπωσιακό λογισμικό τεχνητής νοημοσύνης Lumiere!

Η Google παρουσιάζει το Lumiere, το νέο ισχυρό μοντέλο τεχνητής νοημοσύνης που μετατρέπει εντολές κειμένου σε βίντεο.

Λειτουργεί όπως τα γνωστά text-to-image AI generators όπου δίνετε εντολές κειμένου και με βάση τις περιγραφές δημιουργούνται οι αντίστοιχες εικόνες, μόνο που το Google Lumiere δημιουργεί βίντεο. Η ονομασία δεν είναι τυχαία. Είναι ένας φόρος τιμής στους αδερφούς Lumiere οι οποίοι ήταν οι εφευρέτες του κινηματογράφου το 1895. Όπως είδατε στο παραπάνω βίντεο, το demo που παρουσίασε η Google εστιάζει στα ζώα. Το Lumiere μπορεί να δημιουργήσει μια σύντομη σκηνή (βίντεο) κάθε φορά χρησιμοποιώντας κείμενο. Ωστόσο, μπορείτε να χρησιμοποιήσετε και εικόνες ως προτροπές.

Η Google διάλεξε (εκτός των άλλων) ένα ιστορικό θέμα για να δείξει τη νέα τεχνολογία της χρησιμοποιώντας τη θρυλική φωτογραφία με το στήσιμο της σημαίας στη μάχη της νήσου Iwo jima του πολεμικού ρεπόρτερ Joe Rosenthal, μια από τις πιο αναγνωρίσιμες φωτογραφίες όλων των εποχών.

Μέσω του Lumiere, η εικόνα αυτή σε συνδυασμό με την προτροπή κειμένου “Soldiers raising the united states flag on a windy day”, δημιουργήθηκε μια σύντομη σκηνή όπου οι στρατιώτες παλεύουν με τους ισχυρούς ανέμους για το στήσιμο της σημαίας. Επίσης, η Google αναφέρει ότι το συγκεκριμένο λογισμικό έχει και μερικές πρωτοποριακές δυνατότητες όπως: Video Stylization, Cinemagraph, Inpainting και άλλα. Το Lumiere ενσωματώνει την αρχιτεκτονική Space-Time U-Net που μετατρέπει την αρχική εικόνα (προτροπής) σε ένα video animation ακολουθώντας εντολές γλώσσας προγραμματισμού.

Η Google δεν είναι ξεκάθαρη σχετικά με τα δεδομένα εκπαίδευσης που χρησιμοποιήθηκαν για το Lumiere, ενώ αναφέρει ότι εκπαιδεύει το μοντέλο τεχνητής νοημοσύνης της με ένα σύνολο δεδομένων που περιέχει 30 εκατομμύρια βίντεο (μαζί με τις λεζάντες τους). Τα βίντεο που δημιουργούνται έχουν διάρκεια 5 δευτερόλεπτα (80 καρέ σύνολο) με ρυθμό 16 fps (καρέ ανά δευτερόλεπτο). Το βασικό μοντέλο εκπαιδεύεται σε ανάλυση 128 x 128.

Μπορείτε αν θέλετε να δείτε αρκετά παραδείγματα του Lumiere (περιλαμβάνεται και το παράδειγμα με την εικόνα του στησίματος της σημαίας στη μάχη της νήσου Iwo jima) εδώ.

Απέκτησε το Luminar με έκπτωση, με τον κωδικό pttl20,
κάνε κλικ στην εικόνα

Αναζητήστε όλα τα νέα προϊόντα στο κατάστημα
Ρεπέλλα Φωτογραφικά.