Η Picsart ανέπτυξε ένα νέο μοντέλο τεχνητής νοημοσύνης μετατροπής κειμένου σε βίντεο

28 Μαρτίου 2023

Η ερευνητική ομάδα τεχνητής νοημοσύνης της Picsart, δημιούργησε ένα νέο παραγωγικό μοντέλο που μπορεί να δημιουργήσει περιεχόμενο βίντεο μέσω περιγραφών κειμένου.

Η τεχνολογία, που συχνά περιγράφεται ως text-to-video generative artificial intelligence, έχει κυκλοφορήσει ως επίδειξη ανοικτού κώδικα στο Twitter και έχει δημοσιευτεί στο GitHub και στο Hugging Face. Η ομάδα πίσω από αυτήν έχει επίσης δημοσιεύσει μια ερευνητική εργασία που περιγράφει τη μεθοδολογία.

“Οι πρόσφατες προσεγγίσεις δημιουργίας κειμένου σε βίντεο, βασίζονται σε υπολογιστικά βαριά εκπαίδευση και απαιτούν σύνολα δεδομένων βίντεο μεγάλης κλίμακας. Σε αυτή την εργασία, εισάγουμε μια νέα εργασία δημιουργίας κειμένου σε βίντεο και προτείνουμε μια προσέγγιση χαμηλού κόστους (χωρίς καμία εκπαίδευση ή βελτιστοποίηση) αξιοποιώντας τη δύναμη των υφιστάμενων μεθόδων σύνθεσης κειμένου σε εικόνα (π.χ. Stable Diffusion), καθιστώντας τις κατάλληλες για τον τομέα του βίντεο”, εξηγούν οι ερευνητές.

Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators

abs: https://t.co/5xCsj4PNRj
github: https://t.co/BdSzlepGQG pic.twitter.com/XY4piH6j4v
— AK 🤗 in SF for the Open-Source AI meetup (@_akhaliq) March 24, 2023

Το κύριο πρόβλημα με τη δημιουργική τεχνητή νοημοσύνη από κείμενο σε βίντεο αυτή τη στιγμή, είναι ότι ενώ η γενική ιδέα του τι δημιουργείται είναι συνεπής, η παρουσίασή του δεν είναι. Τα κύρια θέματα συχνά φαίνονται ελαφρώς διαφορετικά από καρέ σε καρέ και το φόντο είναι επίσης διαφορετικό, γεγονός που κάνει το τελικό βίντεο να μοιάζει σαν όλα να είναι συνεχώς σε κίνηση και, ως εκ τούτου, χάνεται ο ρεαλισμός. Η ομάδα προσπάθησε να το καταπολεμήσει αυτό.

Η τεχνητή νοημοσύνη λοιπόν, δεν φτιάχνει βίντεο μόνο από περιγραφές κειμένου, μα μπορεί επίσης να χρησιμοποιηθεί για να αλλάξει την εμφάνιση ενός υπάρχοντος βίντεο.

Η Picsart λέει ότι σχεδιάζει να λανσάρει νέα προϊόντα λογισμικού, που βασίζονται στο πλαίσιο αυτής της παραγωγικής τεχνητής νοημοσύνης τις επόμενες εβδομάδες.

Αναζητήστε όλα τα νέα προϊόντα στο κατάστημα
Ρεπέλλα Φωτογραφικά.

To pttlgr στηρίζεται για την λειτουργία του στους αναγνώστες του!
Μπορείς να βοηθήσεις με μία μικρή δωρεά!
Υποστηρίξτε το pttlgr ακόμα και με μόλις 1€ – χρειάζεται μόνο ένα λεπτό. Εάν μπορείτε, σκεφτείτε να μας υποστηρίξετε με ένα ποσό κάθε μήνα.
Σας ευχαριστούμε.

Στηρίξτε το pttlgr και την προσπάθεια μας για έγκυρη και άμεση ενημέρωση ακολουθώντας μας
σε Instagram, YouTube και Facebook!

Ακολουθήστε το pttlgr στα Google News, εδώ!