Meta repousse les limites de l’intelligence artificielle avec le lancement de Meta Movie Gen, son dernier modèle d’application d’intelligence artificielle basée sur les médias. Movie Gen permet de créer des vidéos, des sons et des expériences multimédias personnalisées à partir de simples entrées de texte. Grâce à ces capacités, Meta Movie Gen se positionne comme un outil offrant de nombreuses fonctions différentes pour la création de contenu, et non comme un simple modèle texte-vidéo.
🎥 Today we’re premiering Meta Movie Gen: the most advanced media foundation models to-date.
— AI at Meta (@AIatMeta) October 4, 2024
Developed by AI research teams at Meta, Movie Gen delivers state-of-the-art results across a range of capabilities. We’re excited for the potential of this line of research to usher in… pic.twitter.com/NDOnyKOOyq
Le cœur de Movie Gen
Movie Gen a été conçu pour créer des vidéos de haute qualité et de haute résolution à partir de texte. Il permet aux utilisateurs de créer des vidéos à partir de zéro ou de modifier du matériel existant en quelques saisies. Ce nouveau modèle offre une multitude de fonctionnalités qui portent les possibilités de création à un niveau supérieur, notamment l’édition vidéo, la création de vidéos personnalisées et les bandes sonores synchronisées.
Génération de texte vers vidéo
Au cœur de Movie Gen se trouve le 30B Parameter Transformer, un outil puissant qui crée de longues vidéos haute résolution avec des proportions définies par l’utilisateur à partir de descriptions textuelles. Il s’agit d’une avancée significative par rapport aux normes actuelles de l’industrie, qui se heurtent souvent à la longueur ou à la qualité des vidéos. Des animations conceptuelles aux courts métrages réalistes.
Montage vidéo avec texte
Une autre particularité de Movie Gen est la possibilité d’éditer des vidéos par le texte. Les utilisateurs peuvent saisir des instructions précises pour modifier les vidéos à différents niveaux, de la suppression ou de l’ajout d’éléments à des modifications plus complètes comme la modification de l’arrière-plan ou l’application d’effets de style. Ces fonctions permettent d’affiner les éléments vidéo, qui sont tous contrôlés par de simples saisies de texte.
Création de vidéos personnalisées
Le modèle brille également dans la création de vidéos personnalisées. En téléchargeant sa propre image, l’utilisateur peut créer des vidéos qui reflètent son identité et ses mouvements. Movie Gen est idéal pour les projets personnels, les avatars ou les contenus interactifs. Les fonctions avancées de capture de mouvement de l’IA permettent à ces vidéos personnalisées de présenter un flux naturel et d’être très réalistes.
Génération de bandes-son et d’effets sonores
Le modèle audio de Movie Gen (avec des paramètres 13B) donne également de très bons résultats. En combinant des instructions vidéo et des instructions textuelles optionnelles, l’utilisateur peut créer un son de haute qualité qui correspond parfaitement à sa vidéo. Le modèle génère une grande variété d’effets sonores, allant des bruits d’ambiance et de la musique de fond instrumentale au son de Foley, et veille à ce que la bande sonore ne soit pas seulement adaptée, mais renforce également l’atmosphère de la vidéo.
Le potentiel de Meta Movie Gen
Movie Gen a été développé par les équipes de recherche en IA de Meta et pourrait avoir un impact énorme sur un grand nombre de secteurs, notamment les médias, le divertissement et le marketing.
Bien que Meta Movie Gen soit encore en phase de recherche, l’équipe travaille en étroite collaboration avec des professionnels de la création afin d’intégrer les commentaires et d’étendre les fonctionnalités avant une publication plus large. Meta donne déjà un premier aperçu des développements futurs – il est clair que Movie Gen pourrait être un véritable game changer pour le storytelling numérique et offrir aux créatifs une toute nouvelle possibilité de donner vie à leurs idées grâce à la puissance de l’IA.
Source: https://x.com/aiatmeta/status/1842188252541043075?s=12
