L’IA peut-elle créer de meilleurs VFX ? Plongée dans le court-métrage expérimental de Paul Trillo « Notes To My Future Self ».

juillet 5, 2024

La question de savoir si l’IA peut créer de meilleurs effets visuels (VFX) est au cœur des discussions dans le secteur. De nombreux cinéastes et artistes VFX explorent le potentiel des outils d’IA pour améliorer leurs processus créatifs. L’une des explorations les plus convaincantes de cette question est le court-métrage de Paul Trillo « Notes To My Future Self ». À travers ce film, Trillo offre une décomposition détaillée de la manière dont il a intégré l’IA dans le pipeline VFX et met en évidence à la fois les capacités et les limites actuelles de l’IA dans la production cinématographique.

https://vimeo.com/938911283

Le concept et la création

Dans « Notes To My Future Self », Trillo a utilisé la puissance de différents outils d’IA pour optimiser le passage de la pré-production à la post-production. Le film montre comment l’IA peut être utilisée pour générer des arrière-plans, animer des éléments et créer des effets de lumière qui réagissent de manière dynamique à l’environnement. Le film original peut être visionné ici, et le processus en coulisses est discuté en détail ici.

L’approche de Trillo consistait à entrer chaque ligne de dialogue des acteurs dans des invites IA, combinées à d’autres mots-clés, afin de créer les arrière-plans du film. Ces arrière-plans ont d’abord été créés avec Stable Diffusion dans Automatic1111, puis affinés avec les outils Generative Fill et Expand de Photoshop. Ce processus a permis à Trillo de créer des images haute résolution (jusqu’à 8K), essentielles pour maintenir la qualité visuelle dans un décor de film.

Le flux de travail de l’IA

Le flux de travail de l’IA utilisé par Trillo peut être divisé en plusieurs étapes importantes :

Génération de fonds d’écran : Stable Diffusion a été utilisé pour créer des images d’arrière-plan initiales basées sur le dialogue et les mots clés. Cette étape a permis de s’assurer que l’environnement visuel était directement lié au contenu narratif.
Édition et raffinement : à l’aide de Photoshop Generative Fill et Expand, Trillo a traité ces arrière-plans afin de répondre aux exigences esthétiques et narratives spécifiques du film. Cela a permis d’atteindre un niveau de personnalisation et de détail que les processus automatisés seuls ne pouvaient pas atteindre.
Mise à l’échelle vers le haut : Les arrière-plans ont ensuite été mis à l’échelle à l’aide d’outils tels que Magnific, Krea et Topaz. Cette étape était cruciale pour obtenir la haute résolution nécessaire à la qualité cinématographique, ce qui a permis à Trillo de recadrer et d’améliorer encore certaines sections.
Des éléments animés : Pour les éléments dynamiques tels que les buissons en mouvement, les branches et le brouillard, Trillo a utilisé Gen-2 de Runway. Cet outil a permis de créer des éléments mobiles de haute qualité qui donnent de la profondeur et du réalisme aux scènes.
Éclairage dynamique : l’un des aspects les plus innovants du processus de Trillo a peut-être été l’utilisation de masques Luma animés, créés par Gen-2. Ces masques créaient l’illusion que l’éclairage de la scène réagissait dynamiquement à l’arrière-plan, ajoutant ainsi un niveau de réalisme souvent difficile à obtenir dans les workflows VFX traditionnels.

L’impact sur VFX

L’expérience de Trillo met en évidence plusieurs effets significatifs de l’IA sur l’industrie VFX :

Efficacité : les outils d’IA peuvent réduire considérablement le temps nécessaire à la création d’effets visuels de haute qualité. Trillo a terminé le tournage, le montage et le compositing de « Notes To My Future Self » en seulement dix jours, un délai qui aurait été difficile à atteindre sans l’aide de l’IA.
Créativité : en automatisant les tâches routinières, l’IA permet aux artistes VFX de se concentrer davantage sur les décisions créatives. La capacité de créer rapidement des arrière-plans et des éléments dynamiques signifie que plus de temps peut être consacré à affiner la vision artistique du projet.
Accessibilité : les outils d’IA peuvent démocratiser le processus VFX et le rendre accessible aux cinéastes qui n’ont peut-être pas le budget nécessaire pour engager de grandes équipes VFX. Cela ouvre aux créateurs indépendants de nouvelles possibilités de produire des contenus visuels de qualité.

Conclusion

Bien que l’IA ne remplace pas encore complètement les techniques VFX traditionnelles, « Notes To My Future Self » de Trillo montre son potentiel à révolutionner le secteur. En intégrant l’IA de manière transparente dans le pipeline VFX, Trillo a pu créer un film visuellement impressionnant en une fraction du temps habituel. Alors que la technologie de l’IA continue d’évoluer, son rôle dans la production cinématographique devrait s’accroître et offrir de nouveaux outils et techniques qui redéfiniront les limites de la narration visuelle. La question « L’IA peut-elle créer de meilleurs VFX ? » n’a peut-être pas encore de réponse définitive, mais le travail de Trillo montre que l’IA est sans aucun doute un allié puissant dans la recherche de l’excellence cinématographique.