Kann KI bessere VFX erstellen? Eintauchen in Paul Trillos experimentellen Kurzfilm „Notes To My Future Self“

Die Frage, ob KI bessere visuelle Effekte (VFX) erstellen kann, steht im Mittelpunkt der Diskussionen in der Branche. Viele Filmemacher und VFX-Künstler erkunden das Potenzial von KI-Tools, um ihre kreativen Prozesse zu verbessern. Eine der überzeugendsten Erkundungen dieser Frage ist Paul Trillos Kurzfilm „Notes To My Future Self“. Durch diesen Film bietet Trillo eine detaillierte Aufschlüsselung, wie er KI in die VFX-Pipeline integriert hat, und zeigt sowohl die Fähigkeiten als auch die aktuellen Grenzen der KI in der Filmproduktion auf.

Das Konzept und die Erstellung

In „Notes To My Future Self“ nutzte Trillo die Leistungsfähigkeit verschiedener KI-Tools, um den Übergang von der Vorproduktion zur Postproduktion zu optimieren. Der Film zeigt, wie KI eingesetzt werden kann, um Hintergründe zu generieren, Elemente zu animieren und Lichteffekte zu erzeugen, die dynamisch auf die Umgebung reagieren. Den Originalfilm können Sie hier ansehen, und der Prozess hinter den Kulissen wird hier ausführlich besprochen.

Trillos Ansatz beinhaltete, jede Dialogzeile der Schauspieler in KI-Eingabeaufforderungen einzugeben, kombiniert mit anderen Schlüsselwörtern, um die Hintergründe des Films zu erzeugen. Diese Hintergründe wurden zunächst mit Stable Diffusion in Automatic1111 erstellt und anschließend mit Photoshops Generative Fill und Expand-Tools weiter verfeinert. Dieser Prozess ermöglichte es Trillo, hochauflösende (bis zu 8K) Bilder zu erstellen, die für die Aufrechterhaltung der visuellen Qualität in einem Filmsetting unerlässlich sind.

Der KI-Workflow

Der von Trillo verwendete KI-Workflow lässt sich in mehrere wichtige Schritte unterteilen:

1. Generierung von Hintergründen: Stable Diffusion wurde verwendet, um initiale Hintergrundbilder basierend auf dem Dialog und den Schlüsselwörtern zu erstellen. Dieser Schritt stellte sicher, dass die visuelle Umgebung direkt mit dem narrativen Inhalt verknüpft war.
2. Bearbeitung und Verfeinerung: Mit Photoshop Generative Fill und Expand bearbeitete Trillo diese Hintergründe, um den spezifischen ästhetischen und narrativen Anforderungen des Films gerecht zu werden. Dies ermöglichte ein Maß an Anpassung und Detailgenauigkeit, das automatisierte Prozesse allein nicht erreichen konnten.
3. Hochskalieren: Die Hintergründe wurden dann mit Tools wie Magnific, Krea und Topaz hochskaliert. Dieser Schritt war entscheidend, um die für die Kinoqualität erforderliche hohe Auflösung zu erreichen, sodass Trillo bestimmte Abschnitte zuschneiden und weiter verbessern konnte.
4. Animierte Elemente: Für dynamische Elemente wie sich bewegende Büsche, Äste und Nebel verwendete Trillo Gen-2 von Runway. Dieses Tool ermöglichte die Erstellung hochwertiger beweglicher Elemente, die den Szenen Tiefe und Realismus verleihen.
5. Dynamische Beleuchtung: Vielleicht einer der innovativsten Aspekte von Trillos Prozess war die Verwendung von animierten Luma-Masken, die von Gen-2 erzeugt wurden. Diese Masken erzeugten die Illusion, dass die Beleuchtung in der Szene dynamisch auf den Hintergrund reagierte und so eine Realismus-Ebene hinzufügte, die in traditionellen VFX-Workflows oft schwer zu erreichen ist.

Die Auswirkungen auf VFX

Trillos Experiment hebt mehrere bedeutende Auswirkungen der KI auf die VFX-Industrie hervor:

• Effizienz: KI-Tools können die Zeit, die für die Erstellung hochwertiger visueller Effekte benötigt wird, erheblich reduzieren. Trillo schloss die Dreharbeiten, Bearbeitung und das Compositing von „Notes To My Future Self“ in nur zehn Tagen ab, ein Zeitrahmen, der ohne die Hilfe von KI schwierig zu erreichen wäre.
• Kreativität: Durch die Automatisierung routinemäßiger Aufgaben ermöglicht KI VFX-Künstlern, sich mehr auf kreative Entscheidungen zu konzentrieren. Die Fähigkeit, schnell Hintergründe und dynamische Elemente zu erzeugen, bedeutet, dass mehr Zeit für die Verfeinerung der künstlerischen Vision des Projekts aufgewendet werden kann.
• Zugänglichkeit: KI-Tools können den VFX-Prozess demokratisieren und ihn für Filmemacher zugänglich machen, die möglicherweise nicht das Budget für große VFX-Teams haben. Dies eröffnet unabhängigen Kreativen neue Möglichkeiten, hochwertige visuelle Inhalte zu produzieren.

Fazit

Obwohl KI noch kein vollständiger Ersatz für traditionelle VFX-Techniken ist, zeigt Trillos „Notes To My Future Self“ ihr Potenzial, die Branche zu revolutionieren. Durch die nahtlose Integration von KI in die VFX-Pipeline konnte Trillo einen visuell beeindruckenden Film in einem Bruchteil der üblichen Zeit erstellen. Während sich die KI-Technologie weiterentwickelt, wird ihre Rolle in der Filmproduktion voraussichtlich wachsen und neue Werkzeuge und Techniken bieten, die die Grenzen des visuellen Geschichtenerzählens neu definieren werden. Die Frage „Kann KI bessere VFX erstellen?“ mag noch keine endgültige Antwort haben, aber Trillos Arbeit zeigt, dass KI zweifellos ein mächtiger Verbündeter auf der Suche nach filmischer Exzellenz ist.

Quellen

• Paul Trillos Film „Notes To My Future Self“ auf Vimeo
• Paul Trillos Aufschlüsselung des Prozesses auf Vimeo
• Artikel über „Notes To My Future Self“ auf Beyond the Short