Sie haben einen vielfältigen Hintergrund, der von Kunst und Musik bis hin zu Programmierung und interaktiven Medien reicht. Wie haben diese verschiedenen Disziplinen Ihre künstlerische und technologische Perspektive geprägt?
Ich würde sagen, dass es meine künstlerische und technologische Perspektive zu einer ganzheitlicheren gemacht hat. Alle Medien sind auf einer grundlegenden Ebene eng miteinander verbunden. Es gibt Gestaltungsprinzipien und Muster, die universell sind. Dadurch kann ich mehr Möglichkeiten in der Kunst und Technologie im Allgemeinen erkennen.
Ich denke, dass mit jedem neuen Medium, das die Menschheit erfindet, eine Verschmelzung bestehender Medien mit immer höherer Komplexität stattfindet, die eine bessere Darstellung und Simulation der subjektiven menschlichen Erfahrung ermöglicht.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Sie haben sich in den letzten Jahren intensiv mit KI beschäftigt. Wie sehen Sie die Rolle von KI in kreativen Prozessen – ist sie ein Werkzeug, ein Partner oder vielleicht sogar ein Mitkünstler?
KI ist ein Werkzeug, aber ein Werkzeug mit einem sehr hohen Abstraktionsgrad. Ich sehe es nicht nur als Werkzeug, sondern auch als eine neue Lösung, die Probleme bei der Kunstschöpfung im Allgemeinen lösen kann. Neue Medien wie Film und Videospiele/interaktive Kunst sind wirklich Fusionsmedien der Kunst, Medien, die andere Medien miteinander vermischen. Bei Videospielen hat man wirklich alle Medien auf einmal mit dem zusätzlichen Element der Interaktion. Mit jedem neu geschaffenen Medium wuchs jedoch die Bandbreite und die Möglichkeit, dem Ausdruck eine Form zu geben, exponentiell. Bei der Literatur entsteht der Großteil der Komplexität der Form im Kopf des Lesers, der sich beim Lesen die Sinne vorstellen kann. Aber mit jedem neuen Medium wird der sensorische Ausdruck immer reicher und dynamischer. Heutzutage können wir mit Videospielen die Realität in hohem Maße simulieren. Aber mit dieser Komplexität/Möglichkeit gehen auch Einschränkungen einher. All diese Elemente detailliert zu produzieren, erfordert viel Arbeit und Energie. Aus diesem Grund haben Videospiele einen sehr langen Produktionszeitraum. Jedes Detail dieser virtuellen Welt muss erstellt werden. KI kann ein sehr gutes Werkzeug sein, um diese Komplexität zu reduzieren.
Bei der Produktion von Filmen und Videospielen sind oft viele Menschen in vielen verschiedenen Medien beteiligt, die viele, viele Jahre lang an einer Sache arbeiten, bevor sie veröffentlicht wird. Dieser Prozess war sowohl für die Film- als auch für die Videospielindustrie von großem Nutzen, da er viele großartige Werke hervorgebracht und die Medien vorangebracht hat. Dies bedeutet jedoch auch, dass die meisten Menschen, es sei denn, sie sind äußerst talentiert, nicht in der Lage sind, allein einen großartigen Film oder ein großartiges Spiel zu produzieren. Nicht auf einem Niveau, das wirklich mit der Industrie konkurrieren kann. Daher wird KI wahrscheinlich das Werkzeug sein, das die Erstellung dieser komplexen Medien demokratisiert. Die Art der Diffusionsmodelle ermöglicht es ihnen, wirklich kreative und neuartige Kunstwerke zu schaffen. Ich denke daher, dass in naher Zukunft der Prozess der Erstellung eines Films oder interaktiver Kunst so vereinfacht werden könnte wie das Malen auf einer Leinwand. Je mehr sich die Werkzeuge weiterentwickeln und mehr und mehr Kontrolle ermöglichen, desto mehr wird dies zutreffen.
KI bietet auch viele neue technische Möglichkeiten, die diese komplexen Medien auf tiefgreifende Weise weiterentwickeln werden.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Sprechen Sie über Technologien wie Genie 2 von Google Deep Mind oder World Labs, die gerade erst auf den Markt gekommen sind?
Ja, teilweise. Ich spreche eher davon, wohin sich diese Technologien entwickeln. KI-Modelle können im Wesentlichen die Rechenleistung umgehen, um genaue Simulationen durchzuführen.
https://genesis-embodied-ai.github.io ist ein gutes Beispiel dafür, wohin wir uns bewegen. Es ist jedoch nicht klar, ob es sich vollständig um ein KI-Genmodell handelt, da der eigentliche Artikel noch nicht veröffentlicht wurde.
So können wir beispielsweise bei Videomodellen bereits sehen, dass sie bis zu einem gewissen Grad in der Lage sind, Physik zu simulieren. Das Interessante daran ist jedoch, dass diese physikalischen Gesetze nicht in das KI-Modell einprogrammiert sind, sondern eine emergente Eigenschaft des maschinellen Lernens darstellen. Ähnlich wie LLMs die emergente Eigenschaft der allgemeinen Intelligenz oder des allgemeinen Verständnisses haben. Normalerweise stößt man bei der Ausführung einer Physiksimulation auf dem Computer mit herkömmlichen Algorithmen aufgrund des erforderlichen Rechenaufwands schnell an eine Grenze, wenn es um den Umfang der Simulation geht. Wenn die KI dies jedoch durch emergenten Eigenschaften anstelle von echten Berechnungen umgehen kann, wird die Grenze für den Umfang der Simulation aufgehoben, was eine viel größere Dynamik und neue Möglichkeiten für Filme und Spiele ermöglicht. In naher Zukunft könnten wir eine ganze Welt erschaffen und dann Kunst darin schaffen. Außerdem möchte ich sagen, dass ich kein ML-Ingenieur bin, also spreche ich nur aus meinem eigenen Verständnis der Technologie.
Wenn man die Renderzeit eines realistischen, komplexen 3D-Renderings in traditioneller Software wie Blender mit der Zeit vergleicht, die für die Erstellung ähnlicher Dinge durch ein KI-Videomodell benötigt wird, kann man sehen, dass dieser Abstraktionsprozess die Produktion beschleunigt.
In letzter Zeit wurde viel über die Verwendung generierter Welten zur Schulung von KI-Agenten gesprochen. Können Sie erklären, wie das funktioniert und ob es in Ihrer Arbeit eine Rolle spielt?
Ja, dies wird auch zu beschleunigten Fortschritten in der Robotik führen. Wenn man unzählige Welten simulieren kann, um alle Möglichkeiten abzudecken, kann man Roboter so trainieren, dass sie über eine allgemeine Intelligenz in Bezug auf die Weltraumfahrt, die Ausführung von Aufgaben usw. verfügen. Aber ich spreche auch davon, dass die Umgehung dieser Größenbeschränkung zur Entwicklung komplexerer und fortschrittlicherer Spiele und Filme führen wird. Ich sehe drei verschiedene Möglichkeiten, wie dieser Fortschritt Spiele und Filme in naher Zukunft verändern wird.
- Dynamik und Simulationen
- Rendering
- Metaverse und Erstellung von Inhalten
Mit „Dynamik“ beziehe ich mich auf den Begriff aus dem Gamedesign, bei dem nicht der Spieler mit der virtuellen Welt interagiert, sondern die Objekte und Entitäten in der Spielwelt miteinander interagieren, um komplexere Verhaltensweisen und sogar neu entstehende Eigenschaften zu erzeugen. Es gibt bereits einige gute Beispiele für diese Art von System in Spielen wie „Conway’s Game of Life“, „Outer Wilds“, „The Legend of Zelda: Tears of the Kingdom“, „The Last Guardian“, „Zachtronics Games“ oder immersiven Simulationsspielen. Allerdings sind alle diese bestehenden Systeme relativ klein, da die Komplexität des Systems exponentiell zunimmt, wenn neue dynamische Elemente eingeführt werden. Wenn jedes Objekt immer mit jedem anderen Objekt interagiert (wie in der Realität), ist es sehr kostspielig, sie in Echtzeit zu berechnen. Man kann eine sehr hohe Anzahl dynamischer Objekte erhalten, indem man andere Elemente wie Grafik, Physik usw. reduziert, um mehr Simulationen zu ermöglichen. Das ALIEN-Projekt ist eine Software für die Simulation künstlichen Lebens, die dies ermöglicht. Aber was KI-Modelle eröffnen werden, ist die Möglichkeit für weitaus umfangreichere Simulationen und Dynamiken. Die virtuelle Welt könnte sich ohne Eingaben des Spielers selbst weiterentwickeln und verändern. Wenn die Rechenkosten anderer Elemente (wie Grafik und Physik) aufgrund der KI-Optimierung erheblich sinken, wird die Berechnung für komplexere Simulationen, Dynamiken, Interaktionen und Spielabläufe möglich.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Auch das Rendering wird durch KI und ähnliche Optimierungsstrategien erheblich optimiert werden. Mit dem Runway Gen-3 Video-to-Video-Modell können wir virtuelles 3D-Filmmaterial eingeben und ein äußerst realistisches Rendering ausgeben, ohne tatsächlich alle Rendering-Details berechnen zu müssen. Wenn diese Technologie schließlich Echtzeit erreicht und besser steuerbar wird, wird sie wahrscheinlich als Rendering-Engine verwendet werden, um fotorealistische Grafiken zu sehr niedrigen Rechenkosten zu rendern. Sony setzt bereits KI-Upscaling mit seiner neuen PS5 Pro ein. KI wird wahrscheinlich alle Aspekte der Inhaltserstellung im Allgemeinen beschleunigen und optimieren.
Diese Beschleunigung bedeutet, dass mehr Menschen Inhalte erstellen und mehr Inhalte erstellt werden. Wenn das Erstellen einer virtuellen Welt so einfach ist wie die Eingabe eines Bildes und dann das Generieren einer 3D-Welt (3DGS) aus diesem Bild, können Menschen ganze Welten selbst erschaffen. Wenn die Rechenkosten keine Rolle spielen und die Hardware fortschrittlich genug ist, ist eine metaverse Art von virtueller Welt sehr gut möglich.
Natürlich sind wir davon wahrscheinlich noch 5 bis 10 Jahre entfernt. Und dabei ist die Entwicklung von BCI und Transhumanismus in naher Zukunft noch nicht einmal berücksichtigt.
Unsere Eingabegeräte für Computer sind heute noch sehr primitiv. Wir stehen wirklich erst am Anfang dieser Technologie und am Anfang der interaktiven Kunst als Medium.
Glauben Sie, dass ein Konzept wie „Ready Player One“, das vor ein paar Jahren noch reine Science-Fiction zu sein schien, nun der Realität näher kommt?
Ich denke, dass die Art von Metaverse, die Ready Player One beschreibt, möglich ist, aber es wird wahrscheinlich eine Weile dauern, bis wir dort ankommen, und es wird wahrscheinlich ganz anders sein und nicht genau wie Ready Player One oder andere Darstellungen zukünftiger VR-Erfahrungen. Ich denke, dass wir die Probleme der Fortbewegung und der Eingabe, die VR hat, wahrscheinlich erst lösen werden, wenn wir BCI gelöst haben, was in 5 bis 10 bis 20 Jahren der Fall sein könnte. Derzeit ist VR für die meisten Menschen noch nicht natürlich genug, um langfristig eingesetzt zu werden, was aber auch etwas Positives sein könnte. Ich denke, dass die Verschmelzung von virtueller Realität und unserer realen Realität erst dann stattfinden wird, wenn das Virtuelle kaum noch vom Realen zu unterscheiden ist. Aber das ist ein ganz anderes Thema, das wir vielleicht irgendwann angehen werden oder auch nicht.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Sie haben an einigen unglaublichen Projekten gearbeitet, darunter Pure Tone, das es Musikern ermöglicht, reine Stimmungen und perfekt gestimmte Intervalle zu erforschen. Was hat Sie dazu inspiriert, ein so spezialisiertes und komplexes Tool zu entwickeln, und wie wird es Ihrer Meinung nach die musikalische Praxis beeinflussen, insbesondere für moderne Komponisten und Produzenten?
Pure Tone entstand aus dem Wunsch heraus, das Problem der Temperatur in der Musik zu lösen. Aufgrund meines Hintergrunds war ich in der Lage, es zu verstehen und zu versuchen, es zu lösen. Ich wollte wissen, wie die reinste Temperatur klingen würde.
Die meisten Musikstücke, die wir heute hören, sind in der 12-Ton-Gleichstufigen Stimmung komponiert, die eigentlich aus reinster Perspektive verstimmt ist, da alle Noten leicht verstimmt sind, um sicherzustellen, dass sie in allen 12 Tonarten gespielt werden können. Das Problem mit der Temperierung ist, dass sie relativ ist. Was für eine Tonhöhe in einer Tonart rein ist, klingt in einer anderen Tonart ohne Nachstimmen sehr dissonant. Der Begriff der Reinheit in der Temperierung ist also relativ zu der Tonhöhe, auf die man sich einstimmt. Um dieses Problem zu lösen, habe ich einen dynamischen Abstimmungsalgorithmus entwickelt, der das gesamte Instrument auf der Grundlage des Kontexts der Musik, die gerade gespielt wird, abstimmt. Meines Wissens ist dies das erste digitale Instrument, das dies kann. Durch dynamische Stimmung können Sie eine vollkommen reine Stimmung erzielen, während Sie zu beliebigen Tonarten in Ihrer Komposition wechseln, und haben so die gleiche Freiheit wie bei der 12-Ton-Gleichstufigen Stimmung, zumindest auf harmonischer Ebene.
Anmerkung von Alphaavenue: Sie können Pure Tone unter https://erikluo.gumroad.com/l/PureTone ansehen.
Allerdings ist das Instrument aufgrund seiner reinen Natur auch stark eingeschränkt. Kein anderes Instrument kann in dieser reinen Stimmung spielen, die dynamisch und veränderlich ist. Das bedeutet, dass man wahrscheinlich nicht in einem Ensemble mit anderen gleichstufig temperierten Instrumenten spielen kann, ohne völlig dissonant zu klingen. Mit Ausnahme von Trommeln aufgrund der Klangfarbe. Ich habe ein Musikstück für Pure Tone komponiert, um die Idee eines Duos mit Trommeln zu erforschen. Das Stück heißt „Beingness“. Ich werde es sehr bald als Musikvideo veröffentlichen. Ich arbeite derzeit an diesem Video.
Sie haben die Optimierung der Darstellung und der Erstellung von Inhalten durch KI erwähnt. Sehen Sie die Gefahr, dass diese Technologien den kreativen Prozess übermäßig automatisieren und den menschlichen Einfluss minimieren?
Ich denke, dass dies im Moment nur für einige Leute so scheint, weil wir uns noch in einem sehr frühen Stadium der Entwicklung dieser Technologie befinden. Mit der Weiterentwicklung der Technologie wird sie immer kontrollierbarer und spezifischer werden. Bildgenerierungsmodelle beispielsweise haben bereits einen Punkt erreicht, an dem es genügend Tools gibt, um die Modelle für wirklich neuartige und spezifische Ergebnisse zu steuern. Um dorthin zu gelangen, muss man jedoch die Tools beherrschen, was Zeit in Anspruch nimmt. Daher denke ich, dass es immer einen großen menschlichen Einfluss geben wird, um gute Kunst zu schaffen, denn bei guter Kunst geht es um subjektive Erfahrungen und Perspektiven, die KI nicht hat. Sobald die Menschen lernen, wie sie die Werkzeuge einsetzen können, um ihre subjektive/künstlerische Vision genau auszudrücken, wird das Gefühl der Gefahr nachlassen. Ich denke, dass der kreative Prozess wahrscheinlich nie verschwinden oder ersetzt werden wird, sondern dass die kreative Vision der Künstler immer großartiger und ehrgeiziger wird, da die KI ihnen ermöglicht, mehr Dinge zu tun, die vorher unmöglich waren. Wir streben mit kreativen Ausdrucksformen immer nach neuen Höhen. Wenn es sehr einfach ist, „schön“ aussehende Bilder zu erstellen, und jeder das kann, dann muss man sich wirklich darauf konzentrieren, Dinge zu tun, die weit darüber hinausgehen, und seine subjektive Erfahrung in seiner Kunst auf eine Weise zu vermitteln, die so vollständig ist, dass es unmöglich ist, die Menschlichkeit darin nicht zu sehen.
Ich denke auch, dass alle Medien weiterhin existieren und sich weiterentwickeln werden, selbst wenn KI etwas sehr schnell generieren kann. Die Schaffung jedes neuen Mediums hat das vorhergehende nie ersetzt. Menschen malen und zeichnen immer noch, schreiben Gedichte und Romane. Der kreative Prozess ist nicht ersetzbar, KI kann ihn nur abstrahieren. Anstatt also einen Pinselstrich nach dem anderen zu malen, könnte man jeweils ein ganzes Segment des Werkes generieren. Aber man muss immer noch mit einer Vision bearbeiten, iterieren, planen und gestalten. Auch Live-Musik wird niemals ersetzt werden. Vor allem nicht solche, die Improvisation erfordert, wie Jazz, denn die Menschen hören zu, um sich mit der Seele des Künstlers zu verbinden, und die hat die KI nicht. Ich denke, man kann eine Live-Show mit KI-Darstellern gestalten, aber ich bin mir nicht sicher, ob die Leute sie tatsächlich hören wollen, anstatt einem menschlichen Darsteller zuzuhören. Selbst wenn die KI irgendwann wirklich gut in der Musikproduktion wird.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Wo sehen Sie derzeit die größten Einschränkungen für KI in kreativen und künstlerischen Prozessen? Gibt es Bereiche, in denen KI Ihrer Meinung nach niemals den menschlichen kreativen Prozess ersetzen wird?
Wenn wir über Einschränkungen aus einer allgemeinen künstlerischen Perspektive sprechen, dann ist die einzige Einschränkung die Vorstellungskraft des Künstlers. Es ist wie bei jedem anderen Werkzeug: Die Art und Weise, wie man es benutzt, bestimmt, wie effektiv es sein wird. KI hat von Natur aus keine subjektiven Erfahrungen und Vorurteile, sie hat keine „Seele“ (zumindest noch nicht). Als Künstler liegt es also an Ihnen, zu bestimmen, was Sie mit ihrer Kraft tun. Die KI, die wir jetzt haben, wird wahrscheinlich nie subjektive Erfahrungen/Bewusstsein haben.
KI kann also niemals echte Künstler ersetzen, aber was KI ersetzen kann, sind Handwerker. Ein echter Künstler schöpft immer aus seinen subjektiven Erfahrungen, die KI niemals haben wird. Ein Handwerker mag nicht schöpferisch tätig sein, um etwas auf der Grundlage seiner subjektiven Erfahrungen zu vermitteln, aber er mag technisch hochqualifiziert sein. Echte Vision und Authentizität sind bei einem Künstler selten. Deshalb denke ich, dass KI auch Künstler und Handwerker dazu antreiben wird, ihren authentischen Ausdruck zu finden, denn das wird niemals ersetzt werden. Ich denke, dass KI im Laufe der Zeit generell zu besserer Kunst führen wird. Sie gleicht die technischen Aspekte der Kunstschaffung aus, was meiner Meinung nach keine schlechte Sache ist. Menschen, die keine begabten Künstler sind, können auch mit Hilfe von KI keine gute Kunst schaffen. Deshalb wird KI-Kunst so sehr gehasst, weil die meisten Menschen schlechte Kunst schaffen, die hübsch aussieht. Aber Menschen, die bereits sehr talentierte Künstler sind, können mit KI unaufhaltsam werden. Deshalb sind alle KI-Künstler mit der größten Fangemeinde auf X ausgebildete Künstler. Kein Wissen und keine Erfahrung ist jemals verschwendet, KI wird Ihr vorhandenes künstlerisches Verständnis nur in die Realität umsetzen.
Wenn wir über technische Einschränkungen sprechen, dann gibt es viele für alle KI-Modelle. Wir stehen erst ganz am Anfang der technischen Entwicklung, und ich denke, dass diese Einschränkungen mit der Zeit immer weniger ins Gewicht fallen werden. Ich stelle mir vor, dass wir uns in ferner Zukunft einfach an ein BCI anschließen und die Modelle dann genau das erzeugen, was wir uns vorstellen.
Sie haben erwähnt, dass KI als Werkzeug die künstlerische Vision eines Künstlers verbessern kann. Wie stellen Sie sich die ideale Zusammenarbeit zwischen Mensch und KI vor? Gibt es eine Grenze, bis zu der KI gehen sollte, bevor sie den künstlerischen Prozess außer Kraft setzt?
Ich glaube nicht, dass KI jemals den künstlerischen Prozess außer Kraft setzen wird. Sie kann die Variation, die Optionen und die Erkundung erweitern, aber am Ende sollte immer der Künstler entscheiden, was im endgültigen Kunstwerk enthalten ist. Die ideale Zusammenarbeit besteht darin, KI nur zu nutzen, um alle Möglichkeiten schneller zu durchlaufen und zu erforschen, um die besten Optionen für jedes Element des Kunstwerks zu finden. KI ist am besten darin, neue Ideen zu verschmelzen und zu inspirieren, da ihre Wissensbasis im Vergleich zu einem einzelnen Menschen so viel umfangreicher ist. Aber es ist Sache des Künstlers, zu entscheiden, was ihn inspiriert, was eine sehr subjektive Angelegenheit ist.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Auf Ihrer Website fällt auf, dass Sie häufig einzelne KI-generierte Bilder und Videoversionen davon veröffentlichen, oft mit einem Weltraumhintergrund. Können Sie uns mehr über Ihren kreativen Arbeitsablauf und Ihre Herangehensweise erzählen? Wie entstehen diese Werke und welche Rolle spielt Ihre Musik dabei, die Videos so besonders zu machen?
Mein kreativer Prozess ist sehr komplex und umfasst etwa 20 Schritte, bei denen ich jedes auf dem Markt erhältliche KI-Tool auf dem neuesten Stand der Technik einsetze. Es würde einige tausend Worte erfordern, um ihn vollständig zu erklären.
Aber ich möchte sagen, dass der kreative Prozess mit KI fast zu einer Metaebene wird. Als Künstler erschaffen Sie nicht nur jedes einzelne Werk, sondern, was noch wichtiger ist, Sie erschaffen und gestalten den Prozess selbst. In gewisser Weise wird der Prozess zur Kunst. Sie entwerfen Systeme, um das gewünschte Ergebnis zu erzielen, anstatt das Ergebnis direkt zu erzeugen. Wenn ich beispielsweise an der Bilderzeugung arbeite, beginne ich normalerweise mit einer zentralen Idee, baue dann ein System oder eine Welt um diese Idee herum auf, indem ich LLMs verwende, und erforsche dann alle möglichen Optionen innerhalb dieser Welt, um dann die besten Optionen in Bilder umzusetzen. Ihr Prozess und Ihr Arbeitsablauf werden der entscheidende Faktor für Ihre Kunst sein, unterschiedliche Arbeitsabläufe werden völlig unterschiedliche Werke hervorbringen. Sie müssen sehr metadiskursiv denken, insbesondere beim Prompting. Für mich sind KI-Modelle wirklich fortschrittliche Realitätssimulatoren. Ich stelle mir gerne vor, dass man beim Prompting nicht nur ein Bild anfordert, sondern eine neue Realität erschafft, die grundlegend anders funktionieren könnte als unsere. Die Qualität des Outputs steht in direktem Zusammenhang mit der Komplexität Ihres Prozesses. Der Unterschied zwischen einem komplexen Workflow und einem einfachen Prompting ist wie Tag und Nacht. Man kann ihn direkt an der Komplexität des Bildes erkennen. Die besten KI-Künstler verfügen über Workflows, die diese Komplexität erzeugen können. Ich habe einige dieser Ideen ausführlicher auf X beschrieben. Sie finden sie auf meiner Website, wenn Sie zu einigen der älteren Beiträge scrollen.
Mit dem Laden des Tweets akzeptieren Sie die Datenschutzerklärung von Twitter.
Mehr erfahren
Was meine Musik betrifft, so komponiere ich hauptsächlich sehr avantgardistische Jazzmusik. Sie sind alle sehr unkonventionell und innovativ und aufgrund des improvisatorischen Charakters des Jazz wirklich für Live-Auftritte komponiert. Daher passen die meisten meiner Kompositionen nicht zu den Videos, die ich mache. Da ich jedoch ein tiefes musikalisches Verständnis habe, weiß ich, welche Musik für jedes Video am besten geeignet ist. Das Erlernen von Musik hat meinen Geschmack und meine Wertschätzung für alle Musikgenres erweitert. Das ist sehr praktisch, wenn es darum geht, Musik zu generieren. Normalerweise weiß ich genau, was ich will, und kann es mit ein paar Versuchen erreichen. Ich habe ein Lied komponiert, zu dem ich auch ein KI-Musikvideo drehe, mit dem Titel „Beingness“. Es ist fast fertig. Dieses Lied verwendet hauptsächlich Pure Tone und ein gewisses Maß an algorithmischer Wahrscheinlichkeit für maschinelle Improvisation. Die visuelle Darstellung wird KI-generierte und algorithmisch audio-reaktive Visualisierung verwenden.
Mit dem Laden des Tweets akzeptieren Sie die Datenschutzerklärung von Twitter.
Mehr erfahren
Sie haben einen sehr komplexen Workflow entwickelt, der zahlreiche Schritte und modernste KI-Tools umfasst. Welche Tipps würden Sie anderen Künstlern und Kreativen geben, die eine effektive Pipeline aufbauen möchten? Welche Tools oder Ansätze finden Sie besonders hilfreich, um das Beste aus der Arbeit mit KI herauszuholen?
Es liegt ganz bei dem Künstler, was er mit diesen Tools machen möchte. Der Arbeitsablauf kann je nach Endziel sehr unterschiedlich sein. Der wichtigste Tipp ist jedoch, mit allem zu experimentieren und Wege zu finden, verschiedene Tools in einem Arbeitsablauf zu kombinieren. Da sich in diesem Bereich alles so schnell entwickelt, kann das, was heute noch „State of the Art“ ist, morgen schon durch etwas Neues ersetzt werden. Der Schlüssel liegt darin, ständig dazuzulernen und viele, viele Male zu versuchen und zu scheitern. Irgendwann werden Sie ein intuitives Verständnis dafür entwickeln, wie diese Tools funktionieren, und so in der Lage sein, einen für Sie einzigartigen Workflow zu erstellen. Ich glaube, kein KI-Künstler verwendet genau den gleichen Workflow. Jeder KI-Künstler, der gute Arbeit leistet, hat sein eigenes Verständnis, seinen eigenen Workflow und seinen eigenen Prozess. Dieser Unterschied im Prozess ist es, der zu einzigartigen und authentischen Ausdrucksformen führt.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Ihr Film „The Good Ending“ ist wirklich großartig geworden. Können Sie uns etwas über die Entstehung des Films erzählen und wie Ihr Arbeitsablauf aussah und welche Programme Sie verwendet haben?
Ja, dieses Projekt ging wirklich schnell. Es hat etwa eine Woche gedauert, es fertigzustellen. Die Idee dazu hatte ich schon seit vielen Jahren im Kopf, und es hat sich einfach so ergeben, dass der CONTACT ATTEMPT Generative Art Contest gerade lief, also habe ich beschlossen, es zu machen. Aus technischer Sicht vermeidet der Aufbau der Geschichte natürlich einige der harten Einschränkungen der aktuellen KI-Bild- und Videoerzeugungstechnologie. Zum Beispiel konsistente Charaktere, Umgebungen und Objekte zwischen verschiedenen Aufnahmen. Schlechte Sprach- und Gesichtsanimation. Ich habe tatsächlich viele, viele Projekte auf Eis gelegt, die nur darauf warten, dass die Technologie etwas ausgereifter wird, damit sie vollständig umgesetzt werden können. Die Kurzserie „Mirror“ ist ein solches Projekt (Kapitel 1 können Sie auf meinem YouTube-Kanal ansehen). Ich habe die ganze Geschichte in 10 bis 20 Kapiteln geplant, aber als ich mit der Arbeit an Kapitel 2 begann, wurde mir schnell klar, dass die aktuelle technische Beschränkung die Vision dieses Projekts noch nicht erfüllen kann, also habe ich es auf Eis gelegt. „The Good Ending“ wurde jedoch unter Berücksichtigung aller Einschränkungen konzipiert, sodass die Geschichte so gestaltet wurde, dass sie diese umgeht. Was den Workflow und die technische Ausstattung betrifft, so sind sie wie folgt. Ich habe auch alle wichtigen Videomodelle, die es zu dieser Zeit gab, für dieses Projekt gemischt und für unterschiedliche Anforderungen verwendet.
ChatGPT, Midjourney, JoyCaption Magnific und SUPIR für gehobene Kling für dynamische Bewegungen Runway Gen-3 für einfache Bewegungen Luma für Keyframe-Aufnahmen ElevenLabs für Ton und Voice-over DaVinci Resolve für Bearbeitung, Compositing, Effekte und Farbkorrektur Topaz für Video-Upscaling
