Votre parcours est très varié, allant de l’art et de la musique à la programmation et aux médias interactifs. Comment ces différentes disciplines ont-elles façonné votre perspective artistique et technologique ?
Je dirais qu’il a transformé ma perspective artistique et technologique en une perspective plus holistique. Tous les supports sont profondément liés à un niveau fondamental. Il existe des principes et des modèles de conception qui sont universels. Cela me permet de voir plus de possibilités dans l’art et la technologie en général.
À chaque fois que l’humanité invente un nouveau support, je pense qu’il s’agit en fait d’une fusion des supports existants à un niveau de complexité de plus en plus élevé, permettant une plus grande expression et simulation de l’expérience humaine subjective.
Ces dernières années, vous avez beaucoup travaillé avec l’IA. Comment voyez-vous le rôle de l’IA dans les processus créatifs ? S’agit-il d’un outil, d’un partenaire ou peut-être même d’un coartiste ?
L’IA est un outil, mais un outil avec un niveau d’abstraction très élevé. Je la vois non seulement comme un outil, mais aussi comme une nouvelle solution qui peut résoudre les problèmes de la création artistique au sens large. Les nouveaux médias tels que le cinéma et les jeux vidéo/l’art interactif sont vraiment des médias de fusion, des médias qui mélangent d’autres médias. Avec les jeux vidéo, vous avez vraiment tous les médiums à la fois avec l’élément supplémentaire de l’interaction. Cependant, avec chaque nouveau média créé, la gamme et l’espace de possibilités pour donner forme à l’expression se sont accrus de manière exponentielle. Dans le cas de la littérature, la complexité de la forme se fait en grande partie dans la tête du lecteur, qui peut imaginer les sens au fur et à mesure de la lecture. Mais avec chaque nouveau support, l’expression sensorielle devient de plus en plus riche et dynamique. Aujourd’hui, avec les jeux vidéo, nous pouvons simuler la réalité à un degré très élevé. Mais cette complexité/possibilité s’accompagne également de limites. Produire tous ces éléments en détail demande beaucoup de travail et d’énergie. C’est pourquoi les jeux vidéo ont un délai de production très long. Chaque détail de ce monde virtuel doit être créé. L’IA peut être un très bon outil pour réduire cette complexité.
Dans le cas des productions de films et de jeux vidéo, le processus implique souvent que de nombreuses personnes travaillant dans des domaines différents se réunissent et travaillent sur un projet pendant de nombreuses années avant qu’il ne soit publié. Ce processus a été très bénéfique pour l’industrie du cinéma et des jeux vidéo, car il a permis de produire de nombreuses œuvres remarquables et de faire progresser ces médias. Toutefois, cela signifie également que la plupart des individus, à moins d’être extrêmement talentueux, ne seront pas en mesure de réaliser un grand film ou un grand jeu par eux-mêmes. Pas à un niveau qui leur permette de rivaliser avec l’industrie. L’IA deviendra donc probablement l’outil qui démocratisera la création de ces supports complexes. La nature des modèles de diffusion les rend capables de produire des œuvres d’art véritablement créatives et inédites. Je pense donc que dans un avenir proche, le processus de création d’un film ou d’une œuvre d’art interactive pourrait être aussi simplifié que de peindre sur une toile. Au fur et à mesure que les outils évoluent et deviennent de plus en plus contrôlables, cela deviendra de plus en plus vrai.
L’IA offre également de nombreuses nouvelles possibilités techniques qui feront évoluer ces supports complexes en profondeur.
Parlez-vous de technologies telles que Genie 2 de Google Deep Mind ou World Labs qui viennent d’être lancées ?
Oui, en partie, mais je parle surtout de l’avenir de ces technologies. Les modèles d’IA peuvent essentiellement contourner le calcul pour effectuer des simulations précises.
https://genesis-embodied-ai.github.io est un bon exemple de la direction que nous prenons. Il n’est toutefois pas certain qu’il s’agisse d’un modèle de génération d’IA, puisque l’article n’a pas encore été publié.
Ainsi, par exemple, avec les modèles vidéo, nous pouvons déjà voir qu’elle a la capacité de simuler la physique dans une certaine mesure. Mais ce qui est intéressant, c’est que ces lois physiques ne sont pas codées ou programmées dans le modèle d’IA, il s’agit d’une propriété émergente de l’apprentissage automatique. Il s’agit d’une propriété émergente de l’apprentissage automatique, tout comme les LLM ont la propriété émergente de l’intelligence générale ou de la compréhension. Normalement, si vous voulez exécuter une simulation physique sur votre ordinateur avec des algorithmes traditionnels, l’échelle de la simulation sera rapidement limitée en raison de la quantité de calcul nécessaire. Toutefois, si l’IA peut contourner ce problème grâce à des propriétés émergentes plutôt qu’à des calculs réels, la limite de l’échelle de la simulation sera supprimée, ce qui permettra d’obtenir beaucoup plus de dynamisme et de nouvelles possibilités pour les films et les jeux. Dans un avenir proche, nous pourrions générer un monde entier et y créer des œuvres d’art. Je tiens également à préciser que je ne suis pas un ingénieur en ML et que je parle donc uniquement en fonction de ma propre compréhension de la technologie.
Si vous comparez le temps de rendu d’un rendu complexe réaliste en 3D dans un logiciel traditionnel tel que Blender et la rapidité avec laquelle il est possible de générer des choses similaires à l’aide d’un modèle vidéo d’IA, vous pouvez constater que ce processus d’abstraction accélère la production.
On a beaucoup parlé récemment de l’utilisation de mondes générés pour former des agents d’intelligence artificielle. Pouvez-vous nous expliquer comment cela fonctionne et si cela joue un rôle dans votre travail ?
Oui, cela permettra également d’accélérer les progrès dans le domaine de la robotique. Si vous pouvez simuler d’innombrables mondes pour couvrir toutes les possibilités, vous pouvez entraîner les robots à avoir une intelligence générale en termes de navigation dans le monde, d’exécution de tâches, etc. Mais ce dont je parle, c’est aussi qu’en contournant cette limitation d’échelle, cela conduira à la création de jeux et de films plus complexes et plus avancés. Je vois trois façons différentes dont cette avancée changera les jeux et les films dans un avenir proche.
- Dynamisme et simulations
- Rendu
- Métavers et création de contenu
Par dynamisme, je fais référence au terme utilisé dans la conception des jeux, où au lieu que le joueur interagisse avec le monde virtuel, les objets et les entités du monde du jeu interagissent les uns avec les autres pour produire des comportements plus complexes et même des propriétés émergentes. Nous avons déjà quelques bons exemples de ce type de système dans des jeux tels que Conway’s Game of Life, Outer Wilds, The Legend of Zelda : Tears of the Kingdom, The Last Guardian, les jeux Zachtronics ou les jeux de simulation immersifs. Cependant, tous ces systèmes existants sont de taille relativement modeste, la raison étant que la complexité du système augmente de façon exponentielle à mesure que l’on introduit de nouveaux éléments dynamiques. Si chaque objet interagit en permanence avec tous les autres objets (comme dans la réalité), il sera très coûteux de les calculer en temps réel. Il est possible d’obtenir un nombre très élevé d’objets dynamiques en réduisant d’autres éléments tels que les graphiques, la physique et autres pour permettre une simulation plus poussée ; le projet ALIEN est un logiciel de simulation de vie artificielle qui procède ainsi. Le projet ALIEN est un logiciel de simulation de vie artificielle qui procède de la sorte. Mais ce que les modèles d’IA ouvriront, c’est la possibilité de simulations et d’un dynamisme à plus grande échelle. Le monde virtuel pourrait évoluer de lui-même et changer sans l’intervention du joueur. Lorsque le coût de calcul d’autres éléments (tels que les graphiques et la physique) diminue de manière significative grâce à l’optimisation de l’IA, cela ouvre la voie à des simulations plus complexes, au dynamisme, à l’interaction et à la jouabilité.
Le rendu sera également grandement optimisé grâce à l’IA et à des stratégies d’optimisation similaires. Avec le modèle Runway Gen-3 Video-to-Video, nous pouvons saisir des séquences virtuelles en 3D et obtenir un rendu très réaliste sans avoir à calculer tous les détails du rendu. À terme, lorsque cette technologie atteindra le temps réel et deviendra plus contrôlable, elle sera probablement utilisée comme moteur de rendu pour produire des graphiques photoréalistes à un coût de calcul très faible. Sony utilise déjà l’IA pour l’upscaling avec sa nouvelle PS5 Pro. L’IA accélérera et optimisera probablement tous les aspects de la création de contenu au sens large.
Cette accélération signifie que davantage de personnes créeront du contenu et que davantage de contenu sera créé. Si la création d’un monde virtuel est aussi simple que de demander une image, puis de générer un monde en 3D (3DGS) à partir de cette image, les gens pourront créer des mondes complets par eux-mêmes, et si le coût de calcul n’est pas un problème et que le matériel est suffisamment avancé, un monde virtuel de type métavers est tout à fait possible.
Bien sûr, nous en sommes encore à 5 ou 10 ans. Et c’est sans compter le développement des BCI et du transhumanisme dans un avenir proche.
Nos dispositifs d’entrée pour les ordinateurs sont encore très primitifs à ce jour. Nous n’en sommes qu’au début de cette technologie, et au début de l’art interactif en tant que médium.
Pensez-vous qu’un concept comme « Ready Player One », qui semblait relever de la pure science-fiction il y a encore quelques années, se rapproche aujourd’hui de la réalité ?
Je pense que le type de métavers décrit dans Ready Player One est possible, cela dit, il faudra probablement un certain temps avant d’y arriver et il serait probablement très différent et ne ressemblerait pas exactement à Ready Player One ou à d’autres représentations des futures expériences de RV. Je pense que nous ne résoudrons probablement pas les problèmes de locomotion et d’entrée que connaît la RV tant que nous n’aurons pas résolu le problème de l’ICB, ce qui pourrait prendre 5, 10 ou 20 ans. Actuellement, la RV n’est pas encore assez naturelle pour être utilisée à long terme par la plupart des gens, ce qui pourrait être une chose positive. Je pense que la fusion entre la réalité virtuelle et notre réalité réelle ne se produira que lorsque le virtuel sera presque indiscernable du réel. Mais il s’agit là d’une toute autre question que nous pourrions aborder ou non.
Vous avez travaillé sur des projets incroyables, notamment Pure Tone, qui permet aux musiciens d’explorer le tempérament pur et les intervalles parfaitement accordés. Qu’est-ce qui vous a poussé à créer un outil aussi spécialisé et complexe, et comment pensez-vous qu’il influencera la pratique musicale, en particulier pour les compositeurs et les producteurs modernes ?
Pure Tone est né du désir de résoudre le problème du tempérament en musique. Grâce à mon expérience, j’étais en mesure de comprendre et d’essayer de résoudre ce problème. Je voulais savoir à quoi ressemblerait le tempérament le plus pur.
La plupart des musiques que nous écoutons aujourd’hui sont en tempérament égal à 12 tons, ce qui est en fait désaccordé du point de vue le plus pur, toutes les notes étant légèrement désaccordées de manière égale pour s’assurer qu’elles peuvent être jouées dans les 12 tons. La racine du problème avec le tempérament est qu’il est relatif, ce qui est pur pour une hauteur dans une tonalité, sonnera très dissonant dans une autre sans ré-accord. L’idée de pureté dans le tempérament est donc relative à la hauteur pour laquelle vous vous accordez. Pour résoudre ce problème, j’ai mis au point un algorithme d’accordage dynamique qui accorde l’ensemble de l’instrument en fonction du contexte de la musique jouée. À ma connaissance, il s’agit du premier instrument numérique à faire cela. Grâce à l’accordage dynamique, vous pouvez obtenir un tempérament complètement pur tout en changeant de tonalité dans votre composition, ce qui vous donne la même liberté que le tempérament égal à 12 tons, du moins au niveau harmonique.
Note d’Alphaavenue : Vous pouvez voir Pure Tone à l’adresse https://erikluo.gumroad.com/l/PureTone
Cependant, l’instrument est également très limité en raison de sa nature pure. Aucun autre instrument ne peut jouer dans ce tempérament pur qui est dynamique et changeant, ce qui signifie que vous ne pouvez probablement pas jouer dans un ensemble avec d’autres instruments à tempérament égal sans avoir un son totalement dissonant. À l’exception de la batterie, en raison de son timbre. J’ai composé un morceau de musique pour Pure Tone afin d’explorer l’idée de la possibilité d’un duo avec la batterie. Ce morceau s’appelle « Beingness ». Je le publierai très bientôt sous forme de vidéo musicale. Je travaille actuellement sur cette vidéo.
Vous avez évoqué l’optimisation du rendu et de la création de contenu grâce à l’IA. Pensez-vous que ces technologies risquent d’automatiser à l’excès le processus de création et de minimiser l’influence humaine ?
Je pense que cela ne semble être le cas que pour certaines personnes à l’heure actuelle, parce que nous en sommes au tout début du développement de cette technologie. Au fur et à mesure que la technologie se développe, elle deviendra de plus en plus contrôlable et spécifique. Les modèles de génération d’images, par exemple, ont déjà atteint un point où il existe suffisamment d’outils pour contrôler les modèles afin d’obtenir des résultats vraiment nouveaux et spécifiques, mais pour y parvenir, il faut maîtriser les outils, ce qui prend du temps. En fait, je pense qu’il y aura toujours une grande part d’influence humaine nécessaire pour créer de l’art de qualité, parce que l’art de qualité est une question d’expériences et de perspectives subjectives, ce que l’IA ne peut pas faire. Une fois que les gens auront appris à utiliser les outils pour exprimer leur vision subjective/artistique avec précision, le sentiment de danger s’estompera. À mon avis, le processus créatif ne disparaîtra jamais et ne sera jamais remplacé, mais la vision créative des artistes deviendra de plus en plus grande et ambitieuse à mesure que l’IA leur permettra de faire plus de choses qui étaient impossibles auparavant. Si créer de « jolies » images est très facile et que tout le monde peut le faire, alors il faut vraiment se concentrer sur des choses qui vont bien au-delà, et transmettre son expérience subjective dans son art d’une manière si complète qu’il est impossible de ne pas y voir de l’humanité.
Je pense également que tous les médias continueront d’exister et de se développer même si l’IA peut générer quelque chose très rapidement. La création de chaque nouveau média n’a jamais remplacé celui qui l’a précédé. Les gens continuent de peindre et de dessiner, d’écrire des poèmes et des romans. Le processus créatif n’est pas remplaçable, l’IA ne peut que l’abstraire. Ainsi, au lieu de peindre un coup de pinceau à la fois, vous pourriez générer un segment entier de l’œuvre à la fois. Mais vous aurez toujours besoin d’éditer, d’itérer, de planifier et de créer avec une vision. La musique en direct ne sera jamais remplacée, en particulier celle qui nécessite de l’improvisation, comme le jazz, car les gens écoutent pour se connecter à l’âme de l’artiste, ce que l’IA ne peut pas faire. Je pense qu’il est possible de concevoir un spectacle en direct avec des interprètes IA, mais je ne suis pas sûr que les gens voudront l’écouter plutôt que d’écouter un interprète humain. Même si l’IA finit par devenir très douée pour la création musicale.
Où voyez-vous actuellement les plus grandes limites de l’IA dans les processus créatifs et artistiques ? Y a-t-il des domaines dans lesquels vous pensez que l’IA ne remplacera jamais le processus créatif humain ?
Si nous parlons de limites d’un point de vue artistique général, la seule limite est l’imagination de l’artiste. C’est comme n’importe quel autre outil, la façon dont vous l’utilisez détermine son efficacité. Par nature, l’IA n’a pas d’expériences subjectives ni de préjugés, elle n’a pas d’« âme » (du moins pas encore). En tant qu’artiste, c’est donc à vous de déterminer ce que vous ferez de son pouvoir. L’IA que nous avons aujourd’hui n’aura probablement jamais d’expériences subjectives ni de conscience.
L’IA ne pourra donc jamais remplacer les vrais artistes, mais ce qu’elle peut remplacer, ce sont les artisans. Un véritable artiste crée toujours à partir de ses expériences subjectives, ce que l’IA ne pourra jamais faire. Un artisan peut ne pas créer pour transmettre quoi que ce soit à partir de ses expériences subjectives, mais il peut être très compétent sur le plan technique. La vision réelle et l’authenticité sont rares chez un artiste. C’est pourquoi je pense que l’IA poussera également les artistes et les artisans à trouver leur expression authentique, car celle-ci ne sera jamais remplacée. Je pense que l’IA conduira à la création d’un meilleur art en général au fil du temps. Elle égalise les aspects techniques de la création artistique, ce qui n’est pas une mauvaise chose. Les personnes qui ne sont pas des artistes qualifiés ne peuvent toujours pas créer de bonnes œuvres d’art, même avec l’aide de l’IA. C’est la raison pour laquelle l’art de l’IA est tellement détesté, parce que la plupart des gens créent de mauvaises œuvres d’art qui ont l’air jolies. Mais les personnes qui sont déjà très douées pour l’art peuvent devenir inarrêtables avec l’IA. C’est la raison pour laquelle tous les artistes de l’IA les plus suivis sur X sont tous des artistes formés. Les connaissances et l’expérience ne sont jamais perdues, l’IA ne fait qu’amplifier votre compréhension artistique existante pour en faire une réalité.
Si nous parlons de limitations techniques, il y en a beaucoup pour tous les modèles d’IA. Nous n’en sommes qu’au tout début du développement des technologies et, avec le temps, je pense que ces limitations auront de moins en moins d’impact. J’imagine que dans un avenir lointain, nous nous connecterons simplement à l’ICB et que les modèles généreront exactement ce que nous imaginons dans notre tête.
Vous avez mentionné que l’IA, en tant qu’outil, peut améliorer la vision artistique d’un artiste. Comment imaginez-vous la collaboration idéale entre les humains et l’IA ? Y a-t-il une limite à l’utilisation de l’IA avant qu’elle ne prenne le pas sur le processus artistique ?
Je ne pense pas que l’IA puisse un jour supplanter le processus artistique. Elle peut accroître les variations, les options et l’exploration, mais en fin de compte, c’est toujours l’artiste qui devrait décider du contenu de l’œuvre d’art finale. La collaboration idéale consiste simplement à utiliser l’IA pour itérer et explorer toutes les possibilités plus rapidement afin de trouver les meilleures options pour chaque élément de l’œuvre d’art. L’IA est la meilleure pour fusionner et inspirer de nouvelles idées, car sa base de connaissances est bien plus vaste que celle d’un être humain. Mais c’est à l’artiste de choisir ce qui l’inspire, ce qui est très subjectif.
On remarque sur votre site web que vous publiez souvent des images uniques générées par l’IA et des versions vidéo de ces images, souvent avec un arrière-plan spatial. Pouvez-vous nous en dire plus sur votre processus de création et votre approche ? Comment ces œuvres voient-elles le jour et quel rôle joue votre musique pour rendre les vidéos si spéciales ?
Mon processus de création est très complexe, il comporte une vingtaine d’étapes et fait appel à tous les outils d’IA les plus modernes du marché. Il faudrait quelques milliers de mots pour l’expliquer en détail.
Mais ce que je dirai, c’est qu’avec l’IA, le processus de création devient presque méta. En tant qu’artiste, vous ne créez pas seulement chaque œuvre, mais plus important encore, vous créez et concevez le processus lui-même. Dans un sens, le processus devient l’art. Vous concevez en fait des systèmes afin de produire le résultat que vous souhaitez, au lieu de créer directement le résultat. Par exemple, lorsque je travaille sur la génération d’images, je commence généralement par une idée centrale, puis je construis un système ou un monde autour de cette idée à l’aide de LLM, j’explore ensuite toutes les options possibles au sein de ce monde et je transforme les meilleures options en images. Votre processus et votre flux de travail seront le facteur distinctif de votre art, des flux de travail différents produiront des œuvres complètement différentes. Vous devez penser d’une manière très méta, en particulier lors de l’incitation. Pour moi, les modèles d’IA sont des simulateurs de réalité très avancés. J’aime imaginer que lorsque vous demandez une image, vous ne la demandez pas simplement, mais que vous la demandez pour créer une nouvelle réalité, qui pourrait fonctionner de manière fondamentalement différente de la nôtre. La qualité du résultat est directement liée à la complexité de votre processus, la différence entre un flux de travail complexe et une simple incitation se fait jour et nuit, vous pouvez le voir directement dans la complexité de l’image. Tous les meilleurs artistes de l’IA ont des flux de travail qui peuvent créer cette complexité. J’ai écrit sur certaines de ces idées plus en profondeur sur X, vous pouvez les trouver sur mon site web si vous faites défiler les anciens articles.
En ce qui concerne ma musique, je compose principalement de la musique de jazz très avant-gardiste. Elles sont toutes très peu conventionnelles et innovantes et sont vraiment composées pour être jouées en direct en raison de la nature improvisée du jazz. La plupart de mes compositions ne correspondent donc pas aux vidéos que je réalise. Cependant, ma connaissance approfondie de la musique me permet de savoir quelle est la meilleure musique pour chaque vidéo. L’apprentissage de la musique a élargi mon goût et mon appréciation de tous les genres musicaux. C’est très pratique lorsque je suis invité à générer de la musique. En général, je sais exactement ce que je veux et je peux l’obtenir en quelques essais. J’ai composé une musique pour laquelle je suis également en train de réaliser un clip vidéo d’IA intitulé « Beingness ». Elle est presque terminée. Ce morceau utilise principalement Pure Tone et un certain degré de probabilité algorithmique pour l’improvisation de la machine. Les visuels utiliseront l’IA gen et la visualisation algorithmique audio-réactive.
Vous avez mis au point un flux de travail très complexe qui comprend de nombreuses étapes et des outils d’IA de pointe. Quels conseils donneriez-vous à d’autres artistes et créatifs désireux de mettre en place un processus efficace ? Quels sont les outils ou les approches que vous trouvez particulièrement utiles pour tirer le meilleur parti du travail avec l’IA ?
C’est à l’artiste de décider ce qu’il veut faire avec ces outils, le flux de travail peut être très différent en fonction de l’objectif final. Mais le conseil le plus important est d’expérimenter avec tout et de trouver des moyens de combiner différents outils dans un flux de travail. Compte tenu de la rapidité avec laquelle tout évolue dans ce domaine, ce qui est « à la pointe du progrès » aujourd’hui peut être remplacé par quelque chose de nouveau demain. L’essentiel est de continuer à apprendre, d’essayer et d’échouer à de nombreuses reprises. Vous finirez par acquérir une compréhension intuitive du fonctionnement de ces outils et serez ainsi en mesure de créer un flux de travail qui vous est propre. Je pense qu’aucun artiste de l’IA n’utilise exactement le même flux de travail, chaque artiste de l’IA qui crée du bon travail a sa propre compréhension, son propre flux de travail et son propre processus. Cette différence dans le processus est ce qui conduit à des expressions uniques et authentiques.
Votre film The Good Ending est vraiment très réussi. Pourriez-vous nous parler un peu de la réalisation du film, de votre flux de travail et des programmes que vous avez utilisés ?
Oui, ce projet s’est déroulé très rapidement. Il m’a fallu environ une semaine pour le terminer. L’idée germait dans mon esprit depuis de nombreuses années, et il se trouve que le concours d’art génératif CONTACT ATTEMPT était en cours, alors j’ai décidé de le réaliser. D’un point de vue technique, la mise en place de l’histoire évite naturellement certaines des limites de la technologie actuelle de génération d’images et de vidéos par l’IA. Comme la cohérence des personnages, de l’environnement et des objets entre les différents plans. Une mauvaise génération de voix et de visages. En fait, j’ai de nombreux projets en pause qui attendent que la technologie mûrisse un peu plus pour pouvoir être pleinement réalisés. La série courte MIRROR est l’un de ces projets (vous pouvez regarder le chapitre 1 sur mon YT), j’ai planifié toute l’histoire en 10-20 chapitres, mais quand j’ai commencé à travailler sur le chapitre 2, j’ai rapidement réalisé que les limites technologiques actuelles ne permettaient pas encore de réaliser la vision de ce projet, alors je l’ai mis en pause. Cependant, The Good Ending a été conçu en gardant à l’esprit toutes les limitations, et l’histoire a donc été conçue pour les contourner. Quant au flux de travail et à la pile technique, ils sont les suivants. J’ai également mélangé et utilisé tous les principaux modèles vidéo de l’époque pour ce projet, pour différents besoins.
ChatGPT, Midjourney, JoyCaption Magnific et SUPIR pour le haut de gamme Kling pour les mouvements dynamiques Runway Gen-3 pour les mouvements simples Luma pour les images clés ElevenLabs pour le son et la voix off DaVinci Resolve pour le montage, la composition, les effets et l’étalonnage Topaz pour la conversion vidéo
