Le travail de Letta Shtohryn a été sélectionné pour la deuxième édition de la résidence Realities In Transition qui s’est déroulée à iMAL – Art Center for digital cultures & technology de Bruxelles, avec l’aide et les conseils du collectif belge « CREW ». Une occasion parfaite pour travailler sur les multiples couches de réalités de son projet « Чули ? Чули ». Dark Euphoria l’a interrogée sur sa relation avec la XR, son parcours personnel, son expérience de la résidence, et ses outils et inspirations.
—
Partenaire du dispositif, XRMust vous propose une série d’entretiens d’artistes dédiés à l’art numérique.
Propos initialement recueillis en anglais par Céline Delatte｜Dark Euphoria
Version anglaise sur le site de Realities in Transition
Traduites par Mathieu Gayet｜XRMust
Dark Euphoria | Interview de Céline Delatte – Heureuse de vous rencontrer enfin ! Vous avez eu l’occasion en 2024 de prendre part à une résidence du projet Realities In Transition, autour de votre projet « Чули ? Чули », accompagnée par l’expertise du collectif pluridisciplinaire CREW. Pour commencer, pourriez-vous nous dire quelques mots sur vous ?
Letta Shtohryn – Je m’appelle Letta Shtohryn. Je suis une artiste ukrainienne et une chercheuse vivant en Europe. Je travaille principalement avec la XR, les images de synthèse, les récits vidéo, le post-humanisme et l’incarnation entre les machines, les humains et les non-humains. Je me situe entre l’artiste médiatique et l’artiste contemporain. Je ne me limite pas à la XR, en réalité, ma formation initiale, c’est les arts visuels. Donc je me considère davantage comme une artiste visuelle qui travaille avec la technologie. Cependant, elle n’est pas le moteur de ma pratique, ni le catalyseur initial de mon travail. Pour moi, la technologie est utilisée lorsqu’elle est pertinente.
En fin de compte, je me considère comme une artiste visuelle engagée dans les arts médiatiques.
C.D. – Pouvez-vous nous en dire plus sur le projet sur lequel vous avez travaillé dans le cadre de votre résidence à iMAL, et sur quels aspects vous avez eu l’occasion de progresser avec l’aide de CREW ?
Letta Shtohryn – Le projet sur lequel j’ai travaillé s’appelle « Чули ? Чули / Chuly ? Chuly », qui signifie en ukrainien « Avez-vous entendu ? Nous avons entendu / L’avez-vous ressenti ? Nous l’avons ressenti ». Le titre suggère que l’audition et la sensation sont intimement liées, ce qui s’est ensuite traduit dans le thème de l’œuvre, axé sur la manipulation cognitive et la désinformation en ligne ainsi que leurs conséquences dans la vie réelle. J’explorais l’impact émotionnel de la manipulation cognitive, semblable à ce que nous rencontrons quotidiennement en ligne avec des messages incendiaires et des contenus manipulateurs.
L. S. – Le projet est à la fois un jeu vidéo et un spectacle de danse. Le récit principal que le public entend tourne autour d’une légende urbaine sur une rencontre avec des géants, mais le récit qui guide le joueur suit la mutation des histoires lorsqu’elles sont utilisées à des fins de désinformation. Dans l’univers du jeu, le joueur entend des voix dans différents lieux qui projettent diverses attitudes à l’égard des récits des géants – de l’incrédulité à l’exagération, en passant par une fausse autorité censée être confirmée par des « chercheurs », et ainsi de suite.
L. S. – J’ai initialement conceptualisé et fait une démonstration du projet à Linz à l’Ars Electronica Founding Lab à l’automne 2023 avec Julie-Michèle Morin (dramaturge) et Junjian Wang (danse). Après la présentation du prototype initial au public, j’ai continué à explorer la chorégraphie et le calibrage/décalibrage des combinaisons MoCap à iMAL, en me concentrant sur la manière dont ces aspects dépendent des mouvements du danseur et des éléments théâtraux, d’audience et dramaturgiques de l’œuvre. La collaboration avec CREW a été particulièrement bénéfique, car leur expertise en matière de performances XR et d’engagement du public a validé certaines de mes idées sur la dramaturgie et m’a aidé à développer des modifications pour les futures expériences avec du public.
L. S. – L’œuvre est fortement axée sur la mutation narrative de l’histoire originale, et nous avons donc soigneusement réfléchi à la manière et au moment de présenter ce récit originel. Sur la base de cette idée et avec le mentorat de CREW, j’ai travaillé sur l’ajout d’une intro et d’une outro supplémentaires à l’œuvre, qui comporte un élément VR/ VR à l’écran. Nous avons décidé de prolonger certaines scènes, ce qui a fait évoluer l’œuvre par rapport à sa forme initiale. En fin de compte, chaque représentation de l’œuvre offre une expérience légèrement différente, que ce soit dans la narration elle-même, dans la chorégraphie ou dans la manière dont la narration est vécue par le public.
C.D. – Quels ont été les outils que vous avez utilisés pendant la résidence, et ceux qui vous paraissent les plus appropriés pour construire l’expérience complète « Чули ? Чули / Chuly ? Chuly » ?
Letta Shtohryn – Mes outils comprennent principalement des logiciels CGI commerciaux conventionnels et le moteur de jeu Unreal. J’utilise Unreal pour la construction du monde, le travail de caméra, l’interaction et toutes les activités de l’œuvre qui peuvent être codées. Je commence par la conceptualisation du projet, puis je créer une carte des niveaux. Ensuite, je sculpte et texture le monde, en construisant un environnement complet : météo, ciel, règles d’éclairage, etc. Par exemple, je décide du nombre de soleils et du cycle jour-nuit.
L. S. – Lorsque la technologie le permet, j’incorpore des éléments naturels générés de manière procédurale, tels que des rochers et des plantes. Cependant, dans ce travail particulier, il n’y a pas d’objets générés de manière procédurale parce qu’il est réalisé en mode édition, en direct depuis mon ordinateur portable, qui produit une vidéo en 4K. Les objets générés de manière procédurale peuvent déstabiliser l’ensemble du processus en le faisant échouer. Cela ajoute une couche supplémentaire d’erreur et d’imprévisibilité.
L. S. – Une fois le monde construit, je passe aux personnages. Si l’œuvre est interactive, je me demande qui sont les joueurs 1 et 2, à quoi ils ressemblent, quels vêtements ils portent. J’utilise Metahuman et ZBrush pour la sculpture de caractéristiques supplémentaires. Si les vêtements doivent être personnalisés au-delà des options standard, je les conçois et les couds dans Marvelous Designer, puis je les exporte vers ZBrush pour la fixation du maillage, et enfin vers Maya pour le remaillage. Pour les textures, j’utilise Marmoset et Substance Painter. Une fois les avatars créés, je calibre le rig pour qu’il corresponde à la combinaison de capture de mouvement que j’utilise.
L. S. – Lorsque tous ces éléments sont en place, la dramaturgie et la danse peuvent commencer. C’est le point de départ de la vie et de la performance. Les données de capture de mouvement sont diffusées en direct dans Unreal, et sont ensuite rendues visibles sur une installation à projecteurs multiples. À partir de là, il y a beaucoup d’allers-retours : le concept, la dramaturgie et la danse évoluent pour s’adapter à la vision, et vice versa.
L. S. – Dans ce travail, le concept (les corps derrière les personnages numériques, la manipulation, l’incarnation) et la technologie se nourrissent l’un l’autre. Dans une partie de l’œuvre, la combinaison de capture de mouvement acquiert une matérialité technologique et, par le biais de l’interférence magnétique dans l’espace de performance, elle influence et dirige la danse. Les combinaisons que j’utilise sont des combinaisons de capture de mouvement inertiel, qui sont sensibles aux interférences magnétiques. Cela signifie que la technologie et les objets métalliques présents dans la pièce peuvent interférer de manière imprévisible avec l’avatar calibré sur l’écran – l’avatar s’écarte progressivement des mouvements du danseur, provoquant une lente décalibration.
L. S. – Cet élément d’erreur est entré dans l’œuvre par le biais du costume, et j’ai trouvé qu’il s’accordait bien avec le concept. De plus, en raison des interférences, la danse est toujours légèrement différente. À iMAL, la danseuse Marion Busetti et moi-même avons beaucoup travaillé sur cet aspect, cherchant à savoir si nous pouvions contrôler ce décalage. Nous avons développé une sorte de langage de mouvement qui l’influence quelque peu, mais en fin de compte, c’est la combinaison qui détermine quand et comment elle se désétalonnera complètement. Je trouve ce potentiel d’erreur et d’imperfection très attrayant, car il subvertit les attentes du public. L’œuvre présente un réalisme impeccable, brillant, digne d’un jeu AAA, mais peu à peu, l’avatar géant se détériore en un amas de membres désarticulés. C’est pourquoi la technologie et le concept ont si bien fonctionné ensemble, se guidant l’un l’autre tout au long du processus.
L. S. – Bien sûr, ces éléments d’erreur et de vivacité peuvent mal tourner. Mais lorsque tout fonctionne comme prévu, que Windows ne décide pas soudainement de se mettre à jour juste avant la représentation, et que les esprits de la technologie sont de notre côté, le public fera l’expérience du spectacle que nous avons l’intention de présenter.
C.D.: Comment êtes-vous rentrée dans le monde de la XR ?
Letta Shtohryn: Avant d’avoir accès aux outils XR nécessaires, ma pratique concernait principalement la vidéo, l’imagerie et la vision industrielle. J’ai ensuite commencé à travailler avec Machinima, qui consiste à enregistrer des vidéos à l’intérieur de jeux vidéo. Certains jeux vidéo m’ont laissé une impression aussi durable que les œuvres d’art que j’ai rencontrées dans les musées, de sorte que la combinaison des deux m’a semblé tout à fait naturelle. Avec Machinima, j’ai pu réunir ces éléments pour la première fois. J’apprécie à la fois ce médium et sa culture, bien qu’il soulève également de nombreuses questions sur la propriété, ce que je trouve assez intriguant.
L. S. – La première œuvre Machinima que j’ai créée date de 2019 et s’intitule Algorithmic Oracle. Dans cette œuvre, j’ai utilisé Les Sims 3 et son algorithme d’incendie quelque peu aléatoire pour recréer l’événement de ma propre maison prenant feu (basé sur des événements réels). Je définissais les actions initiales des avatars et filmais ensuite le résultat généré par le jeu. Ensuite, sans sauvegarder, je recommençais. Je suis devenue la caméraman de ma propre maison en train de prendre feu dans Les Sims, en observant ce que l’algorithme décidait pour moi. Je pense avoir filmé plus de 100 scénarios différents, mais seuls 10 ont été retenus pour l’œuvre finale.
L. S. – Pour ce qui est de mon passage de Machinima à la CGI et la XR, je pense que mon intérêt réside dans l’immersion – la variété des mondes que l’on peut créer et l’idée d’être dans plusieurs endroits à la fois. J’ai réfléchi aux types d’immersion qui convenaient à mon travail, ce qui m’a amené à passer un doctorat en arts médiatiques, axé sur l’immersion. Une fois que j’ai eu accès à la technologie nécessaire et à un laboratoire, j’ai commencé à expérimenter. J’étais également très intéressée par l’enchevêtrement du corps et de la technologie dans cet espace immersif. Ces questions m’ont progressivement amenée à m’orienter vers une pratique immersive XR.
L. S. – Ma plus grande motivation est venue lors d’une résidence au Goldsmiths College de Londres en 2022, qui était centrée sur la capture de mouvements en direct. J’ai eu l’occasion de travailler avec la technologie et de l’explorer. C’est ainsi que l’on s’implique, en y ayant accès et en pouvant jouer avec. Il ne s’agit pas seulement de réfléchir à la technologie, il faut aussi l’utiliser de manière pratique. C’est à ce moment-là que j’ai commencé à travailler davantage avec la capture de mouvement et que j’ai commencé à expérimenter, souvent en essayant de la casser.
C.D. – « L’immersion » était donc une sorte de pont entre la performance et la technologie…
Letta Shtohryn – Oui, et la performance a introduit un élément présent et vivant. Avec la capture de mouvements, on peut utiliser des animations préenregistrées, ce qui est bien, mais c’est l’aspect « live » qui fait toute la différence : chaque performance est différente à chaque fois. C’est incroyablement stressant parce qu’il arrive que cela ne fonctionne pas comme prévu, mais on apprend à vivre avec les erreurs. Cette imprévisibilité m’a fascinée. L’élément « live » a renforcé mon intérêt pour l’incarnation et l’immersion, et il m’a semblé qu’il s’agissait d’une combinaison parfaite.
C.D. – Où trouvez-vous vos principales sources d’inspiration ?
Letta Shtohryn – Je suis fascinée par tout ce qui touche à la science-fiction (en ce moment, je lis de la science-fiction antérieure à l’alunissage, – « Le Problème à Trois Corps », etc.), aux arts visuels, aux jeux vidéo (Horizon Forbidden West est mon préféré en ce moment), aux faits historiques bizarres et à l’archéologie. Je m’intéresse également beaucoup au cinéma moderniste.
L. S. – Il est fascinant de voir ce que les gens décident de faire avec des appareils technologiques et innovants. Il y a une certaine bizarrerie qui émerge lorsque les gens expérimentent tout, et finalement, ces innovations deviennent standardisées. Je ne prétends pas à la nouveauté technologique dans mon travail ; je combine simplement les outils pertinents à ma vision, bien que je sois intriguée par les utilisations non conventionnelles de la technologie.
L. S. – Comme je travaille sur la spéculation, je suis particulièrement inspirée par les lacunes dans les connaissances, qu’elles soient actuelles ou historiques, car c’est là que la spéculation prospère. Dans « Чули ? Чули / Chuly ? Chuly », j’ai collaboré avec Heritage Malta pour adapter à mon travail un modèle scanné en 3D d’un temple maltais vieux d’environ 5 000 ans. C’est un sujet inhabituel : l’archéologique, mais teinté de science-fiction en raison de son âge et du manque de données qui l’entourent, ce qui laisse place à une myriade de légendes urbaines.
L. S. – Je suis également fascinée par les futurs spéculatifs. J’ai déjà travaillé sur un projet avec des géologues pour identifier les tubes de lave martienne susceptibles d’accueillir les premiers habitats humains. Mon rôle était de visualiser ces concepts, et ce projet m’a inspiré l’installation Life on Mars Might Not Want to Be Found (2022). Cette expérience a débouché sur un projet sur lequel je travaille actuellement : un documentaire en images de synthèse sur la plus grosse météorite d’Europe tombée en Ukraine, qui remet en question le patrimoine spatial et sa propriété.
L. S. – Toutes ces inspirations sont liées à mon expérience et à la réalité politique à laquelle je suis confrontée aujourd’hui en tant qu’artiste ukrainienne vivant à l’étranger, travaillant avec des images de synthèse alors que mon pays d’origine est attaqué à la fois physiquement et cognitivement par la Russie et sa machine de désinformation omniprésente et d’envergure mondiale.
C.D. – Et si vous aviez un conseil à donner à un artiste ou à un créatif qui souhaite commencer dans la création XR ?
Letta Shtohryn – Vous devez avoir accès à la technologie, mais je vous conseille de ne pas vous précipiter pour acheter quoi que ce soit. Trouvez plutôt un endroit où tous les outils sont disponibles, pour que vous puissiez expérimenter et découvrir par vous-même ce qui est intéressant et ce qui vous plaît. Idéalement, en tant que jeune artiste, disposer d’un espace où l’on peut vraiment repousser les limites de la technologie – non pas la casser physiquement, mais explorer ce qu’elle peut faire et ce qu’elle ne peut pas faire – est d’une valeur inestimable. C’est là qu’émergent les idées les plus originales. Personnellement, je fais tout moi-même, ce qui, je pense, découle de ma formation en arts visuels : Je veux que les choses aient une certaine apparence, et je dois les rendre comme telles. Je suis prête à passer du temps à apprendre comment y parvenir, même si cela prend des mois. C’est aussi une sorte d’appel et de réponse : vous voulez créer quelque chose et lui donner une certaine apparence, mais lorsque vous n’y parvenez pas, vous êtes obligé de vous demander : « d’accord, à quoi cela ressemble-t-il maintenant ? Comment puis-je m’en inspirer ? » Les outils avec lesquels nous travaillons sont toujours un peu vivants, comme s’ils contenaient un fantôme qui guide subtilement le processus.
C.D. – Nous pourrions l’appeler le technofantôme (Rire). Comment définiriez-vous le terme d’eXtended Realities, et comment redéfinit-il l’idée même de réalité ?
Letta Shtohryn – La XR incorpore les réalités mixte, augmentée et virtuelle, ajoutant une expérience numérique à la présence physique. Comme le montre la célèbre échelle de Milgram+Kishino et ses révisions ultérieures, la MR (réalité mixte) superpose des éléments numériques à l’espace physique, ce qui permet une interaction ; l’AR (réalité augmentée) ajoute une couche numérique au monde physique, ce qui vous permet de voir les deux simultanément ; et la VR, bien sûr, verrouille la vision hors de l’espace physique, vous transportant visuellement et mentalement dans un autre environnement. Je m’intéresse particulièrement aux expériences et aux environnements XR qui ne peuvent être pleinement vécus dans le seul espace physique.
L. S. – Quant à l’immersion, je pense qu’elle peut être trouvée dans beaucoup de choses. Pour moi, la VR seule ne suffit pas, car mon corps finit par se rendre compte qu’il n’est pas réellement dans le cadre qu’il perçoit. L’AR ajoute à ce qui est déjà présent, et la MR introduit l’interaction. Mais l’immersion peut exister à la fois dans la VR et en dehors d’elle – elle peut se trouver dans un panorama du XVIIe siècle, un podcast, une peinture rupestre ou une histoire.
L. S. – Je m’intéresse particulièrement aux réalités étendues où la technologie améliore l’expérience physique. Pour travailler avec la capture de mouvement, par exemple, j’avais besoin de voir un écran d’une certaine taille affichant un avatar guidé par la capture de mouvement. Cette configuration permet de travailler simultanément avec le corps et ses extensions technologiques. Je pense que beaucoup de gens définissent la XR différemment aujourd’hui, mais pour moi, il s’agit sans aucun doute de quelque chose qui améliore la réalité physique, en utilisant la technologie comme un complément. Sans cette couche technologique, l’expérience de la réalité physique ne serait pas la même.
C.D. : Et pour conclure, où pensez-vous que la XR se dirige et où voudriez-vous qu’elle aille ?
Letta Shtohryn – Je souhaite m’éloigner de la définition de la réalité étendue comme étant uniquement des expériences de VR, car elle est souvent utilisée dans des contextes où elle n’est pas nécessaire. La réalité étendue est également une forme d’immersion. Toutes les immersions ne sont pas des réalités étendues, et toutes les réalités étendues ne sont pas immersives, mais je pense que nous devrions élargir les outils que nous utilisons pour la réalité étendue et les combiner avec ceux utilisés dans le théâtre, la scénographie, les arts visuels et les contes – même ceux qui sont plutôt analogiques. C’est la direction que j’aimerais voir prendre, et je pense qu’elle commence déjà à se développer dans ce sens. Il existe des initiatives telles que cette résidence, ainsi que de nombreux programmes, subventions et projets visant à faire de la XR quelque chose de plus qu’un simple type de technologie, quelque chose de plus large et de plus inclusif pour d’autres disciplines. Peut-être est-ce un vœu pieux, ou peut-être est-ce la bulle dans laquelle je me trouve, mais j’aimerais voir cette technologie retarder la normalisation et évoluer vers quelque chose de plus étrange.
Laisser un commentaire
Vous devez vous connecter pour publier un commentaire.