Editorial⎪Repenser les systèmes de modération pour le Métavers

Alors que Meta cherche à convaincre le grand public d’adopter la réalité virtuelle depuis 2016, la firme ne semble pas encore avoir résolu les problèmes de violence et de toxicité observables aujourd’hui dans les mondes en ligne et demain dans le Métavers. Quels sont les systèmes de modération existants ? Faut-il les appliquer au Métavers ?

Article rédigé à la suite d’une thèse professionnelle réalisée dans le cadre du Mastère IDE Gobelins / CNAM-ENJMIN, en collaboration avec Diversion cinema.

En complément de la conférence “Comment faire du Métavers un “safe space” ? : outils de modération et d’inclusion dans les mondes virtuels” à Virtuality ce 18 mars par Stella Jacob.

Dans un article sur le blog de Meta publié le 27 septembre 2021, Andrew Bosworth (vice-président de la Branche VR et AR de Meta) et Nick Clegg annoncent les défis à venir du Métavers (de Meta) : dans la liste, on retrouve “la sécurité”, ainsi que “l’équité et l’inclusion”. Le 12 Novembre 2021, le même Andrew Bosworth, envoie une note interne, dévoilée par le Financial Times : il y demande une “Disney-Level Safety” (à comprendre, une modération/sécurité au niveau d’un film Disney) en prévenant que les espaces virtuels peuvent être un environnement toxique pour les femmes et les identités dites “minoritaires”. Ce sujet, non résolu, pourrait être, selon Bosworth, une menace existentielle au plan ambitieux de Meta, car il pourrait exclure le grand public du Métavers.

Ayant travaillé 5 ans dans l’industrie XR, et notamment chez Diversion cinema où l’inclusivité et l’accessibilité de la VR sont des sujets centraux, j’ai une certaine crainte vis-à-vis de l’expérience du grand public dans le “Métavers”. Harcèlement sexuel virtuel, contenu inappropriés, et comportements abusifs sont déjà très présents dans les comportements en ligne : Les systèmes de modération actuels sont-ils adaptés à la vie numérique dans le Métavers ?

Pourquoi la toxicité en ligne pose-t-elle problème ?

La toxicité en ligne, sur les réseaux sociaux ou dans les jeux multijoueur, est déjà dénoncée. Harcèlement, insultes, doxxing : ces comportements dits “disruptifs” sont légion en ligne. Selon l’enquête ADL, près de 74% des joueur.euse.s en sont victimes lors de leur vie numérique, et un quart des joueur.euse.s ont vu leurs informations personnelles publiées en ligne contre leur consentement (doxxing).

Les comportements disruptifs ont un impact réel : “23 % des joueur.euse.s harcelés deviennent moins sociables et 15 % d’entre eux se sentent isolés à cause du harcèlement dans le jeu. Un.e joueur.euse sur dix a des pensées dépressives ou suicidaires à cause du harcèlement dans les jeux multijoueur en ligne, et près d’un sur dix prend des mesures pour réduire la menace qui pèse sur sa sécurité physique (8 %) “

Comme l’affirme Andrew Bosworth, la toxicité en ligne crée un environnement hostile pour celles et ceux qu’elle cible, même caché.e.s derrière un avatar : c’est le cas des femmes, qui ne peuvent pas toujours cacher leur identité féminine dans les chat vocaux. À cela s’ajoute l’embodiment (incarnation du corps dans le monde virtuel) : dès 2016, Jordan Bellamire raconte dans son blog des attouchements virtuels survenus dans QuiVR, un jeu multijoueur VR. Au-delà des harcèlements , qui empêchent de profiter pleinement d’une expérience VR, c’est le sentiment de réel de ces attouchements qui a marqué Jordan Bellamire. Julia Carry Wong, journaliste au Guardian, ajoute son article: “Que ferons-nous lorsque l’abus virtuel semblera aussi réel qu’une agression physique ?” La simulation et l’embodiment dans les mondes en ligne, exacerbés par les nouvelles technologies, mettent les utilisateur.ice.s encore plus à risques.

Quels sont les systèmes de modération existants ?

Pour répondre à ces risques, il est intéressant d’étudier les systèmes de modération actuels, dans ce qu’on peut considérer comme les racines du Métavers : les MMORPG (Jeu de rôle en ligne massivement multijoueur), la VR sociale ou même encore les réseaux sociaux. Quels sont ces outils ? Faut-il s’en inspirer ?

À la suite du travail de Yasaman Farazan, voici un début de typologie de ces systèmes, et l’analyse critique de ceux-ci sur l’expérience des joueur.euse.s :

1/ Mute l’utilisateur.rice

Action qui consiste à ne plus recevoir l’audio d’un.e joueur.euse. C’est un système de modération très utilisé par les joueur.euse.s. Riot, l’éditeur de League of Legends (jeu connu pour ses problèmes de toxicité), a mené des expérimentations sur le sujet, en mutant d’office le cross-chat (chat vocal entre équipes qui s’affrontent). Les échanges y était analysés alors comme 33% moins toxiques. Cependant, le mute participe également à un auto-isolement des victimes, qui à terme, compromet l’expérience du jeu et sa lifetime value (durée d’utilisation d’un par les joueur.euses).

Je crains que si nous ne prenons pas un engagement plus important ici, […] nous nous arrêterons à fournir des « outils » pour s’auto-isoler, plutôt que de promouvoir une expérience équitable et compétitive pour tout le monde. Je vais donc prendre cet engagement. [..] Nous avons appris à mettre en sourdine les personnes qui nous harcèlent. Nous avons appris à nous mettre en sourdine afin de maintenir la paix. En conséquence, nous vivons une expérience de compétition qui peut sembler compromise. Nous nous trouvons souvent désavantagés.

Anna Donlon, productrice de Valorant chez Riot (via gamerant.com)

Selon Anna Donlon, le Mute tend à désavantager les joueur.euse.s harcelé.e.s, et n’a aucun impact sur les personnes ayant des comportements disruptifs.

2/ Activer sa space bubble

Déployée en premier par l’équipe de QuiVR suite au post de blog de Jordan Bellamire cité précédemment : la Space Bubble est une mesure propre à un monde virtuel en réalité virtuelle. Elle empêche l’outrepassement de la limite intime (généralement autour d’un 1 m) de l’utilisateur.ice. Cette mesure, adaptée à l’embodiment, a depuis été intégrée aux dernières update de Meta Horizon sous le nom de Personal Boundary. Elle réduit les risques d’agressions physiques mais à terme, pourrait aussi réduire les opportunités d’immersion, permises par l’embodiment, pour les joueur.euse.s concerné.e.s.

3/ Système de notation / de statut des joueur.euse.s

Et si on n’interagissait qu’avec des personnes de confiance ? C’est la proposition du système de statut ou de notation. VR chat a développé son trust system dans ce sens : les utilisateur.ice.s peuvent compartimenter leurs interactions sociales en fonction du statut des autres joueur.euse.s (mute automatique, avatar visible ou non).

C’est un véritable système de modération “à la carte”, proche des réseaux sociaux, où on ne voit que les interactions de ses amis. Ce système, qui a prouvé son efficacité, a également tendance à reproduire les inégalités de la réalité. Les utilisateur.ice.s n’échangent qu’avec des personnes similaires pour éviter les frictions, et cela peut créer ce qu’on appelle les bulles de filtre – théorisées par Eli Pariser. Loin d’une cité virtuelle ouverte sur le monde, le Métavers deviendrait une chambre d’écho qui renforcerait les points de vue de l’utilisateur.ice.

4/ Signaler l’utilisateur.ice

Sans réel impact direct, il s’agit de notifier les “pouvoirs décideurs” d’un comportement disruptif dans le monde virtuel. On peut parfois préciser le motif mais l’application de mesures revient uniquement au décideur, et peu de suivi peut être fait par la personne ayant signalé. Ce système, plutôt opaque, pose la question de qui fait la loi et la justice :

• Est-ce un système informatique, avec une IA sujette à des biais algorithmiques ?
• Sont-ce les développeurs ou employés à la fois juges et partis, représentant le système exécutif, législatif et judiciaire ?
• Ou est-ce la communauté, capable d’un jugement plus contextuel et adapté mais qui tend parfois à succomber à la logique de la guillotine – en reproduisant la violence, sans chercher à transformer le prévenu ?

5/ Sortir de force / bannir l’utilisateur.ice de l’espace

Le ban empêche les joueur.euse.s aux comportements disruptifs de revenir dans l’espace du jeu. C’est une mesure de modération parfois temporaire, parfois définitive. Cependant, le ban tend à éparser les communautés.

Virer les harceleurs de la communauté en général est une voie possible, mais avec la VR, lorsque les communautés sont si limitées, vous pourriez envisager de les informer et de les réhabiliter, en encourageant la réflexion.

Renée Gittings, membre fondatrice de l’IGDA (International Game Developers Association)

En étudiant de plus près les chiffres sur la toxicité en ligne (Free to Play, ADL, p.23), on découvre qu’une part des harcelé.e.s est également harceleur.euse. Parfois bourreaux, parfois victimes : les utilisateur.ices aux comportements disruptifs ne peuvent pas tous être bannis définitivement, au risque de voir toutes les communautés des mondes virtuels s’amenuiser, petit à petit, sans réduire le risque de récidive et sans transformer en profondeur leurs comportements.

Repenser la justice de nos mondes (virtuels)

Face aux systèmes de modération actuels dans les mondes virtuels, on observe des mesures qui tendent à isoler la victime plus que le “bourreau”. On remarque également que la rédemption du prévenu n’est jamais encouragée : il peut être banni, perdre son statut, mais il ne sera pas accompagné, écouté, ou guidé vers les bons usages et codes à adopter. Sans communauté, victime et bourreau sont laissés à leurs propres sorts : l’un.e est obligé.e de s’isoler, tandis que l’autre est ostracisé.

Il est temps d’inventer d’autres solutions. Il serait intéressant de faire appel aux formes alternatives de justice, comme la justice restaurative, qui redonne son pouvoir à la victime, fait parler le prévenu, invoque la communauté, se déleste du désir de vengeance et évite le pan « éliminatoire » de la justice.

Les systèmes de modération doivent se réinventer, et cela doit passer par la réinvention de notre conception de la justice, en considérant chacun comme un membre de la communauté qu’on ne peut pas abandonner.