Espace de réalité mixte : on progresse !

V Jess en duplex réel virtuel (vu depuis Second Life) : ça marche :)

Nous avons procédé à pas mal de tests afin de valider des idées de base pour l'espace de réalité mixte qui sera situé sur l'esplanade Charles de Gaulle dans le village des transMusicales, du 3 au 6 décembre, et ouvert de 13h30 à 19h00.

Postulats :

Il s'agit de mettre en présence et en interaction des personnes et objets réels et virtuels.

L'objectif est de rendre ces interactions utilisables même par des personnes n'utilisant pas d'ordinateur, et donc aussi bien des usagers de jeux vidéos que des seniors ou des personnes très éloignées des mondes virtuels.

Lenaïg, le regisseur des Transmusicales, calcule l'espace nécessaire pour le dispositif.

Pour cela, il faut éviter au maximum le recours au clavier, à la souris et à ce type d'interface complexe à utiliser pour manipuler avatar et objets virtuels. Nous avons choisi d'utiliser la vidéo comme support de base : il suffit de parler et de bouger ! Concernant les manipulations plus avancées nous utiliserons la wiimote en suivant la recette d'Hugobiwan.

Dispositif technique :

La sensation de co-présence est également liée à une notion d'échelle visuelle et de continuité entre réel et virtuel. Le dispositif de base sera un écran de 2,44 x 1,80 m situé à 3 m devant un videoprojecteur professionnel de 5000 lumens (capable d'afficher en plein jour) raccordé à un ordinateur connecté dans Second Life. Des hauts parleurs permettront de transmettre le son du monde virtuel.

Maquette virtuelle du dispositif réel avec table coupée et écran video live (vue de dessus).

L'ordinateur raccordé dans Second Life utilisera l'ouïe et la vision d'un avatar caméra/microphone dont le regard sera situé à des points stratégiques correspondant à des scenarii d'animations. Par exemple dans le scenario SLYPE (nous vous en reparlerons), la caméra virtuelle sera dirigée vers l'extrémité de la table virtuelle face aux avatars virtuellement assis vus de face. Leur taille sera comparable à celle des personnes réelles physiquement assises en face.

Du côté de Second Life, nous répliquons à l'inverse le dispositif avec une table virtuelle coupée par un écran video live dont la taille positionne le public réel à la même échelle que les avatars. Un Mac Book Pro encodera live à partir d'une caméra DV munie d'un fish eye vers le serveur de Videon. Le son venant du réel parviendra au monde virtuel par le biais de l'avatar caméra, la DV étant muette. En effet, il y aura inévitablement un décalage d'envon 3 à 4 secondes entre la vidéo du monde réel et son affichage dans le monde virtuel. Tandis que le son venant par l'avatar sera quasiment instantané, permettant ainsi les conversations naturelles entre avatars et personnes.

Concernant le son, c'est un point qui nous inquiete beaucoup. Nous aurons 4 microphones de radio et une oreillette bluetooth visant à restreindre au maximum le bruit d'ambiance "réel" envoyé vers le monde virtuel. Le gros problème est que le son du virtuel envoyé dans nos hauts parleurs réel repart en partie vers les avatars, avec un désagréable écho...

Mais les tests techniques sont prometteurs, et nous avons construit 4 scenarii basés sur 4 espaces réels/virtuels utilisant ce système de mise en présence...

A suivre !

Hugo aka Clap Clip