Cette performance consiste à mettre en relation le monde réel et la réalité virtuelle via le site Second Life. Il s’agit d’un rapport physique ; en effet, les mouvements d'une personne dans le monde réel contrôlent un avatar dans Second Life, tandis qu’un avatar guide un être humain.
Second Life est une plate-forme 3D numérique en ligne créée par ses résidents. Ici, chaque humain en chair et en os crée une entité unique - un avatar - pour habiter l'environnement numérique de la communauté. Le contact entre ces réalités s’effectue habituellement par un moniteur, un clavier et une souris. Dans ce travail, le corps entier participe ; nous développons la technologie qui rend la communication entre les deux réalités bi-directionnelle et physique.
Un mécanisme de mouvement-enregistrement intégré au BodySuit permet aux mouvements d'une personne de contrôler directement le comportement d'un avatar dans Second Life. Réciproquement, le Powered Suit est équipé de moteurs qui actionnent le corps humain comme une marionnette. C'est une sorte de robot portable commandé à distance par un avatar.
Avec cette technologie ni la géographie, ni l’espace ne s’opposent plus à l’interaction physique entre les corps. Un avatar de Second Life devient un passeur pour relier physiquement l'individu à la société. Cela a permis à des personnes du monde entier disposant du matériel adéquat de partager leur corps via l'Internet.
Nous jouons avec notre perception du corps individuel identifié comme homme ou femme. Dans ce projet, nous ne savons pas exactement qui contrôle le Powered Suit et où ils se trouvent dans le monde. Nos corps deviennent une combinaison de réel et d'informations générées par ordinateur et sont de ce fait améliorés. Peut-être cela pourrait nous conduire à envisager de nouvelles manières d'utiliser nos corps que nous ne pouvons découvrir qu’en les contrôlant de l'extérieur, par l'Internet.
Comment participer ou voir l'exécution avec votre avatar dans Second Life
Vous pouvez voir ou participer à cette installation ou exécution interactive avec votre avatar.
Téléchargez une version adaptée du programme viewer de Second Life via les liens suivants :
Entrez dans l’immeuble et montez tout en haut jusqu’à la salle de concert.
La performance sur la scène de la salle de concert. Sur la scène, il y aura 2 avatars, un contrôlé par le BodySuit et l’autre connecté au Powered Suit.
Si vous souhaitez participer à la performance en contrôlant le PoweredSuit (Robot) avec votre avatar, montez sur la scène et entrez dans la zone de droite. Vous devenez alors un Powered avatar et vous pouvez contrôler le Powered Suit en temps réel. Selon les gestes de votre avatar, le danseur qui porte le Powered Suit se comportera comme vous le souhaitez. Vous pouvez abandonner quand vous le désirez et laisser d’autres avatars prendre votre place. Vous pouvez également essayer de jouer d’un instrument avec le Powered Suit. Le Powered Suit ne peut être contrôlé que par un avatar à la fois.
Si vous souhaitez participer à la performance en ayant votre avatar contrôlé par le BodySuit, montez sur la scène et entrez dans la zone qui se trouve à gauche. Vous devenez alors un avatar BodySuit qui peut être contrôlé par le BodySuit en temps réel. Selon les gestes du BodySuit dans la vie réelle, le danseur qui porte le BodySuit contrôlera votre avatar. Bien que votre avatar soit contrôlé, vous pouvez quitter à tout moment et laisser d’autres avatars essayer. Vous pouvez également essayer de jouer d’instruments virtuels sur la scène. Seul un avatar à la fois peut entrer dans cette zone.
Derrière la scène, il y a un écran qui montre la scène réelle avec le BodySuit et PoweredSuit où vous pouvez voir comment les avatars se comportent.
Crédit
Suguru Goto (Initiator of project, Concept, Inventor of BodySuit and Powered Suit, Music, Design of images)
Bernd Voss (Technical support, Academy of Media Arts Cologne)
Martin Nawrath (Electronic Technique, Academy of Media Arts Cologne)
Robert O'Kane (Unix Systems Administrator)
Sam Blanchard (Elbows of Powered Suit Technique, Ohio University)
Japan Electronics College (3D images support and cooperation)
Shinji Sasada (3D image direction)
Yuuta Ishii (3D images, Second Life 3D Images)
Tetsuya Sasaki (3D images)
Miho Odagiri (Design)
Assistances:
Jochen Arne Otto (Powered Suit Technique)
Lorenz Wortmann (Powered Suit Technique)
Julia Wewers (Powered Suit Technique)
Anne-Marlen Gaus (Artistic Assistant)
Marianne Heinz (Artistic Assistant)
Veronika Schyra (Second Life Interface)
Mercis spéciaux à: Anthony Moore, Heide Hageboelling, Academy of Media Arts Cologne, Klanglabor à KHM, Katherine Milton, Nathaniel Berger, le laboratoire esthétique de technologies - université de l'Ohio, Christopher Keesey, IRCAM, Fuminori Yamasaki (iXs Research Corp.), Nir Bakshy, Cornelius Pöpel
4. Introduction de système
Cette description a pour objet d’introduire le système qui combine “BodySuit”, “Powered Suit” et “Second Life, de même que les possibilités et les usages qui en découlent dans les applications artistiques.
Le système que nous proposons comporte un contrôleur gestuel et des robots. Dans ce système le Data Suit “BodySuit” contrôle l’avatar dans “Second Life” et “Second Life” contrôle, en temps réel, l’exosquelette “Powered Suit”. Ils sont reliés les uns aux autres par le biais de “Second Life” sur Internet. “Body Suit” ne possède pas de contrôleur manuel. Un performeur, par exemple un danseur, porte le costume. Ses gestes sont transformés en signaux électriques par les capteurs.
“Powered Suit” est un autre costume porté par un autre danseur mais les gestes sont générés par des moteurs. En fait, c’est une sorte de robot portable.
“Second Life” est un logiciel développé par Linden Lab. Il permet de créer un monde virtuel et un homme virtuel, un avatar sur internet.
En faisant fonctionner ensemble le “BodySuit”, le “Powered Suit” et “Second Life”, l’idée qui soutend le système est qu’un corps humain augmenté par des signaux électroniques et reflété en tant que monde virtuel peut agir interactivement.
5. Description détaillée du système existant, contrôleur gestuel – “BodySuit”
Le “BodySuit” a 24 capteurs placés sur chaque articulation du corps : poignet, coude, épaule, cheville, genou et hanche. Les capteurs de potentiomètre fixés sur un costume se trouvent situés sur les parties externes des bras et sur le devant des jambes. Chaque capteur est connecté grâce à un câble à une boîte et, ensuite connecté avec une interface A/D.
Le performer qui porte ce costume ne tient aucun contrôleur, ni instrument dans ses mains.
Le geste n’a donc pas besoin de servir le jeu d’un instrument mais peut se libérer pour devenir large et ample comme dans le mime. Cela permet des collaborations avec d’autres disciplines artistiques comme la danse ou le théâtre.
Le public peut observer aisément ces larges mouvements ; en d’autres termes, cela peut parfaitement s’adapter à une performance ou à une représentation de musique-théâtre.
Puisque c’est différent d’un contrôleur physique ou d’un instrument qui est tenu à la main, cela permet de traduire l’idée de “Corps augmenté” ou “Corps étendu” dans l’oeuvre. En effet, le corps est amplifié par des signaux électriques pour contrôler quelque chose à distance ou transformer un geste abstrait en geste signifiant.
6. “Powered Suit” / Le costume robotisé
L’idée du “Powered Suit” est d’avoir des moteurs installés à chaque articulation majeure d’un costume et correspondant aux articulations majeures du corps humain : épaules, coudes, poignets, et tête/nuque.
En utilisant des logiciels, chaque moteur couplé à une articulation pourrait être contrôlé et le corps du performeur portant ce costume pourrait donc être manipulé à distance comme s’il était une marionnette.
7. Au sujet de “Second Life”
“Second Life” est écrit en langage de programmation C++, et “Second Life” Viewer est maintenant un programme Open Source, aussi le code source est accessible et complétement personnalisable.
“Second Life” permet la création d’objets – éléments personnalisés et contrôlables qui sont des blocs de base constitués de tout ce qu’on peut trouver dans le monde réel (ce ne sont pas des avatars) – et il fournit même son propre langage crypté appellé “Linden Scripting Language” (LSL) qui permet de contrôler les objets et certains aspects des avatars (avec les autorisations appropriées). Hormis C++ programming, la programmation LSL peut être utilisée pour mettre en oeuvre ce projet.
8. Concept
Ce nouveau système est destiné à être utilsé pour parachever le projet intitulé “netBody - Corps augmenté et Corps virtuel II”. Cela complétera le thème et permettra d’explorer de manière plus profonde la relation entre artificiel et réel par rapport au corps humain dans un contexte de danse/musique/théâtre. Différentes réalités seront connectées utilisant des interfaces physiques : monde virtuel (= Internet) et corps humain (augmenté par robot). Le monde que nous appelons réel se connecte avec le monde internet appelé “Second Life”. Ce projet mis à jour implique le développement du matériel et des logiciels pour permettre une communication approfondie entre ces mondes via internet. En fin de compte, les actions d’un monde seront reflétées dans l’autre monde. D’une manière plus spécifique, l’”avatar” (un personnage ou une identité unique) dans “Second Life” seront contrôlés par les mouvements d’un corps humain et un corps humain sera contrôlé par les mouvements d’un avatar. Pour ce projet, on utilisera deux types d’interfaces – un costume de capture de mouvement appelé “BodySuit” et un costume robotique contrôlable appelé “Powered Suit” d’une part – et d’autre part, un logiciel personnalisé développé pour permettre la communication entre le logiciel “Second Life” et les interfaces physiques. Ces developpements seront explorés en contexte de performance artistique. L’Internet sera utilisé pour permettre la communication physique entre des corps qui en seraient normalement empêché par des contraintes géographiques et spaciales.
