5 projets pour découvrir le vidéo mapping interactif
Introduction - l’art interactif et le vidéo mapping
L’art interactif est une forme d’art dynamique qui réagit à son environnement. L'œuvre produite crée ainsi un lien entre l'environnement, comme des humains ou la nature, et les autres éléments qui la composent. Ces éléments peuvent être une scène, un décor, une sculpture, la lumière, un système informatique... Dans les installations interactives, les participants interagissent à travers des capteurs afin de produire un résultat unique généré en direct.
Exemple : Daniel Rozin - Mechanical Mirrors
La technique du vidéo mapping, grâce au vidéoprojecteur, permet d'habiller un espace avec de la lumière. Elle est donc intéressante pour la retranscription visuelle d'événements se produisant dans l'environnement. Ces évènements peuvent être par exemple le déplacement d’une personne, l’action sur un bouton, ou un son joué par un instrument. Dans cet article nous proposons une sélection de projets de vidéo mapping interactif afin de présenter les possibilités offertes.
Deux projets de vidéo mapping interactif par Jesse James Allen
Jesse James Allen a débuté sa carrière en tant qu'ingénieur du son dans l’industrie du divertissement au début des années 90, à l’aube de l’ère numérique. Il est progressivement devenu créateur de médias pour les parcs d’attractions et a appris à maîtriser de nombreux outils, autant d’instruments qu’il considère comme des pièces d’un puzzle essentielles pour offrir des expériences émotionnelles en racontant les histoires. Il a participé à la conception de 53 jeux vidéo et cette activité a vraiment façonné sa carrière en tant que créatif. L’influence du jeu vidéo se ressent d’ailleurs dans certains de ses projets vidéo mapping où il utilise parfois des manettes de console pour contrôler la projection.
Jesse voit un potentiel énorme pour HeavyM dans les expériences interactives et les expositions pour raconter des histoires plus captivantes et plus sensationnelles. Il travaille notamment avec des peintres et des illustrateurs car introduire le monde physique tactile dans l’équation rend l’effet encore plus vivant, plus organique. Selon Jesse : « Le mélange de l’art traditionnel et du numérique crée une sorte de magie particulière. Je fais de la recherche et développement avec HeavyM depuis environ un an et j’ai l’impression que je ne suis qu’à la surface, à effleurer tout un univers de possibles ».
Sa collaboration avec Charlie Jicha a abouti à un tableau peint avec de l’encre conductive. Cette encre est reliée à une carte électronique Touch Board qui permet par exemple de convertir les informations en MIDI pour HeavyM. Le séquenceur de HeavyM étant contrôlable en MIDI, Jesse a lié certaines parties de la peinture à des séquences en particulier.
Sur la base de cette expérience, Jesse James Allen a imaginé et construit l'Ange Séraphin, une sculpture de 2,5 mètres qui a été présentée à Immerse en 2017, un festival artistique immense organisé à Orlando par Creative City Project.
Le Séraphin associe vidéo mapping, capture de mouvements et création sonore pour une expérience interactive immersive. Il s’agit du plus grand projet que Jesse ait réalisé à ce jour avec HeavyM, offrant à tous les spectateurs la possibilité d’entrer en interaction avec l’installation grâce à leurs corps et à leurs voix. Jesse a exploité toute la puissance de HeavyM Live dans ce projet.
La majorité des visuels projetés sont des shaders, contrôlables par le visiteur grâce à la reconnaissance de mouvement via Leap motion et à l’interaction par le toucher avec l’encre conductive. Enfin, le module d’analyse sonore de HeavyM a été utilisé pour réagir au son de la voix des visiteurs via un microphone.
Le vidéo mapping interactif grâce au suivi de mouvement
Digital Essence produit des installations interactives pour la communication d’entreprise depuis 2014. L’entreprise s’appuie sur la collaboration entre scénographes, infographistes et ingénieurs pour concevoir et mettre en œuvre des systèmes interactifs utilisant la vidéoprojection. Pour le Hacking de l'Hôtel de Ville de Paris 2020, évènement dédié à l’innovation numérique, Digital Essence a conçu et produit une installation interactive de vidéo mapping.
L’objectif principal est de mettre en avant un lieu unique, tout en proposant une animation digitale valorisante pour l’évènement. Ainsi, grâce au vidéo mapping, les marches de l’escalier d’honneur réagissent au passage du public par le déclenchement d’animations vidéo. L’installation fait vivre aux visiteurs une expérience immersive et impactante dont ils se souviendront.
Digital Essence a utilisé une caméra stéréoscopique ZED couplée à un algorithme de traitement d'image développé spécifiquement pour l’installation, afin de détecter la présence et la position des personnes dans l'escalier.
Ces données sont envoyées à un shader qui est affiché et déformé avec HeavyM afin d'allumer/éteindre les marches de l'escalier au passage de la personne. Enfin, une vidéo "pluie de paillettes" est lue dès que quelqu'un est présent dans le champ de détection.
Plus d’informations sur ce projet : https://www.heavym.net/interactive-art-installation-with-sensors/
Personnaliser un vidéo mapping interactif
Autre réalisation de Digital Essence : une box immersive proposant la personnalisation de l’expérience en fonction de choix sur une tablette. Suite à une série de questions, le visiteur est immergé dans une box avec une projection autour de lui. L’expérience est personnalisable selon des choix de couleurs, de musiques et de destinations. Les animations et la musique varient selon les réponses données, afin de garantir une expérience impactante.
Pour la partie technique, l’installation utilise 2 kits Olga, 3 vidéoprojecteurs Full HD ultra-courte focale, un ordinateur et une tablette. Avant d’entrer dans la box, les visiteurs complètent un formulaire sur une page web affichée sur la tablette. Les réponses remontent ensuite dans une base de données puis sont traitées par un programme exécuté sur l’ordinateur de diffusion. Enfin, ce programme pilote les vidéos affichées par HeavyM grâce à des messages OSC.
Le vidéo mapping interactif sur scène
Pour terminer cette sélection de projets de vidéo mapping interactif, nous avons choisi de montrer son application dans un contexte scénique. Pour cette performance liant danse et vidéo projection, Diomedi Mattia a mis en œuvre un système de génération d’images en temps réel, basé sur les mouvements des danseurs.
Ce ballet interactif a été produit par Laserentertainment à l’aide de la technologie Blacktrax et de Touchdesigner. Blacktrax est une technologie de suivi de mouvement qui repose cette fois sur des LED infrarouge. Les danseurs sont équipés d’un petit circuit électronique composé d’une batterie et de LED dont la lumière est invisible pour l'œil humain, mais pas pour des caméras spécifiques. Les positions des danseurs peuvent alors être connues grâce à un logiciel de traitement d’image puis sont envoyées au logiciel Touchdesigner.
Touchdesigner permet de programmer des générateurs d’image grâce à un système de node à relier entre eux.
Conclusion
Cette sélection de projets de vidéo mapping interactif permet d’en entrevoir les applications et possibilités. Celles-ci sont en effet très larges et vont se développer de plus en plus dans les années à venir. La technologie joue un rôle essentiel dans l’art interactif car elle fait partie intégrante des systèmes de capteurs permettant l’interaction. L’accessibilité des outils informatiques est donc primordiale pour l’essor et la multiplication des œuvres de cette discipline. HeavyM, par sa facilité d’utilisation et sa versatilité, permet en quelques clics la réalisation de vidéo mapping interactif.
