Vidéo mapping intéractif : 5 projets à découvrir
Introduction - art interactif et expérience immersive en vidéo mapping
L'art interactif est une forme d'art dynamique qui réagit à son environnement. L'œuvre produite crée ainsi un lien entre l'environnement, tel que l'homme ou la nature, et les autres éléments qui le composent. Ces éléments peuvent être une scène, un décor, une sculpture, de la lumière, un système informatique... Dans les installations interactives, les participants interagissent grâce à des capteurs pour produire un résultat unique généré en direct.
Exemple : Daniel Rozin - Mechanical Mirrors
Le Projection mapping, grâce aux vidéoprojecteurs, permet d'habiller un espace de lumière. Il est donc intéressant pour la transcription visuelle d'événements se produisant dans l'environnement. Ces événements peuvent être par exemple le mouvement d'une personne, l'action d'un bouton, ou un son joué par un instrument. Dans cet article, nous proposons une sélection de projets de projection interactive afin de démontrer les possibilités offertes pour créer des expériences immersives.
Qu'est-ce que le vidéo mapping ?
Le mapping par projection, également connu sous le nom de mapping vidéo ou de réalité augmentée spatiale, est une technologie de pointe qui transforme des surfaces ordinaires en écrans dynamiques en y projetant du contenu numérique. Cette technique innovante a gagné en popularité dans divers domaines, notamment le marketing, le divertissement et l'éducation, en raison de sa capacité à créer des expériences immersives et attrayantes. En utilisant des vidéoprojecteurs, le vidéo mapping permet de véhiculer des messages de marque, de créer des fonds de scène uniques, de décorer les murs et les plafonds et d'évoquer des émotions fortes. La polyvalence de cette technologie permet aux utilisateurs de transformer n'importe quelle surface en une toile pour une narration visuelle étonnante, ce qui en fait un outil de prédilection pour les artistes et les spécialistes du marketing.
Histoire et développement du vidéo mapping
Le concept de projection mapping a une histoire fascinante qui remonte à 1969, lorsque Disney a introduit cette technologie pour la première fois à Disneyland. La première utilisation de la projection mapping a eu lieu dans le manège hanté, où des visages étaient projetés sur des têtes de mannequin pour créer un effet effrayant et réaliste. Depuis cette époque, la technologie a considérablement évolué, offrant des images spectaculaires qui dépassent de loin ses modestes débuts. Aujourd'hui, la projection mapping contemporaine est un outil populaire pour créer des expériences immersives, avec des applications qui se sont étendues à diverses industries, y compris la publicité, l'éducation et le divertissement. Les progrès de la technologie de projection mapping ont permis de produire des affichages hautement détaillés et interactifs, captivant le public et transformant des espaces ordinaires en environnements extraordinaires.
Deux projets de vidéo mapping interactif par Jesse James Allen
Jesse James Allen a débuté sa carrière en tant qu'ingénieur du son dans l’industrie du divertissement au début des années 90, à l’aube de l’ère numérique. Il est progressivement devenu créateur de médias pour les parcs d’attractions et a appris à maîtriser de nombreux outils, autant d’instruments qu’il considère comme des pièces d’un puzzle essentielles pour offrir des expériences émotionnelles en racontant les histoires. Il a participé à la conception de 53 jeux vidéo et cette activité a vraiment façonné sa carrière en tant que créatif. L’influence du jeu vidéo se ressent d’ailleurs dans certains de ses projets vidéo mapping où il utilise parfois des manettes de console pour contrôler la projection.
Jesse voit un énorme potentiel pour HeavyM dans les expériences interactives et les expositions afin de raconter des histoires plus convaincantes et sensationnelles. En fait, il travaille avec des peintres et des illustrateurs, car le fait d'intégrer le monde physique et tactile dans l'équation rend l'effet encore plus vivant, plus organique. Selon Jesse, "le mélange de l'art traditionnel et du numérique crée une magie particulière. Je fais de la recherche et du développement avec HeavyM depuis environ un an et j'ai l'impression de ne faire qu'effleurer la surface, de toucher à tout un univers de possibilités".
Sa collaboration avec Charlie Jicha a abouti à une peinture réalisée avec de l'encre conductrice. Cette encre est connectée à un Touch Board, qui convertit l'information en MIDI pour HeavyM. Le séquenceur de HeavyM étant contrôlable par MIDI, Jesse a lié certaines parties de la peinture à des séquences spécifiques. Pour animer efficacement des objets en projection mapping, il est essentiel de créer des masques qui correspondent aux formes des surfaces animées.
Sur la base de cette expérience, Jesse James Allen a imaginé et construit l'Ange Séraphin, une sculpture de 2,5 mètres qui a été présentée à Immerse en 2017, un festival artistique immense organisé à Orlando par Creative City Project.
Le Séraphin associe vidéo mapping, capture de mouvements et création sonore pour une expérience interactive immersive. Il s’agit du plus grand projet que Jesse ait réalisé à ce jour avec HeavyM, offrant à tous les spectateurs la possibilité d’entrer en interaction avec l’installation grâce à leurs corps et à leurs voix. Jesse a exploité toute la puissance de HeavyM Live dans ce projet.
La majorité des visuels projetés sont des shaders, contrôlables par le visiteur grâce à la reconnaissance de mouvement via Leap motion et à l’interaction par le toucher avec l’encre conductive. Enfin, le module d’analyse sonore de HeavyM a été utilisé pour réagir au son de la voix des visiteurs via un microphone.
Le vidéo mapping interactif grâce au suivi de mouvement
Digital Essence réalise des installations interactives pour la communication d'entreprise depuis 2014. L'entreprise s'appuie sur la collaboration entre scénographes, infographistes et ingénieurs pour concevoir et mettre en œuvre des systèmes interactifs utilisant la vidéoprojection. Pour le Hacking de l'Hôtel de Ville de Paris 2020, événement dédié à l'innovation numérique, Digital Essence a conçu et réalisé une installation interactive de projection mapping.
L'objectif principal est de mettre en valeur un lieu unique, tout en proposant une animation numérique valorisant l'événement. Ainsi, grâce à la projection mapping, les marches de l'escalier principal réagissent au passage du public en déclenchant des animations vidéo. L'installation offre aux visiteurs une expérience immersive et impactante dont ils se souviendront. Plusieurs projecteurs ont été utilisés pour réaliser des projections de haute qualité qui enrichissent l'engagement du spectateur.
Digital Essence a utilisé une caméra stéréoscopique ZED couplée avec le logiciel de suivi Augmenta pour détecter la présence et la position des personnes dans les escaliers. La fusion des bords a été utilisée pour améliorer la qualité de l'image et l'homogénéité des surfaces projetées.
Ces données sont envoyées à un shader qui est affiché et déformé avec HeavyM afin d'activer/désactiver les escaliers lorsque la personne passe à proximité. Enfin, une vidéo "pluie de paillettes" est diffusée dès qu'une personne est présente dans la zone de détection.
Plus d’informations sur ce projet : lien vers l'article du blog.
Personnaliser les écrans interactifs grâce au vidéo mapping
Autre projet de Digital Essence : une boîte immersive offrant une expérience personnalisée en fonction des choix effectués sur une tablette. Après une série de questions, le visiteur est immergé dans une boîte avec une projection autour de lui. L'expérience peut être personnalisée en fonction du choix des couleurs, de la musique et des destinations. Les animations et la musique varient en fonction des réponses données, afin de garantir une expérience percutante. En outre, des jeux interactifs tels que Virtual Rugby et Virtual Soccer peuvent être intégrés pour renforcer l'engagement grâce à une interaction en temps réel avec le contenu projeté.
Pour la partie technique, l'installation utilise 2 kits Olga, 3 projecteurs Full HD à focale ultra-courte, un ordinateur et une tablette. Avant d'entrer dans le stand, les visiteurs remplissent un formulaire sur une page web affichée sur la tablette. Les réponses sont ensuite saisies dans une base de données et traitées par un programme fonctionnant sur l'ordinateur qui diffuse l'émission. Enfin, ce programme contrôle les vidéos affichées par HeavyM grâce à des messages OSC. La technologie permet également de transformer les murs en écrans interactifs, créant ainsi des expériences immersives sur des surfaces personnalisables à l'aide de diverses méthodes de projection et de jeux interactifs.
Le vidéo mapping interactif sur scène
Pour terminer cette sélection de projets de projection mapping interactif, nous avons choisi de montrer son application dans un contexte scénique. Pour cette performance associant danse et projection vidéo, Diomedi Mattia a mis en place un système de génération d'images en temps réel, basé sur les mouvements des danseurs. La surface de projection joue un rôle crucial dans l'obtention de visuels dynamiques, transformant la scène en une expérience immersive.
Ce ballet interactif a été produit par Laserentertainment en utilisant la technologie Blacktrax et TouchDesigner. Blacktrax est une technologie de suivi de mouvement qui s'appuie sur des LED infrarouges. Les danseurs sont équipés d'un petit circuit électronique composé d'une batterie et de LED dont la lumière est invisible à l'œil humain, mais pas aux caméras spécifiques. Les positions des danseurs peuvent alors être connues grâce à un logiciel de traitement d'images et sont envoyées au logiciel TouchDesigner. Les caractéristiques uniques de cette technologie améliorent la qualité globale et l'efficacité de la performance.
Touchdesigner permet de programmer des générateurs d’image grâce à un système de noeuds à relier entre eux.
L'avenir des projets de vidéo mapping
L'avenir des projets de projection cartographique est incroyablement prometteur, l'interactivité étant appelée à devenir le prochain développement majeur. Dans un avenir proche, nous pourrions assister à des expériences proches de la réalité virtuelle (VR) en utilisant des lunettes spéciales, permettant aux utilisateurs de s'immerger encore plus dans les images projetées. Les technologies qui permettent aux spectateurs d'influencer la projection en temps réel par le son, le toucher et la vue font déjà des vagues, améliorant ainsi l'expérience interactive. Les technologies portables sont également intégrées pour offrir des interactions encore plus personnalisées et attrayantes. Cependant, certains défis doivent être relevés, tels que le coût et le temps de production nécessaires à la création de ces écrans sophistiqués. Le processus de production nécessite souvent une collaboration entre différents services et un investissement important. Pour surmonter ces obstacles, il faudra continuer à innover et à investir, mais les bénéfices potentiels en termes de création d'expériences véritablement immersives sont immenses.
Conclusion
Cette sélection de projets de projection cartographique interactive donne un aperçu des applications et des possibilités, mettant en évidence le potentiel de création d'une expérience immersive. Ces possibilités sont en effet très vastes et se développeront de plus en plus dans les années à venir. La technologie joue un rôle essentiel dans l'art interactif car elle fait partie intégrante des systèmes de capteurs qui permettent l'interaction. L'accessibilité des outils informatiques est donc essentielle pour la croissance et la multiplication des œuvres dans cette discipline. HeavyM, par sa facilité d'utilisation et sa polyvalence, permet la réalisation de projections interactives en quelques clics.
FR 
EN 
ES 
DE 
IT 
PT 
CN 
KR 
JA 
RU