Créer un vidéo mapping intéractif avec l'OSC
Impressionnante performance de Hakanaï par Adrien M & Claire B
Qu'est-ce que le vidéo mapping ?
Le mapping par projection, également connu sous le nom de mapping vidéo ou de réalité augmentée spatiale, est une technologie révolutionnaire qui transforme des surfaces ordinaires en écrans dynamiques en y projetant du contenu numérique. Cette technique a révolutionné divers domaines, notamment le marketing, le divertissement et l'éducation, en créant des expériences visuelles hypnotiques qui captivent le public. Qu'il s'agisse de véhiculer des messages de marque, de créer des décors de scène uniques, de décorer les murs et les plafonds ou d'évoquer des émotions, la cartographie par projection offre des possibilités infinies. En transformant n'importe quelle surface en toile, elle permet aux artistes et aux créateurs de repousser les limites de la narration visuelle et de créer des expériences immersives qui laissent une impression durable.
Comment fonctionne la cartographie par projection ?
Le mapping par projection consiste à utiliser un logiciel spécialisé pour cartographier un contenu numérique sur une surface physique, le transformant ainsi en un affichage vibrant. Le processus commence par la planification du concept et la sélection ou la création de l'objet à projeter. À l'aide d'un logiciel de programmation virtuelle, le contenu vidéo est méticuleusement mappé sur les surfaces de l'objet. Dans les flux de travail de mappage 2D, les images ou les vidéos sont assignées à des masques qui correspondent aux surfaces de l'objet. Pour le mapping 3D, la scène est recréée dans un logiciel 3D spécialisé et la version virtuelle des objets est projetée sur leurs contreparties réelles. Cela implique de définir des coordonnées précises pour l'emplacement de l'objet par rapport au vidéoprojecteur, en tenant compte de l'orientation XYZ du projecteur, de sa position et des spécifications de l'objectif. Le résultat est une intégration transparente du contenu numérique dans le monde physique, créant une expérience visuelle impressionnante.
Qu'est-ce que l'art interactif ?
L'art interactif est une forme d'art dynamique qui réagit à son public ou à son environnement. Les œuvres sont généralement présentées sous la forme d'installations auxquelles le public peut participer. Elles peuvent également être expérimentées par le biais de performances au cours desquelles un ou plusieurs artistes exécutent des actions. Les écrans interactifs sont des outils polyvalents utilisés dans diverses applications telles que la publicité, l'éducation et l'événementiel, qui renforcent l'engagement des utilisateurs et la notoriété de la marque.
L'art interactif est apparu à la fin des années 1950 suite à la volonté des artistes d'exposer dans des lieux moins exclusifs que les musées ou les galeries. Les rues et les magasins deviennent des espaces d'expression afin de proposer des expériences plus participatives et inclusives. Les participants ne sont plus spectateurs et leur rôle peut alors s'apparenter à celui d'un acteur.
Les premiers exemples d'art interactif étaient des sculptures que l'on pouvait toucher et avec lesquelles on pouvait jouer. Par exemple, Niki de Saint Phalle a réalisé Golem, une sculpture monumentale dotée d'un toboggan avec lequel les enfants peuvent jouer. Autre exemple, en 1971, Gordon Matta-Clark a fait cuire un cochon sous le pont de Brooklyn et a servi 500 sandwiches dans le cadre de la performance. Les jeux interactifs sont un élément clé de l'art interactif, engageant les utilisateurs de tous âges grâce au suivi des mouvements et aux options de projection interactives personnalisables.
Certains événements d'entreprise mettent en œuvre ces processus, par exemple lors du lancement d'un produit, afin d'impliquer leurs publics et de leur laisser un souvenir mémorable ou de leur offrir une expérience personnalisée.
D'un point de vue technique, les performances ou installations interactives font de plus en plus appel à l'informatique et à la projection interactive. Des capteurs sont utilisés en combinaison avec des ordinateurs afin que les événements du monde réel puissent être interprétés par des programmes et ensuite transcrits, par exemple, en sons ou en images. Les systèmes interactifs intègrent la technologie et l'art pour créer des installations immersives qui réagissent aux mouvements du public et enrichissent les événements d'éléments visuels dynamiques.
Open Sound Control (OSC) pour les écrans interactifs
L'art interactif est basé sur le dialogue entre plusieurs entités. Généralement, ces entités ne sont pas nativement conçues pour dialoguer entre elles. Par exemple, un logiciel de musique et un logiciel vidéo installés sur le même ordinateur, un Mac et un PC sur le même réseau, ou un être humain et une machine dans la même pièce.
Des normes existent pour faciliter les échanges entre les différents logiciels et matériels. On parle de protocoles de réseau, comme UDP ou TCP, pour désigner les règles qui régissent les interactions entre les différentes entités d'un même réseau. Parmi les normes utilisées, il y a aussi Open Sound Controlqui est un format de transmission basé sur UDP ou TCP.
Les protocoles peuvent être comparés aux règles d'une discussion, comme le fait de ne pas se couper la parole. Les formats peuvent être comparés à la grammaire d'une langue, par exemple commencer une phrase par le sujet. Si tout le monde suit les mêmes normes, tout le monde se comprend !
L’Open Sound Control est un format inspiré du MIDI (Musical Instrument Digital Interface) utilisé dans les communications entre instruments de musique depuis les années 1980. Elle reprend cette idée de connectivité entre instruments et logiciels par l'échange de messages, mais avec des améliorations significatives. OSC peut utiliser une connexion réseau telle que l'Internet ou un réseau local, il peut transporter plus d'informations et offre un système basé sur les adresses similaires aux chemins d'accès aux fichiers.
Conçu à l'origine pour les applications musicales, l'OSC est devenu un standard utilisé par des centaines de logiciels. Il n'est plus limité aux données audio et est capable de transporter des images ou des informations pour le suivi des mouvements, pour les projections interactives par exemple. OSC peut également être utilisé pour synchroniser des effets sonores avec des éléments visuels, améliorant ainsi l'expérience sensorielle globale de la projection interactive.
Logiciels et outils de projection cartographique pour l'art interactif
Il existe de nombreux logiciels et outils de projection cartographique, chacun offrant des caractéristiques et des capacités uniques pour répondre aux différents besoins des projets. Les logiciels les plus populaires sont Resolume, HeavyM et TouchDesigner, qui offrent une gamme d'outils tels que des fonctions de glisser-déposer, des outils de déformation et de fusion des bords pour créer des projections complexes et immersives. Ces plateformes offrent également des fonctions avancées telles que le suivi des mouvements, la modélisation 3D et le rendu en temps réel, ce qui permet de créer des affichages hautement interactifs et dynamiques. Lors du choix du logiciel, il est essentiel de prendre en compte les exigences spécifiques du projet, notamment le type de surface de projection, la taille de la projection et le niveau d'interactivité souhaité. En choisissant les bons outils, les créateurs peuvent donner vie à leur vision et offrir des expériences visuelles époustouflantes.
Quelques exemples de logiciels d'art interactif compatibles avec Open Sound Control : PureData, Vézer, IanniX, Chataigne, Max/MSP, OpenFrameworks, Processing, HeavyM, TouchDesigner, Augmenta...
Selon leur utilisation, ces logiciels permettent de contrôler une projection interactive générée avec HeavyM à l'aide de données externes, par exemple. Deux logiciels ont retenu notre attention : Vézer pour Mac et Chataigne pour PC. Ces outils permettent de piloter HeavyM à l'aide d'oscillateurs ou de courbes de variation que vous aurez préalablement dessinés.
En ce qui concerne les interactions entre l'homme et l'ordinateur, on parle d'IHM pour interface homme-machine. Les IHM sont les surfaces visibles des logiciels, et elles permettent aux utilisateurs de manipuler les fonctionnalités. En fait, vous utilisez actuellement l'IHM de votre navigateur Internet, qui vous permet de lire ces lignes. La partie cachée du navigateur vous permet d'échanger des informations avec d'autres ordinateurs et serveurs sur Internet.
L’éditeur Hexler développe TouchOSCTouchOSC est un outil permettant de construire des IHM pour envoyer des messages OSC. Avec TouchOSC, vous pouvez créer des applications, utilisables sur tablettes et smartphones, pour contrôler des logiciels compatibles OSC. Découvrez ici les informations techniques pour connecter TouchOSC à HeavyM.
Pour vous simplifier l'utilisation de TouchOSC avec HeavyM, nous vous proposons des interfaces déjà conçues, à télécharger ici. Ces interfaces intègrent les principales fonctionnalités du logiciel, et il vous suffit de les installer sur votre tablette pour contrôler à distance HeavyM.
Enfin, en plus des logiciels, il est possible d'utiliser des dispositifs capables de piloter des logiciels avec OSC. C'est le cas, par exemple, de l'appareil Stream Deck créé par Elgato. Ce dispositif permet de contrôler simplement les fonctionnalités d'un logiciel de projection interactive par l'attribution d'une touche. Le principal avantage de ce système est que les touches sont des écrans miniatures et que vous pouvez donc y afficher une icône. C'est très simple à utiliser !
Exemple : comment Data Flaw a créé des expériences immersives en utilisant Open Sound Control ?
Romain Astouric, alias Data Flaw, est passionné par la révolution numérique dans laquelle nous vivons**. Elle touche tous les domaines artistiques, avec la production de plus en plus d'œuvres utilisant la technologie dans la musique, les arts visuels et surtout l'art interactif. La technologie s'est démocratisée et est désormais à portée de clic. Les artistes ont désormais accès à des outils abordables et faciles à utiliser pour les projections interactives. Pour parvenir à une intégration transparente de la vidéo sur les surfaces, il est essentiel de créer des masques qui correspondent à la forme des objets animés.
Data Flaw, en tant que creative technologist, enseigne le code et l’utilisation de la technologie à des fins créatives à l’ ESME Sudria, une école d’ingénieurs à Paris. Il trouve son inspiration dans le travail d’artistes comme 1024 ArchitectureJoanie Lemercier, et les collectif ScaleDans son travail artistique, Data Flaw utilise régulièrement le vidéo mapping et se réjouit de son ouverture à un public plus large grâce à des outils comme HeavyM.
Pour son projet au Makerlab de l'Université de Paris Centre de Recherche Interdisciplinaire de ParisData Flaw a intégré une notion d'interactivité afin d'inclure le spectateur dans l'œuvre. L'approche recherchée est à la fois esthétique et ludique. Le public devient acteur de l'installation et prend conscience des conséquences de ses actions sur le résultat affiché sous forme de projection interactive. Les murs interactifs peuvent transformer diverses surfaces en écrans entièrement interactifs, ce qui renforce l'engagement de l'utilisateur et crée des expériences immersives.
L'installation est une surface de projection réalisée à l'aide d'outils d'impression et de découpe numériques, sur laquelle sont projetées des animations visuelles générées par le logiciel HeavyM. L'artiste a utilisé un accessoire populaire, une manette de PlayStation 5, connectée à HeavyM via OSC, par l'intermédiaire d'un programme créé avec Processing. Les projets de vidéo mapping peuvent transformer les espaces en intégrant le mouvement et le son, permettant aux participants d'interagir avec les installations artistiques.
Le joystick peut déclencher différents ensembles d'effets et de séquences. Par exemple, il est possible de contrôler les formes et leurs couleurs à l'aide des joysticks. N'importe qui peut facilement créer de magnifiques combinaisons de couleurs en direct. La palette de couleurs et les nombreux dégradés sont inspirés d'un jeu vidéo particulier : Hyper Light Drifter. Les vidéoprojecteurs sont essentiels pour créer des environnements immersifs qui répondent aux interactions du public, facilitant ainsi des expériences visuelles uniques.
Contrairement à un objet tangible, le code informatique n'est jamais terminé. Il y a toujours des fonctionnalités à améliorer ou de nouveaux bugs à corriger. C'est ce que Data Flaw aime particulièrement. Pour ses projets, il a toujours besoin de peaufiner, avec beaucoup d'allers-retours, de tests et d'essais. HeavyM est un élément indispensable de son processus créatif, tant dans la phase de prototypage que dans les ajustements finaux.
Avec HeavyM, vous pouvez éditer la projection interactive, modifier ou ajouter des formes en quelques clics sans avoir à recommencer ou à passer par une étape de rendu. Il s'agit d'un outil flexible et puissant, sans complexité inutile.
La démocratisation de la technologie permet aujourd'hui à une multitude d'artistes d'exprimer leurs talents créatifs. De plus en plus de nstallations interactives voient le jour, et le public est en demande de ce type d'expérience, à la fois esthétique et ludique. Pour vous inspirer, vous pouvez trouver des exemples de créations sur Design Boom ou Chasseur de tendances.
L'avenir de la cartographie interactive par projection
L'avenir de la cartographie interactive par projection est incroyablement prometteur, les avancées technologiques et logicielles ouvrant la voie à des expériences plus complexes et immersives. L'interactivité est appelée à devenir la prochaine frontière du projection mapping, avec des technologies qui permettent aux spectateurs d'influencer le mapping en temps réel par le son, le toucher et la vue, et qui font déjà des vagues. Les technologies portables améliorent l'expérience interactive, et l'intégration de l'intelligence artificielle et de l'apprentissage automatique devrait encore améliorer la technologie. Malgré les difficultés liées au coût et au temps de production, le potentiel de création d'expériences uniques et mémorables est immense. Alors que la technologie continue d'évoluer, la cartographie interactive par projection jouera sans aucun doute un rôle central dans le façonnement de l'avenir de la narration visuelle et des expériences immersives.
A suivre!
En savoir plus sur les projecteurs
Nous avons créé un guide détaillé pour choisir le projecteur adapté à vos besoins. Découvrez nos conseils et les erreurs à éviter dans ce guide qui explique les différentes caractéristiques étape par étape.
Explorer le logiciel HeavyM
HeavyM est un logiciel de vidéo mapping capable de générer des effets visuels et de les projeter sur des volumes, des décors ou des éléments architecturaux. HeavyM est compatible avec Mac et Windows.
FR 
EN 
ES 
DE 
IT 
PT 
CN 
KR 
JA 
RU