Créer une projection interactive avec l’Open Sound Control

projection interactive pour la danse

Impressionnante performance de Hakanaï par Adrien M & Claire B

L’art interactif

L’art interactif est une forme d’art dynamique qui réagit à son public ou à son environnement. Les œuvres se présentent généralement sous la forme d’installations auxquelles le public peut prendre part. Elles peuvent aussi se vivre à travers des performances pendant lesquelles un ou des artistes réalisent des actions.

L’art interactif est apparu à la fin des années 50 suite à la volonté d’artistes d’exposer dans des lieux moins exclusifs que des musées ou des galeries. La rue ou le magasin deviennent alors des espaces d’expression afin de proposer des expériences plus participatives et inclusives. Les participants ne sont plus spectateurs et leur rôle peut alors se rapprocher de celui d’acteur..

Les premiers exemples d’art interactif sont des sculptures que l’on pouvait toucher et avec lesquelles on pouvait jouer. Par exemple, Niki de Saint Phalle a produit Golem, une sculpture monumentale qui comporte un toboggan utilisable par les enfants. Autre exemple, en 1971 Gordon Matta-Clark a cuit un cochon sous le Brooklyn Bridge et a servi 500 sandwichs dans le cadre de la performance.

Golem - Niki de Saint Phalle

Certains événements d’entreprise mettent en œuvre ces procédés, par exemple dans le cadre de lancement de produits, afin d’engager leurs audiences pour leur laisser un souvenir mémorable ou leur proposer une expérience personnalisée.

coca cola - marketing interactif

D’un point de vue technique, les performances ou les installations interactives ont de plus en plus recours à l’informatique et à la projection interactive. Des capteurs sont utilisés en combinaison avec des ordinateurs afin que les événements du monde réel puissent être interprétés par des programmes puis retranscrits, par exemple en sons ou en images..

L’Open Sound Control (OSC) pour la projection interactive

L'art interactif est basé sur le dialogue entre plusieurs entités. Généralement, ces entités ne sont pas nativement conçues pour dialoguer entre elles. Par exemple, un logiciel de musique et un logiciel de vidéo installés sur le même ordinateur, un Mac et un PC sur un même réseau, ou alors un être humain et une machine dans la même pièce.

Pour faciliter les échanges entre les différents logiciels et matériels, il existe des normes. On parlera de protocoles réseaux, comme l’UDP ou le TCP, pour désigner les règles qui régissent les interactions entre les différentes entités sur un même réseau. Parmi les normes utilisées, il y a aussi l’ Open Sound Control qui est un format de transmission et qui s’appuie sur l’UDP ou le TCP.

Les protocoles peuvent être comparés à des règles dans une discussion, par exemple ne pas se couper la parole. Les formats peuvent être comparés à la grammaire d’une langue, par exemple le fait de commencer une phrase par le sujet. Si tout le monde respecte les mêmes normes, tout le monde se comprend !!

L’Open Sound Control est un format inspiré du MIDI (Musical Instrument Digital interface) utilisé dans les communications entre instruments de musique depuis les années 1980. Il reprend donc cette idée de connectivité entre instruments et logiciels, à travers l’échange de messages, mais en apportant des améliorations conséquentes. L’OSC peut utiliser une connexion réseau comme Internet ou un réseau local, il peut transporter davantage d’informations et il propose un fonctionnement par adresses, similaires à des chemins de fichiers.

A la base pensé pour des applications musicales, l’OSC est aujourd’hui devenu une norme utilisée par des centaines de logiciels. Il ne se limite plus à des données audio et il est capable de transporter des images ou des informations pour du tracking de mouvements pour des projections interactives par exemple..

Quelques exemples de logiciels d’art interactif compatible avec l’Open Sound Control : PureData, Vézer, IanniX, Chataigne, Max/MSP, OpenFrameworksProcessing, HeavyM,TouchDesigner...

HeavyM et programme interactif

En fonction de leurs usages, ces logiciels vous permettent de contrôler avec des données externes une projection interactive générée avec HeavyM par exemple. Deux logiciels ont retenu notre attention, il s’agit de Vezer sur Mac et Châtaigne sur PC. Avec ces outils vous pouvez piloter HeavyM à l’aide d’oscillateurs ou de courbes de variations que vous dessinez à l’avance. 

vezer-interface
chataigne-interface

Concernant les interactions entre les humains et les ordinateurs, on parlera d’IHM pour Interface Homme-Machine. Les IHM sont les surfaces visibles des logiciels et ils permettent aux utilisateurs de manipuler les fonctionnalités. D’ailleurs vous êtes en ce moment en train d’utiliser l’IHM de votre navigateur internet, qui vous permet de lire ces lignes. La partie cachée du navigateur permet d’échanger des informations avec les autres ordinateurs et serveurs composant Internet.

Hexler développe TouchOSC, un outil de construction d’IHM pour envoyer des messages OSC. Grâce à TouchOSC, vous pouvez créer des applications, utilisables sur tablettes et smartphones, afin de contrôler les logiciels compatibles avec l’OSC. Découvrez ici les informations techniques pour connecter TouchOSC à HeavyM.

Pour vous simplifier l'utilisation de TouchOSC avec HeavyM, nous vous proposons des interfaces déjà conçues, à télécharger ici. Elles reprennent les principales fonctionnalités du logiciel et vous n'avez qu'à les installer sur votre tablette pour pouvoir contrôler HeavyM à distance.

Enfin, en plus des logiciels, il est possible d’utiliser des périphériques capables de piloter des logiciels en OSC. C’est le cas par exemple du Stream Deck créé par Elgato. Ce boîtier permet de contrôler simplement les fonctionnalités d’un logiciel de projection interactive en y assignant une touche. Le principal avantage de ce système est que les touches sont des écrans miniatures et que vous pouvez donc y afficher une icône. C’est très simple pour s’y retrouver !

pont de rivière

Exemple : comment Data Flaw a créé une projection interactive en utilisant l’Open Sound Control ?

Romain Astouric, aka Data Flaw est passionné par la révolution numérique que nous vivons. Elle touche tous les domaines artistiques, avec la production de plus en plus d’œuvres utilisant la technologie dans la musique, les arts visuels et plus particulièrement l’art interactif. La technologie se démocratise et est aujourd’hui à portée de clic. Les artistes ont maintenant accès à des outils abordables et faciles à prendre en main pour des projections interactives.

Data Flaw, en tant que creative technologist, enseigne le code et l’utilisation de la technologie à des fins créatives à l’ ESME Sudria, une école d’ingénieurs à Paris. Il trouve son inspiration dans le travail d’artistes comme 1024 Architecture, Joanie Lemercier, ou le collectif Scale. Dans son travail artistique, Data Flaw utilise régulièrement le vidéo mapping et se réjouit de son ouverture à un public plus large grâce à des outils comme HeavyM.

Pour son projet au Makerlab du Centre de Recherche Interdisciplinaire de Paris, Data Flaw a intégré une notion d’interactivité pour intégrer le spectateur dans l'œuvre. L’approche souhaitée est à la fois esthétique et ludique. Le public devient donc acteur de l’installation et prend conscience des conséquences de ses actions sur le résultat affiché sous la forme d’une projection interactive.

projection interactive - dataflaw

L’installation est une surface de projection réalisée avec des outils d’impression et de découpage numériques, sur laquelle sont projetées des animations visuelles générées par le logiciel HeavyM L’artiste a utilisé un accessoire populaire, une manette de Playstation 5, connectée à HeavyM en OSC, grâce à un programme créé avec Processing..

OSC-interface-dataflaw

La manette permet de déclencher divers ensembles d’effets et de séquences. Par exemple, il peut contrôler la couleur des formes et leurs couleurs à l’aide des joysticks. Quiconque peut ainsi créer facilement de magnifiques assemblages de couleurs en direct. La palette de couleurs et les nombreux gradients s’inspirent d’un jeu vidéo en particulier : Hyper Light Drifter.

Pièce d'art interactive - Effets visuels HeavyM
Art interactif - Effets HeavyM

Contrairement à un objet tangible, un code informatique n’est jamais terminé. Il y a toujours des fonctionnalités à améliorer ou de nouveaux bugs à corriger. C’est ce que Data Flaw affectionne particulièrement. Pour ses projets, il a toujours besoin de peaufiner, avec de nombreux allers-retours, de tests et d’essais. En cela, HeavyM est indispensable dans son processus créatif, que ce soit dans les phases de prototypage ou lors des ajustements finaux..

Avec HeavyM quelques clics suffisent pour retoucher la projection interactive, modifier ou ajouter des formes sans avoir à recommencer entièrement ou à passer par une étape de rendu. C’est un outil souple mais puissant, sans complexité inutile..

La démocratisation de la technologie permet aujourd’hui à une multitude d’artistes d’exprimer leurs talents créatifs. De plus en plus d’installations interactives voient le jour et le public est en demande de ce type d’expériences, à la fois esthétiques et ludiques. Pour vous inspirer, retrouvez des exemples de réalisations sur le site de Design Boom ou Trend Hunter..

A suivre!

En savoir plus sur les projecteurs

Nous avons créé un guide détaillé pour choisir le projecteur adapté à vos besoins. Découvrez nos conseils et les erreurs à éviter dans ce guide qui explique les différentes caractéristiques étape par étape.

Explorer le logiciel HeavyM

HeavyM est un logiciel de vidéo mapping qui est capable de générer des effets visuels et de les projeter sur des volumes, des décors ou des éléments architecturaux. HeavyM est compatible avec Mac et Windows..