Comment créer des effets visuels pour une performance live ?
Quelques références de performances live
Si vous êtes fan de musique électronique, vous avez déjà dû remarquer que de plus en plus d’artistes et de festivals mettent l’accent sur la décoration scénique. Elle se compose généralement d’éléments de décors fixes, parfois mêlés à de la vidéoprojection et des écrans LED. Des évènements comme le Tomorrowland ou le Dour festival en sont de très bons exemples. Du côté des artistes nous pouvons citer, parmi les plus connus, des noms comme Amon Tobin, Aphex Twin ou Eric Prydz. Ils ont été des pionniers dans l’utilisation de visuels réactifs à la musique sur une scène à grande échelle.
Cependant, la mise en place de telles installations nécessite des temps de conception longs et la collaboration avec une équipe créative dédiée. En effet, la résolution importante des images à manipuler et leur capacité à réagir à la musique sont des problèmes complexes à résoudre. Pour garantir une parfaite synchronisation entre le son et les images lors d’une performance live, les temps de latence doivent être les plus courts possibles. De plus, il est souvent nécessaire d’utiliser plusieurs ordinateurs en réseau et de les synchroniser entre eux. Aux compétences créatives s’ajoutent alors un véritable savoir-faire technique. L’ensemble des procédés à maîtriser peut se regrouper sous le terme de technologies VJ et se décompose en techniques comme l’infographie, la programmation informatique, le traitement du signal audio et vidéo, la captation en direct...
Dans cet article, le but est de démontrer que finalement la création de visuels réactifs à la musique pour des performances scéniques de petite et moyenne ampleur n’est pas si hors de portée que l’on peut le croire. Avec des logiciels accessibles et du matériel abordable, il est tout à fait envisageable de construire une performance live audiovisuelle sans y consacrer des semaines de travail. Pour illustrer les propos, les artistes Control Random, Neurotypique, Marin Scart et Jean-Michel Light ont partagé les étapes de conception de leur dernière performance dans une carrière de calcaire.
Les points d’attention pour des effets visuels en live : le FPS et la latence.
Lors de la création de visuels réactifs à la musique pour une performance live, les deux points d’attention sont la fluidité des animations visuelles et le latence entre la musique et la vidéo..
Il est absolument nécessaire que les images soient générées au rythme d’au moins 24 images par seconde. Cette donnée est appelée le framerate et est exprimée en FPS (frames per second). Si vous êtes en dessous de cette valeur, par exemple à 12 images par seconde, toutes les animations apparaîtront saccadées. Dans le cas d’animations rapides, il est souvent nécessaire de viser une valeur au-dessus de 24 FPS : 30 ou même 60 FPS..
Par exemple, dans les jeux vidéo avec des animations très rapides, les joueurs privilégient le framerate à la résolution pour ne louper aucun événement: meilleure expérience à 60 FPS en Full HD plutôt qu’à 30 FPS en 4K. Un compromis est donc à trouver entre une meilleure résolution ou un meilleur FPS.
Plus l'ordinateur est sollicité pour des traitements gourmands en ressources, comme des effets visuels ou de la lecture simultanée de plusieurs vidéos en HD, plus le nombre de FPS aura tendance à baisser. Il est généralement possible d’afficher le nombre de FPS à travers les réglages de votre carte graphique ou ceux du logiciel utilisé. C’est ensuite à vous de trouver le meilleur équilibre entre la complexité des visuels et la valeur limite de FPS en dessous de laquelle il ne faut pas descendre lors de votre performance live.
Pour la latence, il s’agit du délai entre un événement dans la musique et sa répercussion en images. Par exemple, à chaque “kick” dans la musique vous souhaitez associer un effet visuel de déformation audioréactif. Comme règle générale nous pouvons dire que deux événements apparaîtront instantanés pour l’humain si le délai qui les sépare est inférieur à 100 ms. Il n’y a pas de règle absolue concernant une valeur à respecter mais un délai supérieur à 100 ms sera considéré comme perceptible. Plus le FPS sera faible et plus la latence sera importante dans vos effets visuels réactifs à la musique.
Dans le cas d’un concert ou d’un DJ set, lorsque la musique est diffusée en live et donc non pré-enregistrée, elle sera toujours maître par rapport aux images. Il n’est pas possible de la ralentir pour qu’elle coïncide avec les animations visuelles. Ce sont donc les images qui doivent s’adapter pour ne pas apparaître en décalage. Soit vous diminuez les effets activés pour ne pas ralentir l’ordinateur, soit vous prévoyez d’utiliser un modèle plus puissant.
Une technique courante mise en œuvre par beaucoup de vidéo jockeys (VJ) est de diviser le système en deux parties : des clips vidéos pré-rendus sont lus puis mixés entre eux et associés à des effets visuels réactifs à la musique, ou non, appliqués en direct. Il est alors nécessaire que tous les clips vidéos utilisés soient au même FPS pour que le VJ puisse ajuster leur vitesse en fonction de la musique jouée.
Un exemple de performance live utilisant des visuels réactifs à la musique
L' La performance Stone Mine Mapping est pensée pour explorer les interactions entre le son et l’image et questionner la place du spectateur. Il s’agit d’une performance audiovisuelle en temps réel au cours de laquelle la musique et l’image sont créées en direct.
Control Random, Neurotypique et Marin Scart ont été motivés par l’idée d’une réalisation qui ne pourrait pas être répétée exactement deux fois. Leur souhait collectif était de créer un projet multidisciplinaire qui allait au-delà de l’expérience et du savoir-faire de chaque artiste. Prenant conscience d’être entourés de roches sédimentaires, ils ont voulu interroger le passé, le présent et l’avenir de ce matériau, les différents états qu’il avait traversés et se projeter dans son avenir. Dans ce parcours en 5 parties, les visuels réactifs à la musique sont liés au son à l’aide d’informations audio et CV, générant des événements dans les logiciels de création d’images.
Les artistes de la performance live
La musique est créée en direct par Control Random en utilisant un système de synthétiseurs modulaires Eurorack. Ses compositions, majoritairement exécutées en live, sont à retrouver sur ses comptes Instagram et Bandcamp .
Marin Scart et Neurotypique de Maison Sagan ont créé un système de génération d’image composé d’une partie analogique sur des synthétiseurs modulaires et d’une partie informatique avec les logiciels TouchDesigner HeavyM.
Enfin, Jean-Michel Light a ajouté des lumières contrôlées en DMX afin de mieux appréhender l’espace de la carrière.
En pratique : les solutions utilisées pour le effets visuels de la performance live
Pour créer des visuels en rythme avec la musique, Neurotypique et Marin Scart ont interconnecté entre eux les différents éléments du système. Les synthétiseurs modulaires de Control Random sont des instruments électro-analogiques qui génèrent des ondes sonores à partir d’oscillateurs. Les différents signaux générés sont envoyés aux modules de Neurotypique qui vont ensuite effectuer des opérations de filtrage et d’extinction/allumage. Puis, les signaux analogiques sont convertis en signaux numériques pour être interprétés par l’ordinateur de Marin. Touchdesigner peut ainsi générer des effets visuels réactifs à la musique, ensuite modifiés avec des shaders appliqués par HeavyM et contrôlés en direct avec un instrument MIDI. Enfin, le signal vidéo est envoyé à un deuxième ordinateur qui va effectuer le mapping, c’est-à-dire le positionnement des effets visuels sur les parois de la pièce.
Schéma du système de la performance live
La source sonore : des synthétiseurs modulaires
Il s’agit d’assemblages de modules indépendants où chacun remplit une fonction élémentaire : oscillateur, filtre, effet,... Les possibilités de combinaison sont infinies et permettent aux artistes de produire une musique qui leur est propre. Control Random et Neurotypique ont utilisé le système Eurorack qui est un standard de format de synthétiseurs modulaires. L’ensemble des modules disponibles sont consultables sur le site Grille modulaire . Il en existe plus de 11 000 !
Bien entendu, il n’est pas indispensable d’utiliser des synthétiseurs modulaires pour créer des effets visuels en rythme avec la musique. Vous pouvez utiliser n’importe quelles sources : une table de mixage de DJ, la prise jack d’un ordinateur, ou même un micro de captation.
Les ordinateurs
Afin de conserver un framerate proche des 60 FPS pour éviter tout problème de latence lors de la performance live, les artistes ont fait le choix d'utiliser deux ordinateurs. Cette configuration permet de mieux répartir les traitements et de diviser la charge de travail entre les machines. Les autres avantages de cette solution sont qu’elle permet de travailler en binôme sans se gêner et d'identifier plus facilement les problèmes pendant la préparation de la performance.
L'ordinateur des effets visuels
L’ordinateur vers lequel sont envoyées les informations audio est un PC tour avec Windows 10, un processeur Intel i7, une carte graphique Nvidia Geforce GTX 1650 et 16Go de RAM.
Touchdesigner et HeavyM sont exécutés sur cet ordinateur.
L’ordinateur de déformation d’images
L’ordinateur du vidéo mapping, qui permet d’adapter les images à l’espace, est un PC portable avec Windows 10, un processeur Intel i5, une carte graphique Nvidia Geforce GTX 1050 et 8Go de RAM.
Uniquement HeavyM est exécuté sur cet ordinateur.
Pour davantage de conseils concernant les spécifications à prévoir pour un ordinateur de vidéo mapping, rendez-vous sur l’article dédié aux ordinateurs.
Le projecteur
Le vidéoprojecteur utilisé est un Optoma WU630 6000 lumens Full HD avec une optique courte focale de ratio 0.9.
Pour davantage de conseils sur le choix d’un vidéoprojecteur, rendez-vous sur l’article dédié aux vidéoprojecteurs.
les lumières LED
Les lumières utilisées pour éclairer les tunnels sur les côtés sont des Astera Titan Tube sur batterie.
Les logiciels d’effets visuels audio réactifs
Touchdesigner
Neurotypique et Marin Scart ont programmé leur propre composition sur le logiciel Touchdesigner.
Développé par Derivative, Touchdesigner permet de créer des effets visuels temps réel à l’aide d’un système de programmation nodale. Le force de Touchdesigner est l’infinité des combinaisons possibles, associée à un pipe graphique parfaitement adapté pour les performances live. Un temps de prise en main est cependant nécessaire pour obtenir exactement ce que l’on souhaite.
HeavyM
HeavyM est développé par Digital Essence et permet en quelques clics de créer des effets réactifs à la musique. Dans le projet Stone Mine Mapping, HeavyM a été utilisé à deux niveaux. Le premier est l’utilisation de shaders d’effets de traitement, sur la sortie vidéo de Touchdesigner. Le deuxième est la déformation de l’image globale pour l’adapter à l’espace de projection.
HeavyM intègre directement des fonctionnalités d’analyse audio afin de vous donner la possibilité de faire réagir les effets visuels à une musique jouée. Il vous suffit pour cela de relier l’ordinateur à une source audio avec un câble jack par exemple. Vous pouvez aussi utiliser une carte son externe.
Communication entre les éléments de la performance
Pour générer des visuels réactifs à la musique, les différents éléments matériels et logiciels doivent nécessairement échanger des informations.
Les synthétiseurs modulaires envoient les informations audio à travers un module particulier : le ES-9 Expert Sleepers. Il s’agit d’un convertisseur analogique-numérique qui permet de convertir les signaux électriques en données numériques compréhensibles par Touchdesigner. Il n’est pas obligatoire de posséder ce type de matériel car HeavyM intègre directement des fonctionnalités d’analyse audio afin de vous donner la possibilité de faire réagir les effets visuels à une musique jouée. Il vous suffit pour cela de relier l’ordinateur à une source audio avec un câble jack par exemple. Vous pouvez aussi utiliser une carte son externe.
Une fois les informations musicales reçues, Touchdesigner génère les animations visuelles et les envoie à HeavyM avec une liaison Spout . Il s’agit d’une technologie qui permet d’envoyer la sortie vidéo d’un logiciel vers un autre. HeavyM réceptionne la vidéo et, à l’aide d’un contrôleur MIDI, Marin Scart applique des effets visuels supplémentaires. La sortie de HeavyM est ensuite transmise à une autre instance de HeavyM sur le deuxième ordinateur grâce à la technologie NDI. Elle permet de diffuser un flux vidéo sur un réseau avec un minimum de latence. Enfin, HeavyM modifie la géométrie de la vidéo pour l’envoyer au vidéoprojecteur qui l’affiche dans l’espace de la performance live.
Pour compléter la vidéoprojection, des lumières LED ont été ajoutées sur les côtés. Elles reprennent les mêmes couleurs que la projection. Les signaux de contrôle des lumières sont des messages DMX envoyés sur un réseau Wifi depuis Touchdesigner.
C’est à vous !
La création de visuels réactifs à la musique pour une performance live demande quelques connaissances techniques que l’on peut facilement trouver sur internet. D’un autre côté, le matériel nécessaire est de plus en plus accessible, en termes de coût et de compréhension. Le projet Stone Mine Mapping pourrait apparaître complexe à premier abord mais il a l’avantage de proposer une vue d’ensemble sur les outils et techniques disponibles. Il est tout à fait possible d’envisager un système beaucoup plus simple se réduisant à un seul ordinateur et des enceintes. Beaucoup de performeurs audiovisuels se contentent d’effectuer des manipulations “à l’oreille” en fonction de la musique entendue, sans forcément créer une liaison audio-vidéo. Le résultat peut parfois être plus pertinent que de laisser l’ordinateur décider par lui-même.
A suivre!
En savoir plus sur les projecteurs
Nous avons créé un guide détaillé pour choisir le projecteur adapté à vos besoins. Découvrez nos conseils et les erreurs à éviter dans ce guide qui explique les différentes caractéristiques étape par étape.
Explorer le logiciel HeavyM
HeavyM est un logiciel de vidéo mapping qui est capable de générer des effets visuels et de les projeter sur des volumes, des décors ou des éléments architecturaux. HeavyM est compatible avec Mac et Windows..
FR 
EN 
ES 
DE 
IT 
PT 
CN 
KR 
JA 
RU