Création de visuels musicaux : Comment améliorer les performances musicales

Quelques références de performances live

Si vous êtes un fan de musique électronique, vous avez probablement déjà remarqué que de plus en plus d'artistes et de festivals se concentrent désormais sur la décoration de scène. Il se compose généralement d'éléments de décor fixes, parfois associés à des projections vidéo et à des écrans LED. Des arrière-plans personnalisés ou en stock sont souvent intégrés pour améliorer l'attrait visuel et l'image de marque des performances live. Des événements tels que Tomorrowland ou Dour festival en sont de très bons exemples. Du côté des artistes nous pouvons citer, parmi les plus connus, des noms comme Amon Tobin, Aphex Twin ou Eric Prydz. Ils ont été des pionniers dans l’utilisation de visuels réactifs à la musique sur une scène à grande échelle.

Cependant, la mise en œuvre de telles installations nécessite de longs délais de conception et la collaboration d'une équipe créative dédiée. En effet, la haute résolution des images à manipuler et leur capacité à réagir à la musique sont des problèmes complexes à résoudre. Pour garantir une synchronisation parfaite entre le son et les images lors d'une performance live, les temps de latence doivent être aussi courts que possible. En outre, il est souvent nécessaire d'utiliser plusieurs ordinateurs en réseau et de les synchroniser entre eux. Aux compétences créatives s'ajoute une véritable expertise technique. Tous ces éléments contribuent à la valeur globale de la production et à la qualité professionnelle du spectacle. Tous les processus à maîtriser peuvent être regroupés sous le terme de Technologies VJ et se décompose en techniques telles que l'infographie, la programmation informatique, le traitement des signaux audio et vidéo, l'enregistrement en direct...

Dans cet article, l'objectif est de démontrer que la création de visuels réactifs pour des performances scéniques à petite et moyenne échelle n'est pas aussi inaccessible qu'on pourrait le penser. Avec des logiciels accessibles et du matériel abordable, il est tout à fait possible de construire une performance live audiovisuelle sans y consacrer des semaines de travail. Les visuels peuvent donner vie à l'audio, rendant les performances plus dynamiques et plus attrayantes. Pour illustrer ce point, les artistes Control Random, Neurotypique, Marin Scart et Jean-Michel Light ont partagé les étapes de conception de leur dernière performance dans une carrière de calcaire.

Les points d’attention pour des effets visuels en live : le FPS et la latence.

Lors de la création de visuels musicaux adaptés à une performance live, les deux points essentiels sont la fluidité des animations visuelles et la latence entre la musique et la vidéo.

Il est absolument nécessaire que les images soient générées à une fréquence d'au moins 24 images par seconde. Cette donnée s'appelle le framerate et est exprimée en FPS (frames per second). Si vous êtes en dessous de cette valeur, par exemple à 12 images par seconde, toutes les animations apparaîtront saccadées. Dans le cas d'animations rapides, il est souvent nécessaire de viser une valeur supérieure à 24 FPS : 30 ou même 60 FPS.

Par exemple, dans les jeux vidéo avec des animations très rapides, les joueurs privilégient le framerate à la résolution pour ne louper aucun événement: meilleure expérience à 60 FPS en Full HD plutôt qu’à 30 FPS en 4K. Un compromis est donc à trouver entre une meilleure résolution ou un meilleur FPS.

Plus l'ordinateur est sollicité pour des traitements gourmands en ressources, comme des effets visuels ou la lecture simultanée de plusieurs vidéos en HD, plus le nombre de FPS aura tendance à baisser. Il est généralement possible d’afficher le nombre de FPS à travers les réglages de votre carte graphique ou ceux du logiciel utilisé. C’est ensuite à vous de trouver le meilleur équilibre entre la complexité des visuels et la valeur limite de FPS en dessous de laquelle il ne faut pas descendre lors de votre performance live.

Quant à la latence, il s'agit du délai entre une occurrence dans la musique et sa répercussion dans les images. Par exemple, à chaque "coup de pied" dans la musique, on veut associer un effet visuel de distorsion audio-réactif. En règle générale, on peut dire que deux événements apparaîtront instantanément liés aux humains si le délai qui les sépare est inférieur à 100 ms. Il n'y a pas de règle absolue concernant une valeur à respecter, mais un délai supérieur à 100 ms sera considéré comme perceptible. Plus le nombre d'images par seconde est faible, plus la latence des effets visuels musicaux est importante.

Dans le cas d’un concert ou d’un DJ set, lorsque la musique est diffusée en live et donc non pré-enregistrée, elle sera toujours maître par rapport aux images. Il n’est pas possible de la ralentir pour qu’elle coïncide avec les animations visuelles. Ce sont donc les images qui doivent s’adapter pour ne pas apparaître en décalage. Soit vous diminuez les effets activés pour ne pas ralentir l’ordinateur, soit vous prévoyez d’utiliser un modèle plus puissant.

Une technique courante mise en œuvre par beaucoup de vidéo jockeys (VJ) est de diviser le système en deux parties : des clips vidéo pré-rendus sont lus puis mixés entre eux et associés à des effets visuels réactifs à la musique, ou non, appliqués en direct. Il est alors nécessaire que tous les clips vidéos utilisés soient au même FPS pour que le VJ puisse ajuster leur vitesse en fonction de la musique jouée.

Un exemple de performance live utilisant des visuels réactifs à la musique

La performance Stone Mine Mapping est conçue pour explorer les interactions entre le son et l'image et pour questionner la place du spectateur. Il s'agit d'une performance audiovisuelle en temps réel dans laquelle la musique et l'image sont créées en direct.

Control Random, Maison Sagan et Marin Scart ont été animés par l'idée d'une réalisation qui ne pourrait être répétée exactement deux fois. Leur souhait collectif était de créer un projet multidisciplinaire qui dépasse l'expérience et l'expertise de chaque artiste. Chaque artiste a apporté sa propre contribution au projet, soulignant ainsi la nature collaborative de la performance. Conscients d'être entourés de roches sédimentaires, ils ont voulu interroger le passé, le présent et l'avenir de ce matériau, les différents états qu'il a traversés et se projeter dans son futur. Dans ce voyage en 5 parties, des visuels musicaux réactifs sont liés au son en utilisant des informations audio et CV, pilotant des patchs génératifs dans un logiciel de création d'images.

Les artistes de la performance live

La musique est créée en direct par Control Random en utilisant un système de synthétiseurs modulaires Eurorack. Ses compositions, majoritairement exécutées en live, sont à retrouver sur ses comptes Instagram et Bandcamp .

Marin Scart et Neurotypique de Maison Sagan ont créé un système de génération d’image composé d’une partie analogique sur des synthétiseurs modulaires et d’une partie informatique avec les logiciels TouchDesigner et le logiciel HeavyM.

Enfin, Jean-Michel Lighta ajouté des lumières contrôlées par DMX pour mieux apprécier l'espace de la carrière, à l'instar de ce que l'on peut voir à l'exposition de l'Institut de l'environnement et du développement durable (IEDD). Fête des lumières, Lyon.

En pratique : les solutions utilisées pour le effets visuels de la performance live

Pour créer des visuels musicaux en rythme avec la musique, Neurotypique et Marin Scart ont interconnecté différents éléments du système. Les synthétiseurs modulaires de Control Random sont des instruments électro-analogiques qui génèrent des ondes sonores à partir d'oscillateurs. Les différents signaux générés sont envoyés aux modules de Neurotypique, qui effectuent ensuite des opérations de filtrage et d'activation/désactivation. Les signaux analogiques sont ensuite convertis en signaux numériques pour être interprétés par l'ordinateur de Marin, où les fichiers audio sont gérés, traités et préparés pour la visualisation. TouchDesigner peut générer des effets visuels réactifs à la musique, qui sont ensuite modifiés par des shaders appliqués par HeavyM et finalement contrôlés en direct avec un instrument MIDI, ce qui permet aux utilisateurs de modifier les éléments audio et visuels en temps réel. Le système permet aux artistes de visualiser la musique de manière créative, en traduisant les données sonores en expériences visuelles attrayantes. Enfin, le signal vidéo est envoyé à un second ordinateur qui effectuera le mapping, c'est-à-dire le positionnement des effets visuels sur les murs de la pièce.

Schéma du système de la performance live

La source sonore : des synthétiseurs modulaires

Il s’agit d’assemblages de modules indépendants où chacun remplit une fonction élémentaire : oscillateur, filtre, effet,... Les possibilités de combinaison sont infinies et permettent aux artistes de produire une musique qui leur est propre. Control Random et Neurotypique ont utilisé le système Eurorack qui est un standard de format de synthétiseurs modulaires. L’ensemble des modules disponibles sont consultable sur le site Grille modulaire . Il en existe plus de 11 000 !

Bien entendu, il n'est pas nécessaire d'utiliser des synthétiseurs modulaires pour créer des visuels musicaux en synchronisation avec la musique. Vous pouvez utiliser n'importe quelle source : une table de mixage de DJ, une prise d'ordinateur ou même un microphone. Vous pouvez également utiliser une chanson ou un morceau spécifique comme base de vos effets visuels.

Les ordinateurs

Afin de conserver un framerate proche des 60 FPS pour éviter tout problème de latence lors de la performance live, les artistes ont fait le choix d'utiliser deux ordinateurs. Cette configuration permet de mieux répartir les traitements et de diviser la charge de travail entre les machines. Les autres avantages de cette solution sont qu’elle permet de travailler en binôme sans se gêner et d'identifier plus facilement les problèmes pendant la préparation de la performance.

Des configurations de performances visuelles similaires peuvent également être exécutées sur une variété d'appareils, y compris des tablettes et des ordinateurs fonctionnant sous Windows, Mac OS ou Linux, et peuvent même être accessibles via un navigateur sur les appareils iOS, offrant ainsi flexibilité et compatibilité entre les différentes plateformes.

L'ordinateur des effets visuels

L'ordinateur auquel les informations audio sont envoyées est un PC tour équipé de Windows 10, d'un processeur Intel i7, d'une carte graphique Nvidia GeForce GTX 1650 et de 16 Go de RAM. Touchdesigner et HeavyM fonctionnent sur cet ordinateur. Par ailleurs, certains artistes peuvent préférer utiliser une application web pour créer des visuels musicaux, car une application offre flexibilité et facilité d'accès depuis n'importe quel appareil disposant d'une connexion internet, sans nécessiter d'installation.

L’ordinateur de déformation d’images

L'ordinateur de cartographie vidéo, utilisé pour adapter les images à l'espace, est un ordinateur portable équipé de Windows 10, d'un processeur Intel i5, d'une carte graphique Nvidia GeForce GTX 1050 et de 8 Go de RAM.

Seul HeavyM est exécuté sur cet ordinateur.

Pour plus de conseils sur ce qu'il faut rechercher dans un ordinateur de vidéo mapping, consultez le site l’article dédié aux ordinateurs.

Le projecteur

Le vidéoprojecteur utilisé est un Optoma WU630 6000 lumens Full HD avec une optique courte focale de ratio 0,9.

Pour davantage de conseils sur le choix d’un vidéoprojecteur, rendez-vous sur l’article dédié sur de 10000 lumens.

les lumières LED

Les lumières utilisées pour éclairer les tunnels sur les côtés sont des Astera Titan Tube sur batterie.

Les logiciels d’effets visuels audio réactifs

Touchdesigner

Neurotypique et Marin Scart ont programmé leur propre composition sur le logiciel Touchdesigner. Développé par Derivative, Touchdesigner permet de créer des effets visuels en temps réel à l’aide d’un système de programmation nodale. La force de Touchdesigner est l’infinité des combinaisons possibles, associée à un pipe graphique parfaitement adapté pour les performances live. Un temps de prise en main est cependant nécessaire pour obtenir exactement ce que l’on souhaite.

HeavyM

HeavyM est développé par Digital Essence et permet en quelques clics de créer des effets réactifs à la musique. Dans le projet Stone Mine Mapping, HeavyM a été utilisé à deux niveaux. Le premier est l’utilisation de shaders d’effets de traitement, sur la sortie vidéo de Touchdesigner. Le deuxième est la déformation de l’image globale pour l’adapter à l’espace de projection.

HeavyM intègre directement des fonctionnalités d’analyse audio afin de vous donner la possibilité de faire réagir les effets visuels à une musique jouée. Il vous suffit pour cela de relier l’ordinateur à une source audio avec un câble jack par exemple. Vous pouvez aussi utiliser une carte son externe.

Communication entre les éléments de la performance

Pour générer des visuels réactifs à la musique, les différents éléments matériels et logiciels doivent nécessairement échanger des informations.

Les synthétiseurs modulaires envoient les informations audio à travers un module particulier : le ES-9 Expert Sleepers. Il s’agit d’un convertisseur analogique-numérique qui permet de convertir les signaux électriques en données numériques compréhensibles par Touchdesigner. Il n’est pas obligatoire de posséder ce type de matériel car HeavyM intègre directement des fonctionnalités d’analyse audio afin de vous donner la possibilité de faire réagir les effets visuels à une musique jouée. Il vous suffit pour cela de relier l’ordinateur à une source audio avec un câble jack par exemple. Vous pouvez aussi utiliser une carte son externe.

Une fois les informations musicales reçues, Touchdesigner génère les animations visuelles et les envoie à HeavyM avec une liaison Spout . Il s’agit d’une technologie qui permet d’envoyer la sortie vidéo d’un logiciel vers un autre. HeavyM réceptionne la vidéo et, à l’aide d’un contrôleur MIDI, Marin Scart applique des effets visuels supplémentaires. La sortie de HeavyM est ensuite transmise à une autre instance de HeavyM sur le deuxième ordinateur grâce à la technologie NDI. Elle permet de diffuser un flux vidéo sur un réseau avec un minimum de latence. Enfin, HeavyM modifie la géométrie de la vidéo pour l’envoyer au vidéoprojecteur qui l’affiche dans l’espace de la performance live.

Une fois la sortie finale envoyée au projecteur, le système peut rendre la vidéo terminée. Les utilisateurs peuvent alors exporter ou télécharger les images finies pour une utilisation ultérieure. Certaines plateformes permettent également aux utilisateurs de partager des vidéos directement sur des plateformes telles que YouTube après le processus de rendu vidéo.

Pour compléter la projection vidéo, des lumières LED ont été ajoutées sur les côtés. Elles sont assorties aux couleurs de la projection. Les signaux de contrôle des lumières sont des messages DMX envoyés par un réseau WiFi depuis Touchdesigner.

Affiner vos visuels

L'affinage de vos visuels musicaux est une étape cruciale pour transformer votre projet d'un simple visualiseur de musique en une vidéo musicale soignée, d'aspect professionnel, qui se démarque sur n'importe quelle plateforme, y compris votre chaîne YouTube. Une fois que vous avez mis en place votre visuel musical de base, il est temps de vous concentrer sur les détails qui rendront votre vidéo vraiment unique et attrayante pour votre public.

Commencez par choisir une piste audio de haute qualité qui représente au mieux votre musique. La clarté et la dynamique de votre audio influenceront directement la réaction de votre visuel musicaux et le degré d'immersion de la vidéo finale. Ensuite, explorez le large éventail de visuels musicaux disponibles dans votre logiciel. Ces modèles sont conçus pour vous aider à créer rapidement des vidéos d'une grande qualité, mais ils offrent également de nombreuses options pour personnaliser les visuels en fonction de votre marque, de votre style ou de l'ambiance de votre morceau.

N'hésitez pas à expérimenter différentes couleurs, formes et effets. Ajustez la palette pour refléter votre logo ou la pochette de votre album, ou utilisez des couleurs vives pour faire ressortir vos visuels à l'écran. De nombreux visuels musicaux vous permettent d'ajuster le mouvement, l'intensité et le style des effets, de sorte que vous pouvez créer une visualisation qui correspond parfaitement à l'énergie et au rythme de votre piste audio. Essayez de superposer des effets ou de combiner des modèles pour créer un look qui vous est propre.

Lorsque vous affinez vos visuels, gardez votre public à l'esprit. Pensez à la façon dont votre vidéo s'affichera sur différents appareils, qu'il s'agisse d'écrans d'ordinateurs ou de téléphones portables, et assurez-vous que vos visuels sont clairs et percutants, quelle que soit leur taille. Une fois que vous êtes satisfait, vous pouvez télécharger votre vidéo terminée directement sur votre chaîne YouTube ou d'autres plateformes, prêt à partager votre musique et vos visuels musicaux avec le monde entier.

En prenant le temps de personnaliser vos visuels musicaux et d'expérimenter avec des modèles, des couleurs et des effets, vous créerez des vidéos qui non seulement mettront en valeur votre musique, mais élèveront également votre marque et établiront un lien plus profond avec votre public.

C’est à vous !

Création visuels musicaux adaptés à une performance live nécessite des connaissances techniques que l'on peut facilement trouver sur l'internet. D'autre part, le matériel nécessaire devient de plus en plus accessible, en termes de coût et de compréhension. Grâce à ces avancées, les utilisateurs peuvent rapidement créer du contenu pour promouvoir leur musique, leurs nouvelles sorties ou leurs mixes de DJ, ce qui en fait des outils idéaux pour les musiciens, les maisons de disques et les autres professionnels de la musique. De nombreuses plateformes vous permettent d'ajouter vos propres logos et de personnaliser la palette de couleurs pour qu'elle corresponde à votre image de marque, afin que votre contenu se démarque. Certains outils proposent des modèles ou des fonctionnalités gratuits, et le processus de création de visuels peut ne prendre que quelques minutes. Après le rendu, les utilisateurs sont souvent dirigés vers une page dédiée pour télécharger leur vidéo finie. Ces outils peuvent être utilisés à des fins commerciales, ce qui permet d'utiliser les visuels créés dans le cadre de projets monétisés ou de travaux de clients.

Le projet Stone Mine Mapping peut sembler complexe au premier abord, mais il a l'avantage de donner une vue d'ensemble des outils et des techniques disponibles. Il est possible d'envisager un système beaucoup plus simple, réduit à un seul ordinateur et à des haut-parleurs. De nombreux artistes audiovisuels se contentent de faire des manipulations "à l'oreille" en fonction de la musique qu'ils entendent, sans nécessairement créer un lien audio-vidéo. Le résultat peut parfois être plus pertinent que de laisser l'ordinateur décider tout seul.

A suivre!

En savoir plus sur les projecteurs

Nous avons créé un guide détaillé pour choisir le projecteur adapté à vos besoins. Découvrez nos conseils et les erreurs à éviter dans ce guide qui explique les différentes caractéristiques étape par étape.

Explorer le logiciel HeavyM

HeavyM est un logiciel de vidéo mapping capable de générer des effets visuels et de les projeter sur des volumes, des décors ou des éléments architecturaux. HeavyM est compatible avec Mac et Windows.

Cookie	Durée	Description
cookielawinfo-checbox-analytics	11 mois	Ce cookie est défini par le plugin GDPR Cookie Consent. Le cookie est utilisé pour stocker le consentement de l'utilisateur pour les cookies de la catégorie "Analytics".
cookielawinfo-checbox-fonctionnel	11 mois	Le cookie est défini par le GDPR cookie consent pour enregistrer le consentement de l'utilisateur pour les cookies de la catégorie "Fonctionnel".
cookielawinfo-checbox-autres	11 mois	Ce cookie est défini par le plugin GDPR Cookie Consent. Ce cookie est utilisé pour stocker le consentement de l'utilisateur pour les cookies de la catégorie "Autres".
case à cocher nécessaire pour le droit de la concurrence	11 mois	Ce cookie est défini par le plugin GDPR Cookie Consent. Il est utilisé pour stocker le consentement de l'utilisateur pour les cookies de la catégorie "Nécessaire".
cookielawinfo-checkbox-performance	11 mois	Ce cookie est défini par le plugin GDPR Cookie Consent. Ce cookie est utilisé pour stocker le consentement de l'utilisateur pour les cookies de la catégorie "Performance".
politique_cookie_vu	11 mois	Le cookie est défini par le plugin GDPR Cookie Consent et est utilisé pour enregistrer si l'utilisateur a consenti ou non à l'utilisation de cookies. Il ne stocke aucune donnée personnelle.