Creare visual musicali: Come valorizzare le esecuzioni musicali

Musica visiva - Articolo di copertina

Alcuni riferimenti alle performance dal vivo

Se siete appassionati di musica elettronica, avrete probabilmente già notato che un numero sempre maggiore di artisti e festival si sta concentrando su decorazione del palcoscenico. Di solito consiste in elementi fissi del set, a volte mescolati con proiezioni video e schermi LED. Spesso vengono integrati sfondi personalizzati o di stock per migliorare il fascino visivo e il branding delle performance live. Eventi come Tomorrowland o il Festival Dour sono ottimi esempi. Per quanto riguarda gli artisti, possiamo citare, tra i più famosi, nomi come Amon Tobin, Aphex Twin o Eric Prydz. Sono stati pionieri nell'uso della musica e delle immagini su larga scala.

Immagini musicali - Erix Prydz
Performance musicale visiva - Aphex Twin

Tuttavia, la realizzazione di tali installazioni richiede tempi di progettazione lunghi e la collaborazione di un team creativo dedicato. Infatti, l'alta risoluzione delle immagini da manipolare e la loro capacità di reagire alla musica sono problemi complessi da risolvere. Per garantire una perfetta sincronizzazione tra suono e immagini durante una performance live, i tempi di latenza devono essere i più brevi possibili. Inoltre, spesso è necessario utilizzare diversi computer collegati in rete e sincronizzarli tra loro. Oltre alle capacità creative, c'è una vera e propria competenza tecnica. Tutti questi elementi contribuiscono al valore complessivo della produzione e allo smalto professionale dello spettacolo. Tutti i processi da padroneggiare possono essere raggruppati sotto il termine di Tecnologie VJ e può essere suddiviso in tecniche quali la grafica computerizzata, la programmazione informatica, l'elaborazione dei segnali audio e video, la registrazione dal vivo...

Musica visiva - Tecnologia VJ
In questo articolo si vuole dimostrare che la creazione di immagini reattive per spettacoli teatrali di piccole e medie dimensioni non è così fuori portata come si potrebbe pensare. Con un software accessibile e un hardware economico, è possibile costruire una performance live audiovisiva senza dedicarle settimane di lavoro. Le immagini possono dare vita all'audio, rendendo le performance più dinamiche e coinvolgenti. Per illustrare questo punto, gli artisti Control Random, Neurotypique, Marin Scart e Jean-Michel Light hanno condiviso le fasi di ideazione della loro ultima performance in una cava di calcare.
Musica visiva - Articolo di copertina
Proiezione mappatura delle prestazioni della miniera

Punti di attenzione per gli effetti visivi dal vivo: FPS e latenza.

Quando si creano visual musicali per una performance live, i due punti focali sono la fluidità delle animazioni visive e la latenza tra musica e video.

È assolutamente necessario che le immagini siano generate a una velocità di almeno 24 fotogrammi al secondo. Questo dato è chiamato framerate ed è espresso in FPS (fotogrammi al secondo). Se si scende al di sotto di questo valore, ad esempio a 12 fotogrammi al secondo, tutte le animazioni appariranno a scatti. Nel caso di animazioni veloci, spesso è necessario puntare a un valore superiore a 24 FPS: 30 o addirittura 60 FPS. 

Ad esempio, nei videogiochi con animazioni molto veloci, I giocatori preferiscono il framerate alla risoluzione, per non perdere nessuna azione.: un'esperienza migliore a 60 FPS in Full HD che a 30 FPS in 4K. Pertanto, esiste un compromesso tra una migliore risoluzione e un migliore FPS. 

Più il computer viene utilizzato per elaborazioni ad alta intensità di risorse, come gli effetti visivi o la riproduzione simultanea di diversi video HD, più il numero di FPS tenderà a diminuire. In genere è possibile visualizzare il numero di FPS attraverso le impostazioni della scheda grafica o quelle del software utilizzato. Spetta quindi all'utente trovare il miglior equilibrio tra la complessità delle immagini e il limite di FPS al di sotto del quale non si deve scendere durante la performance dal vivo.
FPS - computer
Per quanto riguarda la latenza, si tratta del ritardo tra un evento nella musica e la sua ripercussione nelle immagini. Per esempio, a ogni "calcio" nella musica si vuole associare un effetto visivo di distorsione audio-reattiva. Come regola generale possiamo dire che due eventi appariranno istantaneamente collegati agli esseri umani se il ritardo tra di essi è inferiore a 100 ms. Non esiste una regola assoluta su un valore da rispettare, ma un ritardo superiore a 100 ms sarà considerato percepibile. Più basso è l'FPS, maggiore sarà la latenza negli effetti visivi reattivi della musica.
Nel caso di un concerto o di un DJ set, quando la musica è suonata dal vivo e non preregistrata, sarà sempre dominante rispetto alle immagini. Non è possibile rallentarla per farla coincidere con le animazioni visive. Sono quindi le immagini a doversi adattare per non apparire fuori sincrono. O si riducono gli effetti attivati per non rallentare il computer, o si prevede di utilizzare un modello più potente.
Una tecnica comune utilizzata da molti video jockey (VJ) è quella di dividere il sistema in due parti: i video clip prerenderizzati vengono riprodotti, mixati insieme e poi combinati con effetti visivi reattivi o meno alla musica che vengono applicati dal vivo. È quindi necessario che tutti i videoclip utilizzati abbiano lo stesso FPS, in modo che il VJ possa regolarne la velocità in base alla musica riprodotta.

Un esempio di performance dal vivo con l'utilizzo di immagini reattive alla musica

La performance Stone Mine Mapping è progettata per esplorare le interazioni tra suono e immagine e per mettere in discussione il posto dello spettatore. Si tratta di una performance audiovisiva in tempo reale in cui musica e immagine sono create dal vivo.

Control Random, Maison Sagan e Marin Scart erano mossi dall'idea di una realizzazione che non potesse essere ripetuta esattamente due volte. Il loro desiderio collettivo era quello di creare un progetto multidisciplinare che andasse oltre l'esperienza e la competenza di ciascun artista. Ogni artista ha contribuito con un proprio pezzo al progetto, sottolineando la natura collaborativa della performance. Consapevoli di essere circondati da rocce sedimentarie, hanno voluto interrogarsi sul passato, sul presente e sul futuro di questo materiale, sui diversi stati che ha attraversato e proiettarsi sul suo futuro. In questo viaggio in 5 parti, i visual musicali reattivi sono collegati al suono utilizzando informazioni audio e CV, guidando patch generative nel software di creazione di immagini.

Gli artisti di questa performance dal vivo

La musica è creata dal vivo da Control Random utilizzando un sintetizzatore modulare Eurorack. Le sue composizioni, per lo più eseguite dal vivo, si possono trovare sui suo sito Instagram e Bandcamp profili.

Marin Scart e Neurotypique di Maison Sagan hanno creato un sistema di generazione di immagini composto da una parte analogica basata su sintetizzatori modulari e da una parte informatica con TouchDesigner e il software HeavyM.

Infine, Jean-Michel Lightha aggiunto luci controllate da DMX per apprezzare meglio lo spazio della cava, in modo simile a quello che si sperimenta alla Festival delle luci, Lione.

In pratica: le soluzioni utilizzate per gli effetti visivi della performance dal vivo

Per creare visual musicali, Neurotypique e Marin Scart hanno interconnesso diversi elementi del sistema. I sintetizzatori modulari di Control Random sono strumenti elettro-analogici che generano onde sonore da oscillatori. I vari segnali generati vengono inviati ai moduli di Neurotypic, che eseguono operazioni di filtraggio e di accensione/spegnimento. I segnali analogici vengono poi convertiti in segnali digitali per essere interpretati dal computer di Marin, dove i file audio vengono gestiti, elaborati e preparati per la visualizzazione. TouchDesigner può generare effetti visivi reattivi alla musica, che vengono poi modificati con shader applicati da HeavyM e infine controllati dal vivo con uno strumento MIDI, consentendo agli utenti di modificare sia gli elementi audio che quelli visivi in tempo reale. Il sistema consente agli artisti di visualizzare la musica in modo creativo, traducendo i dati sonori in esperienze visive coinvolgenti. Infine, il segnale video viene inviato a un secondo computer che eseguirà il video mapping, cioè il posizionamento degli effetti visivi sulle pareti della stanza.

Panoramica del sistema di performance dal vivo

Schema di performance dal vivo

La fonte del suono: i sintetizzatori modulari

Sintetizzatori modulari

Si tratta di un assemblaggio di moduli indipendenti, ognuno dei quali svolge una funzione fondamentale: oscillatore, filtro, effetto... Le possibilità di combinazione sono infinite e consentono agli artisti di produrre musica unica. Control Random e Neurotypique hanno utilizzato il sistema Eurorack, un formato standard per i sintetizzatori modulari. Tutti i moduli disponibili sono elencati sul sito Griglia modulare sito web. Ce ne sono più di 11.000!

Naturalmente, non è necessario utilizzare sintetizzatori modulari per creare effetti visivi in sincronia con la musica. È possibile utilizzare qualsiasi sorgente: un mixer per DJ, un jack per computer o persino un microfono. È anche possibile utilizzare una canzone o un brano specifico come base per gli effetti visivi.

Computer

Per mantenere il framerate vicino ai 60 FPS ed evitare qualsiasi problema di latenza durante la performance dal vivo, gli artisti hanno scelto di utilizzare due computer. Questa configurazione permette di distribuire meglio l'elaborazione e di dividere il carico di lavoro tra le macchine. Altri vantaggi di questa soluzione sono la possibilità di lavorare in coppia senza interferire l'uno con l'altro e di identificare più facilmente i problemi durante l'allestimento della performance.
Simili configurazioni di prestazioni visive possono essere eseguite anche su una varietà di dispositivi, tra cui tablet e computer con Windows, Mac OS o Linux, e si può accedere anche tramite un browser sui dispositivi iOS, garantendo flessibilità e compatibilità tra le diverse piattaforme.

Il computer per gli effetti visivi

Il computer a cui vengono inviate le informazioni audio è un PC tower con Windows 10, un processore Intel i7, una scheda grafica Nvidia GeForce GTX 1650 e 16 GB di RAM. Touchdesigner e HeavyM sono in esecuzione su questo computer. In alternativa, alcuni artisti potrebbero preferire l'uso di un'applicazione basata sul Web per la creazione di visual musicali, in quanto un'applicazione offre flessibilità e facilità di accesso da qualsiasi dispositivo dotato di connessione a Internet, senza richiedere l'installazione.

Il computer per la distorsione dell'immagine

Il computer per la mappatura video, utilizzato per adattare le immagini allo spazio, è un portatile con Windows 10, un processore Intel i5, una scheda grafica Nvidia GeForce GTX 1050 e 8 GB di RAM.

Su questo computer è in esecuzione solo HeavyM.

Per ulteriori suggerimenti su cosa cercare in un computer per il video mapping, controllare il sito articolo dedicato al computer.

Il proiettore

Il proiettore utilizzato è un Optoma WU630 da 6000 lumen Full HD con un'ottica a focale corta di rapporto 0,9.

Per ulteriori consigli sulla scelta di un videoproiettore, consultare il documento articolo dedicato su videoproiettori.

Luci a LED

Musica visiva - Luci LED

Le luci utilizzate per illuminare le gallerie sui lati sono Tubos Astera Titan sulla batteria.

Software per effetti audiovisivi reattivi

Touchdesigner

Neurotypique e Marin Scart hanno programmato la propria composizione sul software Touchdesigner. Sviluppato da Derivative,Touchdesigner permette di creare effetti visivi in tempo reale utilizzando un sistema di programmazione nodale. Il punto di forza di Touchdesigner è il numero infinito di combinazioni possibili, associate a un tubo grafico perfettamente adatto alle performance dal vivo. Tuttavia, è necessario un po' di tempo per padroneggiarlo e ottenere esattamente ciò che si desidera.

HeavyM

HeavyM è stato sviluppato da Digital Essence e consente di creare effetti musicali reattivi in pochi clic. Nel progetto Stone Mine Mapping, HeavyM è stato utilizzato a due livelli. Il primo è l'uso di shader per l'elaborazione degli effetti, sulle uscite video di Touchdesigner. Il secondo è la distorsione dell'immagine complessiva per adattarla allo spazio di proiezione.

HeavyM integra direttamente le funzioni di analisi audio per dare la possibilità di far reagire gli effetti visivi alla musica riprodotta. È sufficiente collegare il computer a una sorgente audio, ad esempio con un cavo jack. È anche possibile utilizzare una scheda audio esterna.

Comunicazione tra i componenti della performance

Per generare immagini che rispondono alla musica, i vari elementi hardware e software devono necessariamente scambiarsi informazioni.

I sintetizzatori modulari inviano le informazioni audio attraverso un particolare modulo: i dormienti esperti ES-9. Si tratta di un convertitore analogico-digitale che converte i segnali elettrici in dati digitali comprensibili da Touchdesigner. Non è necessario disporre di questo tipo di hardware perché HeavyM integra direttamente le funzionalità di analisi audio per dare la possibilità di far reagire gli effetti visivi alla musica riprodotta. È sufficiente collegare il computer a una sorgente audio, ad esempio con un cavo jack. È anche possibile utilizzare una scheda audio esterna.

Una volta ricevute le informazioni musicali, Touchdesigner genera le animazioni visive e le invia a HeavyM con una Spout link. Si tratta di una tecnologia che consente di inviare l'uscita video di un software a un altro. L'HeavyM riceve il video e, utilizzando un controller MIDI, Marin Scart applica effetti visivi aggiuntivi. L'uscita di HeavyM viene poi inviata a un'altra istanza di HeavyM sul secondo computer utilizzando Tecnologia NDI. In questo modo, il flusso video può essere trasmesso su una rete con una latenza minima. Infine, HeavyM modifica la geometria del video per inviarlo al videoproiettore, che lo visualizza nello spazio della performance dal vivo.

Dopo aver inviato l'output finale al proiettore, il sistema può eseguire il rendering del video completo. Gli utenti possono quindi esportare o scaricare le immagini finite per un ulteriore utilizzo. Alcune piattaforme consentono anche di condividere i video direttamente su piattaforme come YouTube dopo il processo di rendering.

Per completare la videoproiezione, sono state aggiunte delle luci LED ai lati. Si abbinano ai colori della proiezione. I segnali di controllo delle luci sono messaggi DMX inviati da Touchdesigner attraverso una rete WiFi.

Affinare le immagini

L'affinamento delle immagini è una fase cruciale per trasformare il progetto da un semplice visual musicale in un video musicale dall'aspetto lucido e professionale che si distingua su qualsiasi piattaforma, compreso il vostro canale YouTube. Una volta impostata la visualizzazione musicale di base, è il momento di concentrarsi sui dettagli che renderanno il video davvero unico e coinvolgente per il pubblico.

Iniziate scegliendo una traccia audio di alta qualità che rappresenti al meglio la vostra musica. La chiarezza e la dinamica dell'audio influenzeranno direttamente il modo in cui il visual musicale risponde e la sensazione di immersione del video finale. Quindi, esplorate l'ampia gamma di modelli di visualizzazione musicale disponibili nel vostro software. Questi modelli sono progettati per aiutarvi a creare rapidamente video di grande effetto, ma offrono anche molte opzioni per personalizzare le immagini in base al vostro marchio, al vostro stile o all'atmosfera del brano.

Non esitate a sperimentare con colori, forme ed effetti diversi. Regolate la tavolozza per riflettere il vostro logo o la grafica dell'album, oppure usate colori vivaci per far risaltare le vostre immagini sullo schermo. Molti visual musicali consentono di regolare il movimento, l'intensità e lo stile degli effetti, in modo da creare una visualizzazione che si adatti perfettamente all'energia e al ritmo della traccia audio. Provate a sovrapporre gli effetti o a combinare i modelli per creare un look tutto vostro.

Mentre perfezionate le immagini, tenete presente il vostro pubblico. Pensate a come il video apparirà su diversi dispositivi, dagli schermi dei computer ai telefoni cellulari, e assicuratevi che le immagini siano chiare e d'impatto a qualsiasi dimensione. Una volta soddisfatti, potete caricare il video finito direttamente sul vostro canale YouTube o su altre piattaforme, pronti a condividere la vostra musica e i vostri visual musicali con il mondo.

Dedicando tempo alla personalizzazione della visualizzazione musicale e sperimentando modelli, colori ed effetti, creerete video che non solo mettono in risalto la vostra musica, ma elevano anche il vostro marchio e si connettono con il vostro pubblico a un livello più profondo.

È il tuo turno!

Creare visual musicali reattivi per una performance live richiede alcune conoscenze tecniche che possono essere facilmente reperite su Internet. D'altra parte, l'hardware necessario diventa sempre più accessibile, in termini di costi e di comprensione. Grazie a questi progressi, gli utenti possono creare rapidamente contenuti per promuovere la propria musica, le nuove uscite o i mix dei DJ, rendendo questi strumenti ideali per musicisti, etichette discografiche e altri professionisti della musica. Molte piattaforme consentono di aggiungere i propri loghi e di personalizzare la combinazione di colori in base al proprio branding, assicurando che i contenuti si distinguano. Alcuni strumenti offrono modelli o funzioni gratuite e il processo di creazione delle immagini può richiedere solo pochi minuti. Dopo il rendering, gli utenti vengono spesso indirizzati a una pagina dedicata per scaricare il video finito. Questi strumenti possono essere utilizzati per scopi commerciali, consentendo l'uso commerciale delle immagini create in progetti monetizzati o nel lavoro dei clienti.

Il progetto Stone Mine Mapping può sembrare complesso all'inizio, ma ha il vantaggio di fornire una panoramica degli strumenti e delle tecniche disponibili. È possibile considerare un sistema molto più semplice che si riduce a un solo computer e a degli altoparlanti. Molti esecutori di audiovisivi si accontentano di effettuare manipolazioni "a orecchio" in base alla musica che ascoltano, senza necessariamente creare un collegamento audio-video. Il risultato può essere talvolta più rilevante che lasciare che il computer decida da solo.
Musica visiva - performance di grandi dimensioni

Da continuare

Per saperne di più sui proiettori

Abbiamo creato una guida dettagliata per scegliere il proiettore giusto per le vostre esigenze. Scoprite i nostri consigli e gli errori da evitare in questa guida che spiega passo dopo passo le diverse caratteristiche.

Esplora il software HeavyM

HeavyM è un video mapping software in grado di generare effetti visivi e proiettarli su volumi, decorazioni o elementi architettonici. HeavyM è compatibile con Mac e Windows.

it_ITIT

Un regalo per voi!

00 Ore
00 Mins
00 scdi

Crea il tuo account e scarica gratuitamente 20 video loop