Come creare immagini musicali per le vostre performance dal vivo?
Alcuni riferimenti alle performance dal vivo
Se siete appassionati di musica elettronica, probabilmente avrete già notato che sempre più artisti e festival si concentrano sulla decorazione del palco. Di solito si tratta di elementi scenografici fissi, talvolta mescolati a proiezioni video e schermi LED. Eventi come Tomorrowland o Festival Dour sono ottimi esempi. Per quanto riguarda gli artisti, possiamo citare, tra i più famosi, nomi come Amon Tobin, Aphex Twin o Eric Prydz. Sono stati pionieri nell'uso della musica e delle immagini su larga scala.
Tuttavia, la realizzazione di tali installazioni richiede tempi di progettazione lunghi e la collaborazione di un team creativo dedicato. Infatti, l'alta risoluzione delle immagini da manipolare e la loro capacità di reagire alla musica sono problemi complessi da risolvere. Per garantire una perfetta sincronizzazione tra suono e immagini durante una performance dal vivo, i tempi di latenza devono essere i più brevi possibili. Inoltre, spesso è necessario utilizzare diversi computer collegati in rete e sincronizzarli tra loro. Oltre alle capacità creative, c'è una vera e propria competenza tecnica. Tutti i processi da padroneggiare possono essere raggruppati sotto il termine di tecnologie VJ e possono essere suddivisi in tecniche come la grafica computerizzata, la programmazione informatica, l'elaborazione del segnale audio e video, la registrazione dal vivo...
In questo articolo, l'obiettivo è dimostrare che la creazione di immagini che rispondono alla musica per spettacoli teatrali di piccole e medie dimensioni non è così fuori portata come si potrebbe pensare. Con un software accessibile e un hardware economico, è possibile realizzare una performance audiovisiva dal vivo senza dedicarle settimane di lavoro. Per illustrare questo punto, gli artisti Control Random, Neurotypique, Marin Scart e Jean-Michel Light hanno condiviso le fasi di ideazione della loro ultima performance in una cava di calcare.
Punti di attenzione per gli effetti visivi dal vivo: FPS e latenza.
Quando si creano immagini reattive alla musica per un'esibizione dal vivo, i due punti focali sono i seguenti fluidità delle animazioni visive e il latenza tra musica e video.
È assolutamente necessario che le immagini vengano generate ad una velocità di almeno 24 fotogrammi al secondo. Questo dato è chiamato framerate ed è espresso in FPS (fotogrammi al secondo). Se si scende al di sotto di questo valore, ad esempio a 12 fotogrammi al secondo, tutte le animazioni appariranno a scatti. Nel caso di animazioni veloci, spesso è necessario puntare a un valore superiore a 24 FPS: 30 o addirittura 60 FPS.
Ad esempio, nei videogiochi con animazioni molto veloci, I giocatori preferiscono il framerate alla risoluzione, per non perdere nessuna azione.: un'esperienza migliore a 60 FPS in Full HD che a 30 FPS in 4K. Pertanto, esiste un compromesso tra una migliore risoluzione e un migliore FPS.
Più il computer viene utilizzato per elaborazioni ad alta intensità di risorse, come gli effetti visivi o la riproduzione simultanea di diversi video HD, più il numero di FPS tenderà a diminuire. In genere è possibile visualizzare il numero di FPS attraverso le impostazioni della scheda grafica o quelle del software utilizzato. Spetta quindi all'utente trovare il miglior equilibrio tra la complessità delle immagini e il limite di FPS al di sotto del quale non si deve scendere durante la performance dal vivo.
Per quanto riguarda la latenza, si tratta del ritardo tra un evento nella musica e la sua ripercussione nelle immagini. Per esempio, a ogni "calcio" nella musica si vuole associare un effetto visivo di distorsione audio-reattiva. Come regola generale possiamo dire che due eventi appariranno istantaneamente collegati agli esseri umani se il ritardo tra di essi è inferiore a 100 ms. Non esiste una regola assoluta su un valore da rispettare, ma un ritardo superiore a 100 ms sarà considerato percepibile. Più basso è l'FPS, maggiore è la latenza degli effetti visivi reattivi della musica.
Nel caso di un concerto o di un DJ set, quando la musica è suonata dal vivo e non preregistrata, sarà sempre dominante rispetto alle immagini. Non è possibile rallentarla per farla coincidere con le animazioni visive. Sono quindi le immagini a doversi adattare per non apparire fuori sincrono. O si riducono gli effetti attivati per non rallentare il computer, o si prevede di utilizzare un modello più potente.
Una tecnica comune utilizzata da molti video jockey (VJ) è quella di dividere il sistema in due parti: i video clip prerenderizzati vengono riprodotti, mixati insieme e poi combinati con effetti visivi reattivi o meno alla musica che vengono applicati dal vivo. È quindi necessario che tutti i videoclip utilizzati abbiano lo stesso FPS, in modo che il VJ possa regolarne la velocità in base alla musica riprodotta.
Un esempio di performance dal vivo con l'utilizzo di immagini reattive alla musica
Il Mappatura delle miniere di pietra è stata concepita per esplorare le interazioni tra suono e immagine e per mettere in discussione il posto dello spettatore. Si tratta di una performance audiovisiva in tempo reale in cui musica e immagine sono create dal vivo.
Control Random, Maison Sagan e Marin Scart erano mossi dall'idea di una realizzazione che non potesse essere ripetuta esattamente due volte. Il loro desiderio collettivo era quello di creare un progetto multidisciplinare che andasse oltre l'esperienza e la competenza di ciascun artista. Consapevoli di essere circondati da rocce sedimentarie, hanno voluto interrogarsi sul passato, sul presente e sul futuro di questo materiale, sui diversi stati che ha attraversato e proiettarsi sul suo futuro. In questo viaggio in 5 parti, le immagini reattive alla musica sono collegate al suono utilizzando informazioni audio e CV, che guidano patch generative nei software di creazione di immagini.
Gli artisti di questa performance dal vivo
La musica è creata dal vivo da Control Random utilizzando un sintetizzatore modulare Eurorack. Le sue composizioni, per lo più eseguite dal vivo, si possono trovare sul suo sito Instagram e Bandcamp profili.
Marin Scart e Neurotipico da Maison Sagan hanno creato un sistema di generazione di immagini composto da una parte analogica basata su sintetizzatori modulari e da una parte informatica con TouchDesigner e i software HeavyM.
Infine, Jean-Michel Light aggiunto luci controllate da DMX per apprezzare meglio lo spazio della cava.
In pratica: le soluzioni utilizzate per gli effetti visivi della performance dal vivo
Per creare immagini a ritmo di musica, Neurotypique e Marin Scart hanno interconnesso diversi elementi del sistema. I sintetizzatori modulari di Control Random sono strumenti elettro-analogici che generano onde sonore da oscillatori. I vari segnali generati vengono inviati ai moduli di Neurotypic, che eseguono operazioni di filtraggio e di accensione/spegnimento. I segnali analogici vengono poi convertiti in segnali digitali che vengono interpretati dal computer di Marin. TouchDesigner può generare effetti visivi reattivi alla musica, che vengono poi modificati con shader applicati da HeavyM e infine controllati dal vivo con uno strumento MIDI. Infine, il segnale video viene inviato a un secondo computer che eseguirà la mappatura, cioè il posizionamento degli effetti visivi sulle pareti della stanza.
Panoramica del sistema di performance dal vivo
La fonte del suono: i sintetizzatori modulari
Si tratta di un assemblaggio di moduli indipendenti, ognuno dei quali svolge una funzione fondamentale: oscillatore, filtro, effetto... Le possibilità di combinazione sono infinite e consentono agli artisti di produrre musica unica. Control Random e Neurotypique hanno utilizzato il sistema Eurorack, un formato standard per i sintetizzatori modulari. Tutti i moduli disponibili sono elencati sul sito Griglia modulare sito web. Ce ne sono più di 11.000!
Naturalmente, non è necessario utilizzare sintetizzatori modulari per creare effetti visivi in sincronia con la musica. È possibile utilizzare qualsiasi sorgente: un mixer per DJ, un jack per computer o persino un microfono.
Computer
Per mantenere il framerate vicino ai 60 FPS ed evitare qualsiasi problema di latenza durante la performance dal vivo, gli artisti hanno scelto di utilizzare due computer. Questa configurazione permette di distribuire meglio l'elaborazione e di dividere il carico di lavoro tra le macchine. Altri vantaggi di questa soluzione sono la possibilità di lavorare in coppia senza interferire l'uno con l'altro e di identificare più facilmente i problemi durante l'allestimento della performance.
Il computer per gli effetti visivi
Il computer a cui vengono inviate le informazioni audio è un PC tower con Windows 10, un processore Intel i7, una scheda grafica Nvidia Geforce GTX 1650 e 16 GB di RAM.
Touchdesigner e HeavyM sono in esecuzione su questo computer.
Il computer per la distorsione dell'immagine
Il computer per la mappatura video, utilizzato per adattare le immagini allo spazio, è un portatile con Windows 10, un processore Intel i5, una scheda grafica Nvidia Geforce GTX 1050 e 8 GB di RAM.
Su questo computer è in esecuzione solo HeavyM.
Per ulteriori suggerimenti su cosa cercare in un computer per la mappatura video, consultate il documento articolo dedicato al computer.
Il proiettore
Il proiettore utilizzato è un Optoma WU630 da 6000 lumen Full HD con un'ottica a focale corta di rapporto 0,9.
Per ulteriori consigli sulla scelta di un videoproiettore, consultare il documento articolo dedicato sui videoproiettori.
Luci a LED
Le luci utilizzate per illuminare le gallerie sui lati sono Tubo Astera Titan sulla batteria.
Software per effetti audiovisivi reattivi
Touchdesigner
Neurotypique e Marin Scart hanno programmato la propria composizione sul software Touchdesigner.
Sviluppato da DerivatoTouchdesigner permette di creare effetti visivi in tempo reale utilizzando un sistema di programmazione nodale. Il punto di forza di Touchdesigner è il numero infinito di combinazioni possibili, associate a un tubo grafico perfettamente adatto alle performance dal vivo. Tuttavia, è necessario un po' di tempo per padroneggiarlo e ottenere esattamente ciò che si desidera.
HeavyM
HeavyM è stato sviluppato da Digital Essence e consente di creare effetti musicali reattivi in pochi clic. Nel progetto Stone Mine Mapping, HeavyM è stato utilizzato a due livelli. Il primo è l'uso di shader per l'elaborazione degli effetti, sulle uscite video di Touchdesigner. Il secondo è la distorsione dell'immagine complessiva per adattarla allo spazio di proiezione.
HeavyM integra direttamente le funzioni di analisi audio per dare la possibilità di far reagire gli effetti visivi alla musica riprodotta. È sufficiente collegare il computer a una sorgente audio, ad esempio con un cavo jack. È anche possibile utilizzare una scheda audio esterna.
Comunicazione tra i componenti della performance
Per generare immagini che rispondono alla musica, i vari elementi hardware e software devono necessariamente scambiarsi informazioni.
I sintetizzatori modulari inviano le informazioni audio attraverso un particolare modulo: i dormienti esperti ES-9. Si tratta di un convertitore analogico-digitale che converte i segnali elettrici in dati digitali comprensibili da Touchdesigner. Non è necessario disporre di questo tipo di hardware perché HeavyM integra direttamente le funzionalità di analisi audio per dare la possibilità di far reagire gli effetti visivi alla musica riprodotta. È sufficiente collegare il computer a una sorgente audio, ad esempio con un cavo jack. È anche possibile utilizzare una scheda audio esterna.
Una volta ricevute le informazioni musicali, Touchdesigner genera le animazioni visive e le invia all'HeavyM con una Spout link. Si tratta di una tecnologia che consente di inviare l'uscita video di un software a un altro. L'HeavyM riceve il video e, utilizzando un controller MIDI, Marin Scart applica effetti visivi aggiuntivi. L'uscita di HeavyM viene poi inviata a un'altra istanza di HeavyM sul secondo computer utilizzando Tecnologia NDI. In questo modo, il flusso video può essere trasmesso su una rete con una latenza minima. Infine, HeavyM modifica la geometria del video per inviarlo al videoproiettore, che lo visualizza nello spazio della performance dal vivo.
Per completare la videoproiezione, sono state aggiunte delle luci LED ai lati. Si abbinano ai colori della proiezione. I segnali di controllo delle luci sono messaggi DMX inviati da Touchdesigner attraverso una rete Wifi.
È il tuo turno!
La creazione di immagini reattive alla musica per una performance dal vivo richiede alcune conoscenze tecniche che possono essere facilmente reperite su Internet. D'altra parte, l'hardware necessario diventa sempre più accessibile, in termini di costi e di comprensione. Il progetto Stone Mine Mapping può sembrare complesso all'inizio, ma ha il vantaggio di fornire una panoramica degli strumenti e delle tecniche disponibili. È possibile considerare un sistema molto più semplice che si riduce a un solo computer e a degli altoparlanti. Molti esecutori di audiovisivi si accontentano di effettuare manipolazioni "a orecchio" in base alla musica che ascoltano, senza necessariamente creare un collegamento audio-video. Il risultato può essere talvolta più rilevante che lasciare che il computer decida da solo.
Da continuare
Per saperne di più sui proiettori
Abbiamo creato una guida dettagliata per scegliere il proiettore più adatto alle vostre esigenze. Scoprire i nostri consigli e gli errori da evitare in questa guida che spiega passo per passo le diverse funzioni.
Esplora il software HeavyM
HeavyM è un software di mappatura video che è in grado di generazione di effetti visivi e proiettarli su volumi, decorazioni o elementi architettonici. HeavyM è Compatibile con Mac e Windows.
IT 
EN 
FR 
ES 
DE 
PT 
CN 
KR 
JA 
RU