Creare una mappatura di proiezione interattiva con l'OSC
Impressionante la performance di Hakanaï di Adrien M & Claire B
Che cos'è la mappatura per proiezione?
La mappatura delle proiezioni, nota anche come video mapping o realtà aumentata spaziale, è una tecnologia innovativa che trasforma superfici ordinarie in display dinamici proiettandovi contenuti digitali. Questa tecnica ha rivoluzionato diversi settori, tra cui il marketing, l'intrattenimento e l'istruzione, creando esperienze visive ipnotiche che catturano il pubblico. Che si tratti di trasmettere messaggi di marca, creare fondali scenici unici, decorare pareti e soffitti o evocare emozioni, il projection mapping offre infinite possibilità. Trasformando qualsiasi superficie in una tela, permette ad artisti e creatori di superare i confini della narrazione visiva e di creare esperienze coinvolgenti che lasciano un'impressione duratura.
Come funziona la mappatura per proiezione?
La mappatura delle proiezioni si basa sull'utilizzo di un software specializzato per mappare il contenuto digitale su una superficie fisica, trasformandolo in un display vibrante. Il processo inizia con la pianificazione del concetto e la selezione o la creazione dell'oggetto da proiettare. Utilizzando un software di programmazione virtuale, il contenuto video viene mappato meticolosamente sulle superfici dell'oggetto. Nei flussi di lavoro di mappatura 2D, le immagini o i video vengono assegnati a maschere che corrispondono alle superfici dell'oggetto. Per la mappatura 3D, la scena viene ricreata in un software specializzato in 3D e la versione virtuale degli oggetti viene proiettata sulle loro controparti reali. Ciò comporta l'impostazione di coordinate precise per il posizionamento dell'oggetto rispetto al videoproiettore, tenendo conto dell'orientamento XYZ del proiettore, della sua posizione e delle specifiche dell'obiettivo. Il risultato è una perfetta integrazione dei contenuti digitali con il mondo fisico, creando un'esperienza visiva straordinaria.
Che cos'è l'Arte Interattiva?
L'arte interattiva è una forma d'arte dinamica che reagisce al pubblico o all'ambiente. Le opere sono generalmente presentate sotto forma di installazioni alle quali il pubblico può partecipare. Possono anche essere sperimentate attraverso performance durante le quali uno o più artisti eseguono azioni. I display interattivi sono strumenti versatili utilizzati in varie applicazioni come la pubblicità, l'istruzione e gli eventi, per migliorare il coinvolgimento degli utenti e la consapevolezza del marchio.
L'arte interattiva è apparsa alla fine degli anni Cinquanta in seguito al desiderio degli artisti di esporre in luoghi meno esclusivi dei musei o delle gallerie. Le strade e i negozi sono diventati spazi di espressione per proporre esperienze più partecipative e inclusive. I partecipanti non sono più spettatori e il loro ruolo può assomigliare a quello di un attore.
I primi esempi di arte interattiva erano sculture che potevano essere toccate e giocate. Ad esempio, Niki de Saint Phalle ha prodotto Golem, una scultura monumentale dotata di uno scivolo con cui i bambini possono giocare. Un altro esempio, nel 1971, Gordon Matta-Clark cucinò un maiale sotto il ponte di Brooklyn e servì 500 panini come parte della performance. I giochi interattivi sono una componente chiave dell'arte interattiva, che coinvolge utenti di tutte le età grazie al tracciamento del movimento e alle opzioni di proiezione interattiva personalizzabili.
Alcuni eventi aziendali implementano questi processi, ad esempio nel lancio di prodotti, per coinvolgere il pubblico e lasciargli un souvenir memorabile o offrire un'esperienza personalizzata.
Da un punto di vista tecnico, le performance o le installazioni interattive utilizzano sempre più spesso computer e proiezioni interattive. I sensori vengono utilizzati in combinazione con i computer in modo che gli eventi del mondo reale possano essere interpretati dai programmi e quindi trascritti, ad esempio, in suoni o immagini. I sistemi interattivi integrano tecnologia e arte per creare installazioni interattive che rispondono al movimento del pubblico, arricchendo gli eventi con elementi visivi dinamici.
Controllo del suono aperto (OSC) per display interattivi
L'arte interattiva si basa sul dialogo tra diverse entità. Di solito, queste entità non sono nativamente progettate per dialogare tra loro. Ad esempio, un software musicale e un software video installati sullo stesso computer, un Mac e un PC sulla stessa rete, oppure un essere umano e una macchina nella stessa stanza.
Gli standard esistono per facilitare gli scambi tra software e hardware diversi. Si parla di protocolli di rete, come UDP o TCP, per designare le regole che governano le interazioni tra le diverse entità sulla stessa rete. Tra gli standard utilizzati, c'è anche Controllo del suono apertoche è un formato di trasmissione basato su UDP o TCP.
I protocolli possono essere paragonati alle regole di una discussione, come quella di non interrompersi a vicenda. I formati possono essere paragonati alla grammatica di una lingua, ad esempio iniziare una frase con il soggetto. Se tutti seguono gli stessi standard, tutti si capiscono!
Open Sound Control è un formato ispirato a MIDI (Musical Instrument Digital Interface) utilizzata per le comunicazioni tra strumenti musicali fin dagli anni '80. Riprende l'idea di connettività tra strumenti e software attraverso lo scambio di messaggi, ma con notevoli miglioramenti. OSC può utilizzare una connessione di rete, come Internet o una rete locale, può trasportare un maggior numero di informazioni e offre un sistema basato sugli indirizzi, simile ai percorsi dei file.
Originariamente progettato per applicazioni musicali, l'OSC è diventato uno standard utilizzato da centinaia di applicazioni software. Non è più limitato ai dati audio ed è in grado di trasportare immagini o informazioni per il tracciamento del movimento, ad esempio per le proiezioni interattive. L'OSC può anche essere utilizzato per sincronizzare gli effetti sonori con gli elementi visivi, migliorando l'esperienza sensoriale complessiva della proiezione interattiva.
Software e strumenti di mappatura delle proiezioni per l'arte interattiva
Esistono numerosi software e strumenti per la mappatura delle proiezioni, ognuno dei quali offre caratteristiche e capacità uniche per soddisfare le diverse esigenze dei progetti. Tra i software più diffusi ci sono Resolume, HeavyM e TouchDesigner, che offrono una serie di strumenti come le funzioni di trascinamento e rilascio, gli strumenti di deformazione e la fusione dei bordi per creare proiezioni complesse e coinvolgenti. Queste piattaforme offrono anche funzioni avanzate come il motion tracking, la modellazione 3D e il rendering in tempo reale, consentendo la creazione di display altamente interattivi e dinamici. Nella scelta del software è fondamentale considerare i requisiti specifici del progetto, tra cui il tipo di superficie di proiezione, le dimensioni della proiezione e il livello di interattività desiderato. Scegliendo gli strumenti giusti, i creatori possono dare vita alla loro visione e offrire esperienze visive straordinarie.
Alcuni esempi di software artistico interattivo compatibile con Open Sound Control: PureData, Vézer, IanniX, Chataigne, Max/MSP, OpenFrameworks, Elaborazione, HeavyM, TouchDesigner, Augmenta...
A seconda del loro utilizzo, queste applicazioni software permettono di controllare una proiezione interattiva generata con l'HeavyM utilizzando, ad esempio, dati esterni. Due programmi che hanno attirato la nostra attenzione sono Vézer per Mac e Chataigne per PC. Con questi strumenti, è possibile controllare l'HeavyM con oscillatori o curve di variazione disegnate in precedenza.
Per quanto riguarda le interazioni tra uomo e computer, si parla di HMI (Human-Machine Interface). Le HMI sono le superfici visibili del software e consentono agli utenti di manipolarne le funzionalità. In realtà, in questo momento state utilizzando l'HMI del vostro browser Internet, che vi permette di leggere queste righe. La parte nascosta del browser consente di scambiare informazioni con altri computer e server su Internet.
Hexler sviluppa TouchOSCuno strumento per la creazione di interfacce HMI per l'invio di messaggi OSC. Con TouchOSC è possibile creare applicazioni, utilizzabili su tablet e smartphone, per controllare software compatibili con OSC. Scoprire qui le informazioni tecniche per collegare TouchOSC all'HeavyM.
Per facilitare l'utilizzo di TouchOSC con l'HeavyM, offriamo interfacce preconfigurate disponibili per il download qui. Queste interfacce incorporano le funzioni principali del software e devono essere semplicemente installate sul tablet per controllare a distanza l'HeavyM.
Infine, oltre al software, è possibile utilizzare dispositivi in grado di pilotare il software con l'OSC. Questo è il caso, ad esempio, del Stream Deck creato da Elgato. Questo dispositivo permette di controllare semplicemente le funzionalità del software di proiezione interattiva assegnando un tasto. Il vantaggio principale di questo sistema è che i tasti sono schermi in miniatura, sui quali è possibile visualizzare un'icona. È molto facile da usare!
Esempio: come Data Flaw ha creato esperienze immersive utilizzando Open Sound Control?
Romain Astouric, alias Data Flaw, è appassionato della rivoluzione digitale in cui stiamo vivendo**. Essa interessa tutti i campi artistici, con la produzione di un numero sempre maggiore di opere che utilizzano la tecnologia nella musica, nelle arti visive e soprattutto nell'arte interattiva. La tecnologia si è democratizzata ed è ormai a portata di clic. Gli artisti hanno ora accesso a strumenti economici e facili da usare per le proiezioni interattive. Per ottenere una perfetta integrazione del video sulle superfici, è fondamentale creare maschere che corrispondano alla forma degli oggetti da animare.
Data Flaw, in qualità di tecnologo creativo, insegna il coding e l'uso della tecnologia per scopi creativi a ESME Sudria, una scuola di ingegneria a Parigi. Trova ispirazione nel lavoro di artisti come 1024 ArchitetturaJoanie Lemercier, e il Collettivo di scalaNel suo lavoro artistico, Data Flaw utilizza regolarmente il projection mapping e si compiace della sua apertura a un pubblico più vasto grazie a strumenti come HeavyM.
Per il suo progetto presso il Makerlab di Parigi Centro di ricerca interdisciplinareData Flaw ha integrato una nozione di interattività per includere lo spettatore nell'opera. L'approccio desiderato è sia estetico che ludico. Il pubblico diventa attore dell'installazione e si rende conto delle conseguenze delle proprie azioni sul risultato visualizzato come proiezione interattiva. Le pareti interattive possono trasformare varie superfici in display completamente interattivi, migliorando il coinvolgimento degli utenti e creando esperienze coinvolgenti.
L'installazione è una superficie di proiezione realizzata con strumenti di stampa e taglio digitale, sulla quale vengono proiettate animazioni visive generate dal software HeavyM. L'artista ha utilizzato un accessorio molto diffuso, un controller per PlayStation 5, collegato a HeavyM via OSC, attraverso un programma creato con Processing. I progetti di video mapping possono trasformare gli spazi integrando movimento e suono, permettendo ai partecipanti di interagire con le installazioni artistiche.
Il joystick può attivare diverse serie di effetti e sequenze. Ad esempio, è possibile controllare le forme e i loro colori utilizzando i joystick. Chiunque può creare facilmente bellissime combinazioni di colori dal vivo. La tavolozza dei colori e i numerosi gradienti sono ispirati a un particolare videogioco: Hyper Light Drifter. I videoproiettori sono essenziali per creare ambienti immersivi che rispondono alle interazioni del pubblico, facilitando esperienze visive uniche.
A differenza di un oggetto tangibile, il codice informatico non è mai finito. Ci sono sempre funzioni da migliorare o nuovi bug da risolvere. Questo è ciò che Data Flaw ama particolarmente. Per i suoi progetti, ha sempre bisogno di una messa a punto, con un sacco di tira e molla, test e prove. HeavyM è una parte indispensabile del suo processo creativo, sia nella fase di prototipazione che nelle regolazioni finali.
Con HeavyM è possibile modificare la proiezione interattiva, modificare o aggiungere forme con pochi clic, senza dover ricominciare da capo o passare attraverso una fase di rendering. È uno strumento flessibile e potente, senza inutili complessità.
La democratizzazione della tecnologia consente oggi a una moltitudine di artisti di esprimere il proprio talento creativo. Sono sempre più numerose le installazioni interattive e il pubblico richiede questo tipo di esperienza, sia estetica che ludica. Per trarre ispirazione, potete trovare esempi di creazioni su Design Boom o Cacciatore di tendenze.
Il futuro della mappatura interattiva delle proiezioni
Il futuro del projection mapping interattivo è incredibilmente promettente, con i progressi della tecnologia e del software che aprono la strada a esperienze più complesse e coinvolgenti. L'interattività è destinata a diventare la prossima frontiera del projection mapping, con tecnologie che consentono agli spettatori di influenzare il mapping in tempo reale attraverso il suono, il tatto e la vista. La tecnologia indossabile sta migliorando l'esperienza interattiva e si prevede che l'integrazione dell'intelligenza artificiale e dell'apprendimento automatico elevi ulteriormente la tecnologia. Nonostante le sfide, come i costi e i tempi di produzione, il potenziale per creare esperienze uniche e memorabili è immenso. Con la continua evoluzione della tecnologia, la mappatura interattiva delle proiezioni giocherà senza dubbio un ruolo fondamentale nel plasmare il futuro della narrazione visiva e delle esperienze immersive.
Da continuare
Per saperne di più sui proiettori
Abbiamo creato una guida dettagliata per scegliere il proiettore giusto per le vostre esigenze. Scoprite i nostri consigli e gli errori da evitare in questa guida che spiega passo dopo passo le diverse caratteristiche.
Esplora il software HeavyM
HeavyM è un video mapping software in grado di generare effetti visivi e proiettarli su volumi, decorazioni o elementi architettonici. HeavyM è compatibile con Mac e Windows.
IT 
EN 
FR 
ES 
DE 
PT 
CN 
KR 
JA 
RU