¿Como crear efectos visuales responsivos a la música, para tus conciertos en vivo?
Algunas eminencias en los efectos visuales en conciertos
Si escuchas música electrónica, probablemente habrás notado que los artistas y festivales están muy comprometidos en crear decoraciones para el escenario, usualmente estas decoraciones son elementos fijos, otras veces son proyecciones de video en pantallas LED de gran tamaño. Eventos como el Tomorrowland o Dour Festival son buenos ejemplos, por el lado de los artistas podemos mencionar a Amon Tobin, Aphex Twin o Eric Prydz, mismos que podemos considerar referentes en el uso de efectos audiovisuales responsivos a la música en grandes escenarios.
Sin embargo, la implementación de tales instalaciones requiere una larga planeación, diseño y la colaboración de un gran equipo creativo. La alta resolución del material audiovisual y la configuración para que los efectos reaccionen con la música puede ser un problema complejo de resolver. Para garantizar la perfecta sincronización entre el sonido y las imágenes en un show en vivo, es necesario considerar elementos como la latencia, es algo crucial y debe ser tan corta como sea posible, además es necesario usar varias computadoras y sincronizarlas entre ellas para lograr los efectos deseados. Incluso son necesarias habilidades creativas y de diseño multimedia, se trata todo esto de una disciplina técnica compleja. Todos los procesos a aprender pueden ser agrupados bajo el término tecnologías de VJ y pueden ser divididas en, gráficos por computadora, programación, edición de audio y video, procesamiento de señales y artes visuales.
En este artículo, el objetivo es demostrar que crear efectos visuales responsivos a la música para pequeños y grandes performances, no es tan complicado como crees. Con un software robusto pero amigable como lo es HeavyM puedes lograrlo sin dedicar semanas a ello. Para ilustrar este punto los artistas Control Room, Neurotypique, Marin Scart y Jean-Michel Light nos compartieron cómo lograron hacer un show en vivo con efectos visuales responsivos en su último performance en una mina de roca.
Cosas a considerar para lograr efectos visuales audio responsivos: FPS y latencia.
Cuando crees efectos visuales para un performance en vivo hay dos cosas muy importantes a considerar para crear una experiencia visual fluida entre las animaciones y el audio , nos referimos a la latencia entre el audio y el video.
Es absolutamente crucial que las imágenes sean generadas al menos en una tasa de 24 cuadros por segundo , esta tasa de creación de cuadros generalmente se refiere en el medio como el framerate FPS , si el framerate es menor a los 24 cuadros por segundo las animaciones y efectos lucirán “saltadas” y no lucirán bien para la audiencia, en el caso que lo demande el material audiovisual a generar, en ocasiones es necesario que el framerate sea mayor, por ejemplo 30 o 60 cuadros por segundo.
Por ejemplo, en videojuegos con animaciones y acción muy rápidas como los de disparos, los gamers prefieren un framerate elevado a una resolución elevada, esto para evitar perderse cualquier detalle de la acción: suele ser una mejor experiencia correr estos juegos a 60 FPS en full HD que correrlos a 30 FPS en 4K, suele haber una interrelación entre la resolución y los FPS, a veces es mejor elegir uno, dependiendo de la ocasión.
Entre más gráficos tenga la computadora que procesar, por ejemplo por los efectos visuales o el playback de varios videos HD, más tenderán a disminuir los FPS. Generalmente es posible mostrar en la pantalla el número de FPS que se están desplegando, esto te ayudará a encontrar un buen balance entre los gráficos que se muestran y el FPS, obtener un buen balance, permitirá un show consistente.
En cuanto a la latencia, se refiere al retraso entre la música y su repercusión en el efecto visual, por ejemplo cada tamboreo en la música puede asociarse a un efecto visual, como regla general podemos decir que el cerebro tomará dos eventos como relacionados, si estos pasan en menos de 100 ms entre uno y otro. No hay una regla fija respecto a esto, pero un retraso mayor entre un evento musical y el efecto visual, será notable para el público y la calidad del show bajará. Considera que entre menor sean los FPS, mayor será la latencia de respuesta entre el audio y el video.
En el caso de un concierto de un DJ, donde la música es creada en vivo y no solo pregrabada, siempre habrá un desbalance en la latencia y no es posible hacer más lenta la música para hacer que coincida con los efectos visuales. Por lo tanto hay que lograr que se sincronicen los efectos visuales con la música, sea reduciendo el peso de los efectos visuales o usando equipo más robusto que soporte la demanda.
Una técnica empleada por muchos VJs (Video Jockeys) es la de dividir el sistema en dos partes, clips pregrabados que se muestran en pantalla y efectos visuales que reaccionan a la música, es necesario que todos los videoclips sean hechos en la misma resolucion y FPS, para que el VJ pueda ajustar la velocidad del video, de acuerdo a la música que se está tocando.
Un performance en vivo usando efectos visuales que reaccionan al sonido
En show de video mapping en una mina , fue diseñado para explorar las interacciones entre el sonido y los efectos visuales para que el espectador se cuestione su lugar en el espectáculo. Se trata de un performance en el que tanto la música como los efectos visuales se generan en vivo.
Control Random, Maison Sagan y Marin Scart, se motivaron en la idea de un show que no pudiera ser igual, incluso si se intentara en las mismas condiciones. El deseo colectivo de los artistas fue crear un proyecto multidisciplinario que fuera más allá de lo que cada artista podría lograr por su lado. Al estar rodeados de piedra sólida en un lugar como esta mina, los hacía cuestionarse el pasado, presente y futuro de la locación. En este viaje audiovisual de 5 partes, los efectos visuales reactivos al sonido, fueron logrados al hacer uso de una mezcla de técnicas, computadoras, sintetizadores y software.
Los artistas de este performance en vivo
La música fue creada en vivo por Control Random usando un sintetizador modular Eurorack, si quieres conocer más, puedes escuchar sus composiciones en su Instagram y Bandcamp perfiles.
Marin Scart y Neurotypique de Casa Sagan crearon el sistema de generación de imágenes, compuesto de una parte análoga basada en sintetizadores modulares y la parte digital, la cual usa una computadora con TouchDesigner y HeavyM.
Por fin, Jean-Michel Light añadió luces controladas a través del protocolo DMX para una mejor apreciación del espacio en la mina.
En práctica: Las soluciones empleadas para crear los efectos visuales en el performance en vivo.
Para crear efectos visuales que reaccionan con la música, Neurotypique y Marin Scart, interconectaron diferentes elementos del sistema. El sistema sintetizador modular de Control Random genera ondas sonoras de osciladores, luego estas señales son enviadas al módulo controlado por Neurotypique el cual las filtra y enciende o apaga dependiendo de lo que se necesite. Luego las señales análogas son convertidas a señales digitales a interpretarse por la computadora de Marin. Touchdesigner puede generar efectos visuales que son reactivos a la música, mismos que son modificados con shaders dentro de HeavyM y eventualmente controlados en vivo con un tablero MIDI. Finalmente la señal de video es enviada a una segunda computadora que va a desplegar el video mapping en las paredes de la mina.
Esquema del show en vivo
El sistema de audio: sintetizadores modulares.
El sistema de audio consiste en módulos independientes donde cada parte tiene una función, por ejemplo, el oscilador, el filtro o los efectos. Las posibilidades de combinación son infinitas y permiten a los artistas producir música única. Control Random y Neurotypique han usado el sistema sintetizador Eurorack el cual hace uso de un formato estándar para sintetizadores. Todos los módulos aquí mencionados están listados en el sitio Modular Grid website. ¡Hay más de 11,000 de ellos!
Por supuesto, no es necesario usar un sintetizador modular para crear efectos visuales que se sincronicen con la música, puedes usar prácticamente cualquier fuente, por ejemplo una mezcladora de DJ, un jack de audio universal, incluso un micrófono.
Computadoras
Para mantener el framerate cerca de los 60 FPS y para evitar cualquier desfase en la latencia durante el show, los artistas optaron por hacer uso de dos computadoras. Esta configuración permite incrementar el poder de procesamiento y dividir las tareas entre las máquinas, otra ventaja añadida es que al seccionar las tareas es más fácil identificar cualquier error durante la configuración y el show en vivo.
La computadora de efectos visuales
La computadora encargada de esta tarea, a la cual es enviada la información de audio, tiene instalados dos programas, Touchdesigner y HeavyM.
Es una computadora de torre que cuenta con Windows 10, un procesador Intel i7, una tarjeta gráfica Nvidia Geforce GTX 1650 y 16 GB de RAM.
La computadora de efectos de distorsión
La computadora del video mapping, misma que es empleada para encuadrar las imágenes en el espacio físico, es una laptop con Windows 10, un procesador Intel i5, una tarjeta gráfica Nvidia Geforce GTX 1050 y 8 gb de RAM.
Esta computadora solo corre HeavyM.
Para más detalles sobre cómo elegir una computadora dedicada al video mapping, puedes revisar este artículo.
El proyector
El proyector empleado fue un Optoma WU630 full HD con 6000 lumens de capacidad, con una capacidad de enfoque óptico de 0.9
Para más consejos respecto a cómo elegir un proyector adecuado para tus proyectos, te sugerimos este artículo acerca de los mejores proyectores para video mapping.
Luces LED
Las luces empleadas para iluminar los túneles en el show son los Astera Titan Tube funcionando con baterías.
Software empleado para la creación de efectos visuales
Touchdesigner
Neurotypique y Marin Scart programaron su composición en el software Touchdesigner.
Desarrollado por Derivative,Touchdesigner permite la creación de efectos visuales en tiempo real, usando un sistema de programación basada en nodos. La principal fuerza de Touchdesigner, es la infinita posibilidad de combinaciones, asociada a una gran compatibilidad a los shows en vivo, tiene una curva de aprendizaje un poco prolongada y tomará un tiempo lograr los resultados que deseas.
HeavyM
HeavyM ha sido desarrollado por Digital Essence y permite crear efectos visuales audio responsivos en unos pocos clics, HeavyM es empleado en dos niveles. El primero es agregar shaders a la salida de video de Touchdesigner, el segundo nivel sería la distorsión de la salida de video del proyector para adecuarse al espacio irregular.
HeavyM integra de forma nativa capacidades de efectos audiovisuales que reaccionan a la música, todo lo que debes de hacer es conectar la computadora a una fuente de audio mediante un jack universal de audio, también puede lograrse encendiendo el micrófono de la computadora, los efectos visuales comenzarán a reaccionar al audio, algo increíble.
La comunicación entre los instrumentos del show
Para generar la responsividad de los efectos visuales, fue necesario la intercomunicación entre los elementos del software y hardware.
Sintetizadores modulares envían la señal de audio a través de un módulo especial, el ES-9 Expert Sleepers, este convierte las señales análogas a digitales, mismas que pueden ser comprendidas y transformadas por Touchdesigner. No es necesario contar con este tipo de hardware en específico, ya que HeavyM integra de forma nativa el análisis de audio y brinda la posibilidad de hacer que los efectos visuales reaccionen a la música, todo lo que tienes que hacer es conectar una fuente de audio a la computadora que corre HeavyM para lograrlo, incluso es posible usar una tarjeta de sonido externa.
Una vez que la señal de audio es recibida por Touchdesigner, este genera las animaciones visuales, mismas que luego son enviadas a través de Spout , este programa permite enviar una señal de video de un software a otro. HeavyM recibe la señal de video del artista Marin Scart haciendo uso de un control MIDI, mismo que manipula en tiempo real los efectos visuales. Luego de esto la señal de HeavyM, es enviada a otra computadora con HeavyM a través de la Tecnología NDI, esto permite que la segunda computadora se encargue de enviar la señal de video de HeavyM al proyector, con una mínima latencia y un buen FPS, además de que esta computadora se encarga de cuadrar la proyección a la geometría irregular de la mina de roca, lo cual hace que la experiencia sea fluida y los efectos sean increíbles.
Para completar la proyección, se agregaron luces LED en los lados de los tableros de trabajo, estas luces cambian con los colores de la proyección, el control de estas luces se realiza a través de señales DMX enviadas a través de una red de WIFI desde TouchDesigner.
Es tu turno, ¡puedes lograrlo!
Crear efectos visuales responsivos a la música para conciertos requiere solo un poco de dominio técnico, mismo que puede ser encontrado en internet sin problema, el hardware necesario es cada vez más accesible en términos económicos y de dominio. El show de video mapping en la mina de roca puede lucir complejo a primera vista, pero no lo es. En este artículo hemos dado un repaso a las herramientas y técnicas con las que lograron este show, pero no pierdas de vista que es posible idear un sistema más sencillo para el mismo resultado, usando una sola computadora y el sistema de audio que tengas disponible, muchos artistas audiovisuales están satisfechos con ir creando y cambiando los efectos visuales “de oído” y de forma manual a medida que avanza el show, sin necesidad de establecer un enlace entre el audio y el video, el resultado puede ser increíble. HeavyM incluye de forma nativa la capacidad de crear efectos visuales que reaccionan a la música en vivo, prueba esta capacidad y te sorprenderas, una experiencia única.
Continuación
Más información sobre proyectores
Hemos creado una guía detallada para elegir el proyector adecuado a sus necesidades. Descubra nuestros consejos y errores a evitar en esta guía que explica paso a paso las distintas funciones.
Explore el software HeavyM
HeavyM es un software de vídeo mapping capaz de generación de efectos visuales y proyectarlos sobre volúmenes, decoraciones o elementos arquitectónicos. HeavyM es Compatible con Mac y Windows.
ES 
EN 
FR 
DE 
IT 
PT 
CN 
KR 
JA 
RU