라이브 공연을 위한 음악 비주얼 제작 방법
일부 라이브 공연 참조
전자 음악의 팬이라면, 점점 더 많은 아티스트와 페스티벌이 이제舞台 장식에 주목하고 있다는 것을 이미 알아챘을 것입니다. 이는 일반적으로 고정된 셋트 요소로 구성되며, 때로는 비디오 프로젝션과 LED 스크린과 혼합됩니다. Tomorrowland 또는 Dour Festival 과 같은 이벤트는 이에 대한 아주 좋은 예입니다. 아티스트 중에서도 가장 유명한 Amon Tobin, Aphex Twin 또는 Eric Prydz등이 음악 반응형 비주얼을 사용한 선구자들입니다.
그러나 이러한 설치의 구현은 장시간의 디자인 시간과 전문 창의 팀의 협업을 필요로 합니다. 실제로, 조작해야 할 이미지의 고해상도와 음악에 반응할 수 있는 능력은 복잡한 문제입니다. 라이브 공연 중 사운드와 이미지 사이의 완벽한 동기화를 보장하기 위해서는 지연 시간이 최대한 짧아야 합니다. 또한, 종종 여러 대의 네트워크화된 컴퓨터를 사용하고 서로 동기화해야 합니다. 창의적인 능력 외에도 실제로 기술적인 전문성이 필요합니다. 마스터해야 할 모든 프로세스는 VJ 기술이라는 용어 아래에 그룹화될 수 있으며, 컴퓨터 그래픽, 컴퓨터 프로그래밍, 오디오와 비디오 신호 처리, 라이브 레코딩 등의 기술로 세분화될 수 있습니다.
본 글에서는 소규모에서 중규모까지의舞台 공연에 대한 음악 반응형 비주얼을 생성하는 것이 사실 생각만큼 어렵지 않다는 것을 입증하고자 합니다. 접근 가능한 소프트웨어와 저렴한 하드웨어를 활용하면, 몇 주의 작업을 할당하지 않고도 라이브 오디오비주얼 퍼포먼스를 구축할 수 있습니다. 이 점을 설명하기 위해, 아티스트 Control Random, Neurotypique, Marin Scart, Jean-Michel Light가 최근 석회암 채석장에서의 공연 개념 단계를 공유했습니다.
라이브 비주얼 효과를 위한 주요 포커스: FPS와 지연시간
라이브 공연을 위한 음악 반응형 비주얼을 만들 때 두 가지 중점 사항은 비주얼 애니메이션의 유동성 과 음악과 비디오 사이의 지연 시간입니다.
이미지는 최소한 초당 24 프레임의 속도로 생성되어야 합니다. 이 데이터는 프레임레이트라고 하며 FPS (초당 프레임)로 표현됩니다. 만약 이 값 아래로 내려가면, 예를 들어 초당 12 프레임이라면 모든 애니메이션은 더딘 것처럼 보일 것입니다. 빠른 애니메이션의 경우에는 종종 24 FPS 이상의 값을 목표로 해야 하며, 30 또는 심지어 60 FPS가 필요할 수 있습니다.
예를 들어, 매우 빠른 애니메이션이 있는 비디오 게임에서는 게이머들이 행동을 놓치지 않기 위해 해상도보다 프레임레이트를 선호합니다: 60 FPS에서의 Full HD 경험이 30 FPS에서의 4K보다 낫습니다. 따라서 더 나은 해상도와 더 나은 FPS 사이에는 상충관계가 있습니다.
컴퓨터가 시각 효과나 여러 HD 비디오의 동시 재생과 같은 자원 집약적인 처리에 사용될수록 FPS 수치는 떨어질 경향이 있습니다. 일반적으로 그래픽 카드의 설정이나 사용하는 소프트웨어의 설정을 통해 FPS 수치를 표시할 수 있습니다. 그런 다음에는 라이브 공연 중에 떨어뜨리지 않아야 할 FPS 한계와 비주얼의 복잡성 사이에서 최적의 균형을 찾아야 합니다.
지연시간 측면에서는, 음악에서의 어떤 사건과 이미지에서의 그 영향 사이의 지연을 의미합니다. 예를 들어, 음악에서 "킥"이 있을 때마다 오디오 반응형 왜곡의 시각 효과를 연결하고 싶을 것입니다. 일반적으로 두 사건 사이의 지연이 100ms 미만이면 사람에게는 즉각적으로 연결된 것처럼 보일 것입니다. 지켜야 할 절대적인 값이 있는 것은 아니지만, 100ms 이상의 지연은 인지될 것으로 간주됩니다. FPS가 낮을수록 음악 반응형 비주얼 효과에서의 지연시간은 더 커질 것입니다.
콘서트나 DJ 세트의 경우 음악이 라이브로 재생되고 미리 녹음되지 않았을 때, 항상 이미지에 비해 우세할 것입니다. 그것을 늦추어 시각 애니메이션과 일치시키는 것은 불가능합니다. 따라서 이미지가 동기화되지 않게 보이지 않도록 조정해야 합니다. 활성화된 효과를 줄여 컴퓨터를 느리게 하지 않거나, 더 강력한 모델을 사용할 계획을 세워야 합니다.
많은 비디오 조키(VJ)들이 사용하는 일반적인 기술은 시스템을 두 부분으로 나누는 것입니다: 미리 렌더링된 비디오 클립이 재생되고, 섞여진 다음에는 라이브로 적용되는 음악 반응형 또는 비반응형의 시각 효과와 결합됩니다. 그런 다음 모든 사용된 비디오 클립이 동일한 FPS에서 있어야 VJ가 재생되는 음악에 따라 속도를 조절할 수 있습니다.
음악 반응형 비주얼을 사용한 라이브 공연 예시
The Stone Mine Mapping 퍼포먼스는 소리와 이미지 간의 상호 작용을 탐구하고 관람자의 위치에 대한 질문을 제기하는 것을 목표로 합니다. 이것은 음악과 이미지가 라이브로 생성되는 실시간 오디오비주얼 퍼포먼스입니다.
컨트롤 랜덤(Control Random), 메종 사간(Maison Sagan), 마린 스카르트(Marin Scart)는 두 번 다시 정확하게 반복될 수 없는 구현 아이디어에 감동을 받았습니다. 그들의 공동의 소원은 각 예술가의 경험과 전문성을 초월한 다학제 프로젝트를 창출하는 것이었습니다. 퇴적암으로 둘러싸여 있다는 사실을 인식하게 되면서, 그들은 이 물질의 과거, 현재, 그리고 미래, 그리고 그것이 거쳐온 다양한 상태를 질문하고 그 물질의 미래에 자신들을 투영하고 싶었습니다. 이 5부로 이루어진 여정에서 음악 반응형 비주얼은 오디오 및 CV 정보를 사용하여 이미지 생성 소프트웨어에서 생성적 패치를 구동합니다.
이 라이브 공연의 예술가들
실제로: 라이브 공연의 시각 효과에 사용된 솔루션들
음악과 리듬을 맞추어 시각적 효과를 창조하기 위해 뇌로티픽과 마린 스카르트는 시스템의 다양한 요소를 상호 연결하였습니다. 컨트롤 랜덤의 모듈러 신디사이저는 발진기로부터 사운드 웨이브를 생성하는 전자-아날로그 악기입니다. 생성된 다양한 신호들은 뇌로티픽의 모듈로 전송되어, 여기서 필터링과 켜기/끄기 작업이 수행됩니다. 그런 다음 아날로그 신호들은 마린의 컴퓨터에서 해석될 수 있도록 디지털 신호로 변환됩니다. TouchDesigner는 음악에 반응하는 시각 효과를 생성할 수 있으며, 이것들은 HeavyM에 의해 적용된 셰이더로 수정되고 최종적으로는 MIDI 악기로 실시간으로 제어됩니다. 마지막으로 비디오 신호는 룸의 벽면에 시각 효과를 배치하는 매핑을 수행할 두 번째 컴퓨터로 전송됩니다.
라이브 공연 시스템 개요
라이브 공연 구성도
이것은 진동자, 필터, 효과 등 각각 기본적인 기능을 수행하는 독립적인 모듈의 조립체입니다. 조합의 가능성은 무한하며, 예술가들이 자신만의 고유한 음악을 제작할 수 있게 합니다. 컨트롤 랜덤과 뇌로티픽은 모듈러 신디사이저의 표준 포맷인 유로랙 시스템을 사용하였습니다. 사용 가능한 모든 모듈은 Modular Grid 웹사이트에 나열되어 있으며, 그 수는 11,000개 이상입니다!
물론, 음악과 동기화된 시각 효과를 만들기 위해 모듈러 신디사이저를 사용할 필요는 없습니다. DJ 믹서, 컴퓨터 잭, 또는 마이크를 사용할 수 있습니다.
컴퓨터
라이브 공연 중 지연 문제를 피하기 위해 프레임레이트를 60 FPS에 가깝게 유지하기 위해, 예술가들은 두 대의 컴퓨터를 사용하기로 선택하였습니다. 이 구성은 처리를 더 잘 분배하고 머신 간의 작업 부하를 나눌 수 있게 해줍니다. 이 솔루션의 다른 장점은, 서로 방해하지 않고 쌍으로 작업할 수 있으며, 공연 설정 중 문제를 더 쉽게 식별할 수 있다는 것입니다.
시각 효과 컴퓨터
오디오 정보가 전송되는 컴퓨터는 Windows 10, Intel i7 프로세서, Nvidia Geforce GTX 1650 그래픽 카드, 16GB RAM을 탑재한 타워 PC입니다.
이 컴퓨터에서는 TouchDesigner와 HeavyM이 실행되고 있습니다.
이미지 왜곡 컴퓨터
영상 매핑을 위해 사용되는 컴퓨터는 Windows 10, Intel i5 프로세서, Nvidia Geforce GTX 1050 그래픽 카드, 8GB RAM을 탑재한 노트북입니다.
이 컴퓨터에서는 HeavyM만이 실행되고 있습니다.
비디오 매핑 컴퓨터에 대한 더 많은 팁을 얻고 싶다면 전용 컴퓨터 기사를 참고하십시오..
프로젝터
사용된 프로젝터는 Optoma WU630 6000 루멘 풀 HD, 초점 거리의 비율이 0.9인 광학 렌즈를 갖추고 있습니다.
비디오 프로젝터를 선택하기 위한 더 많은 조언을 얻고 싶다면, 비디오 프로젝터에 관한 전용 기사를 참고하십시오.
LED 라이트
터널 옆면을 밝히기 위해 사용된 라이트는 배터리로 작동하는 Astera Titan Tube 입니다.
반응형 오디오 비주얼 효과 소프트웨어
TouchDesigner
Neurotypique과 Marin Scart는 TouchDesigner 소프트웨어에 자신들만의 작품을 프로그래밍하였습니다.
D erivative에서 개발한 TouchDesigner는 노드 기반 프로그래밍 시스템을 사용하여 실시간 시각 효과를 생성할 수 있습니다. TouchDesigner의 강점은 무한한 조합 가능성과 라이브 공연에 완벽하게 적합한 그래픽 파이프라인입니다. 그러나 정확히 원하는 결과를 얻기 위해서는 약간의 시간이 필요합니다.
HeavyM
HeavyM 은 Digital Essence에서 개발하였으며, 몇 번의 클릭으로 음악에 반응하는 효과를 만들 수 있습니다. Stone Mine Mapping 프로젝트에서는 HeavyM이 두 가지 수준에서 사용되었습니다. 첫째로, TouchDesigner 비디오 출력에 처리 효과 셰이더를 사용하는 것이고, 둘째로는 프로젝션 공간에 맞게 전체 이미지를 왜곡하는 것입니다.
HeavyM은 오디오 분석 기능을 직접 통합하여 음악에 반응하는 시각 효과를 만들 수 있게 합니다. 예를 들어, 잭 케이블로 컴퓨터를 오디오 소스에 연결하기만 하면 됩니다. 외부 사운드 카드를 사용할 수도 있습니다.
공연의 구성요소 간 통신
음악에 반응하는 비주얼을 생성하기 위해 다양한 하드웨어와 소프트웨어 요소는 반드시 정보를 교환해야 합니다.
모듈러 신디사이저는 ES-9 Expert Sleepers라는 특별한 모듈을 통해 오디오 정보를 보냅니다. 이것은 아날로그에서 디지털로의 변환기로, TouchDesigner에서 이해할 수 있는 디지털 데이터로 전기 신호를 변환합니다. 이러한 하드웨어를 가져야 할 필요는 없습니다. 왜냐하면 HeavyM이 오디오 분석 기능을 직접 통합하기 때문에, 잭 케이블로 컴퓨터를 오디오 소스에 연결하기만 하면 됩니다. 외부 사운드 카드도 사용 가능합니다.
음악 정보가 수신되면, TouchDesigner는 시각 애니메이션을 생성하고 Spout 링크를 통해 이를 HeavyM에 전송합니다. 이것은 하나의 소프트웨어의 비디오 출력을 다른 소프트웨어로 전송할 수 있는 기술입니다. HeavyM은 비디오를 받아 MIDI 컨트롤러를 사용하여 Marin Scart가 추가 시각 효과를 적용합니다. HeavyM의 출력은 NDI 기술을사용하여 두 번째 컴퓨터의 다른 HeavyM 인스턴스로 전송됩니다. 이를 통해 네트워크를 통해 최소한의 지연으로 비디오 스트림을 전달할 수 있습니다. 마지막으로, HeavyM은 비디오의 기하학을 수정하여 라이브 공연 공간에서 표시될 비디오 프로젝터로 보냅니다.
비디오 프로젝션을 완성하기 위해 측면에 LED 라이트가 추가되었습니다. 이들은 프로젝션의 색상과 일치합니다. 라이트를 제어하기 위한 신호는 TouchDesigner에서 Wifi 네트워크를 통해 DMX 메시지로 전송됩니다.
당신의 차례입니다!
라이브 공연을 위한 음악 반응 비주얼을 만드는 것은 인터넷에서 쉽게 찾을 수 있는 일부 기술 지식을 필요로 합니다. 반면에 필요한 하드웨어는 점점 더 접근성이 좋아지고 있습니다. Stone Mine Mapping 프로젝트는 처음에는 복잡해 보일 수 있지만, 사용 가능한 도구와 기술에 대한 개요를 제공하는 장점이 있습니다. 단일 컴퓨터와 스피커로 축소된 훨씬 더 단순한 시스템을 고려할 수 있습니다. 많은 오디오비주얼 퍼포머들은 꼭 오디오-비디오 연결을 만들지 않더라도, 듣는 음악에 따라 '귀로' 조작을 하면서 만족합니다. 결과는 컴퓨터가 스스로 결정하는 것보다 더욱 관련성이 있을 수 있습니다.
KR 
EN 
FR 
ES 
DE 
IT 
PT 
CN 
JA 
RU