Как создать музыкальные визуальные эффекты для живого выступления?
Некоторые ссылки на живые выступления
Если вы являетесь поклонником электронной музыки, то наверняка уже заметили, что все больше артистов и фестивалей уделяют внимание оформлению сцены. Обычно оно состоит из фиксированных элементов декораций, иногда смешанных с видеопроекцией и светодиодными экранами. Такие мероприятия, как Tomorrowland или Фестиваль Дур являются очень хорошими примерами. Что касается художников, то среди самых известных можно назвать такие имена, как Амон Тобин, Aphex Twin или Эрик Прайдз. Они стали первопроходцами в использовании музыкального чуткого визуального ряда на масштабной сцене.
Однако реализация таких инсталляций требует длительного времени на проектирование и сотрудничества со специальной творческой командой. Действительно, высокое разрешение изображений, которыми необходимо манипулировать, и их способность реагировать на музыку - сложные проблемы, которые необходимо решить. Чтобы гарантировать идеальную синхронизацию звука и изображения во время живого выступления, время задержки должно быть как можно меньше. Кроме того, часто приходится использовать несколько компьютеров, объединенных в сеть, и синхронизировать их друг с другом. Помимо творческих навыков, необходима настоящая техническая экспертиза. Все процессы, которые необходимо освоить, можно объединить под термином VJ-технологии и разбить на такие техники, как компьютерная графика, компьютерное программирование, обработка аудио- и видеосигналов, живая запись...
Цель этой статьи - показать, что создание музыкально-чувствительных визуальных эффектов для малых и средних сценических представлений на самом деле не так уж недоступно, как может показаться. С помощью доступного программного обеспечения и недорогого оборудования вполне возможно создать живое аудиовизуальное представление, не посвящая этому недели работы. Чтобы проиллюстрировать эту мысль, художники Control Random, Neurotypique, Марин Скарт и Жан-Мишель Лайт поделились этапами разработки концепции своего последнего перформанса в известняковом карьере.
Точки фокусировки для живых визуальных эффектов: FPS и задержка.
При создании музыки и визуальных эффектов для живого выступления в центре внимания находятся два момента плавность визуальных анимаций и Задержка между музыкой и видео.
Необходимо, чтобы изображения генерировались со скоростью не менее 24 кадров в секунду. Эти данные называются частотой кадров и выражаются в FPS (кадров в секунду). Если значение ниже этого, например 12 кадров в секунду, все анимации будут выглядеть дергаными. В случае быстрой анимации часто необходимо стремиться к значению выше 24 кадров в секунду: 30 или даже 60 кадров в секунду.
Например, в видеоиграх с очень быстрой анимацией, Геймеры предпочитают частоту кадров разрешению, чтобы не пропустить ни одного действия: лучше 60 кадров в секунду в Full HD, чем 30 кадров в секунду в 4K. Таким образом, существует компромисс между лучшим разрешением и лучшим FPS.
Чем больше компьютер используется для ресурсоемкой обработки, например, визуальных эффектов или одновременного воспроизведения нескольких HD-видео, тем сильнее будет падать показатель FPS. Как правило, число FPS можно изменить с помощью настроек видеокарты или используемого программного обеспечения. В этом случае вам предстоит найти оптимальный баланс между сложностью визуальных эффектов и предельным значением FPS, ниже которого не следует опускаться во время живого выступления.
Что касается латентности, то это задержка между появлением в музыке и ее откликом в изображениях. Например, на каждый "удар" в музыке вы хотите ассоциировать визуальный эффект искажения аудиореакции. В качестве общего правила можно сказать, что два события будут казаться человеку мгновенно связанными, если задержка между ними составляет менее 100 мс. Не существует абсолютного правила относительно величины, которую следует соблюдать, но задержка более 100 мс будет считаться ощутимой. Чем ниже FPS, тем больше задержка при воспроизведении музыки и визуальных эффектов.
В случае концерта или диджейского сета, когда музыка звучит вживую, а не записана заранее, она всегда будет доминировать по отношению к изображениям. Ее невозможно замедлить, чтобы она совпадала с визуальной анимацией. Поэтому изображениям приходится подстраиваться, чтобы не выглядеть рассинхронизированными. Либо вы уменьшите количество активированных эффектов, чтобы не замедлять работу компьютера, либо планируете использовать более мощную модель.
Распространенная техника, используемая многими видео-жокеями (VJ), заключается в разделении системы на две части: предварительно отрендеренные видеоклипы проигрываются, смешиваются вместе, а затем сочетаются с визуальными эффектами, реагирующими или не реагирующими на музыку, которые применяются вживую. При этом необходимо, чтобы все используемые видеоклипы имели одинаковый FPS, чтобы виджей мог регулировать их скорость в зависимости от звучащей музыки.
Пример живого выступления с использованием музыкальных реактивных визуальных эффектов
Сайт Картографирование каменных рудников Перформанс призван исследовать взаимодействие между звуком и изображением и поставить под вопрос место зрителя. Это аудиовизуальный перформанс в реальном времени, в котором музыка и изображение создаются вживую.
Control Random, Maison Sagan и Marin Scart были движимы идеей реализации, которая не может быть повторена в точности дважды. Их коллективным желанием было создать мультидисциплинарный проект, выходящий за рамки опыта и знаний каждого художника. Осознав, что их окружает осадочная горная порода, они захотели задать вопрос о прошлом, настоящем и будущем этого материала, о различных состояниях, которые он пережил, и спроецировать себя на его будущее. В этом путешествии, состоящем из 5 частей, визуальные образы, реагирующие на музыку, связаны со звуком с помощью аудио- и CV-информации, приводящей в действие генеративные патчи в программах для создания изображений.
Артисты этого живого выступления
Музыка создается Control Random вживую с помощью модульного синтезатора Eurorack. Его композиции, в основном исполняемые вживую, можно найти на его Instagram и Bandcamp профили.
Марин Скарт и Нейротипик с сайта Дом Саган создали систему генерации изображений, состоящую из аналоговой части, основанной на модульных синтезаторах, и компьютерной части с TouchDesigner и программное обеспечение HeavyM.
Наконец, Жан-Мишель Лайт добавили освещение с управлением DMX, чтобы лучше оценить пространство каменоломни.
На практике: решения, используемые для визуальных эффектов живого выступления
Чтобы создать визуальные эффекты в ритме с музыкой, Neurotypique и Марин Скарт соединили между собой различные элементы системы. Модульные синтезаторы Control Random - это электроаналоговые инструменты, генерирующие звуковые волны с помощью осцилляторов. Различные генерируемые сигналы поступают в модули Neurotypic, которые затем выполняют фильтрацию и операции включения/выключения. Затем аналоговые сигналы преобразуются в цифровые, которые интерпретируются компьютером Marin. TouchDesigner может генерировать визуальные эффекты, реагирующие на музыку, которые затем изменяются с помощью шейдеров, применяемых HeavyM, и в конечном итоге управляются вживую с помощью MIDI-инструмента. Наконец, видеосигнал отправляется на второй компьютер, который выполняет мэппинг, то есть позиционирование визуальных эффектов на стенах комнаты.
Обзор системы живого исполнения
Источник звука: модульные синтезаторы
Это сборка независимых модулей, каждый из которых выполняет свою основную функцию: осциллятор, фильтр, эффект... Возможности комбинирования безграничны и позволяют артистам создавать уникальную для них музыку. Control Random и Neurotypique использовали систему Eurorack, которая является стандартным форматом для модульных синтезаторов. Все доступные модули перечислены на сайте Модульная сетка сайт. Их более 11 000!
Конечно, для создания визуальных эффектов в синхронизации с музыкой не обязательно использовать модульные синтезаторы. Вы можете использовать любой источник: диджейский микшер, компьютерный разъем или даже микрофон.
Компьютеры
Чтобы поддерживать частоту кадров близкой к 60 FPS и избежать проблем с задержками во время живого выступления, художники решили использовать два компьютера. Такая конфигурация позволяет лучше распределить обработку и разделить нагрузку между машинами. Другие преимущества такого решения заключаются в том, что оно позволяет работать в паре, не мешая друг другу, и легче выявлять проблемы во время подготовки к выступлению.
Компьютер для визуальных эффектов
Компьютер, на который отправляется аудиоинформация, - это башенный ПК с Windows 10, процессором Intel i7, видеокартой Nvidia Geforce GTX 1650 и 16 ГБ оперативной памяти.
На этом компьютере запущены программы Touchdesigner и HeavyM.
Компьютер для искажения изображения
Компьютер для видеомэппинга, который используется для подгонки изображений к пространству, представляет собой ноутбук с Windows 10, процессором Intel i5, видеокартой Nvidia Geforce GTX 1050 и 8 ГБ оперативной памяти.
На этом компьютере запущена только программа HeavyM.
Другие советы о том, на что следует обратить внимание при выборе компьютера для видеомэппинга, вы найдете в статье специальная компьютерная статья.
Проектор
В качестве проектора используется Optoma WU630 с яркостью 6000 люмен и разрешением Full HD с короткофокусной оптикой с коэффициентом 0,9.
Дополнительные советы по выбору видеопроектора см. в разделе посвящённая статья на видеопроекторах.
Светодиодные лампы
Для освещения туннелей по бокам используются светильники. Титановая трубка Astera на батарее.
Отзывчивые программы для создания визуальных эффектов
Touchdesigner
Neurotypique и Марин Скарт запрограммировали свою собственную композицию в программе Touchdesigner.
Разработано ПроизводныеTouchdesigner позволяет создавать визуальные эффекты в реальном времени с помощью системы узлового программирования. Сильной стороной Touchdesigner является бесконечное количество возможных комбинаций, связанных с графической трубой, идеально приспособленной для живых выступлений. Однако, чтобы получить именно то, что вы хотите, требуется некоторое время на освоение.
HeavyM
HeavyM разработан компанией Digital Essence и позволяет создавать музыкальные эффекты в несколько кликов. В проекте Stone Mine Mapping HeavyM использовался на двух уровнях. Первый - это использование шейдеров для обработки эффектов на видеовыходах Touchdesigner. Второй - искажение общего изображения для соответствия проекционному пространству.
В HeavyM интегрированы функции анализа звука, позволяющие создавать визуальные эффекты, реагирующие на воспроизводимую музыку. Для этого достаточно подключить компьютер к источнику звука, например, с помощью кабеля jack. Также можно использовать внешнюю звуковую карту.
Связь между компонентами производительности
Чтобы генерировать музыку и визуальные эффекты, различные аппаратные и программные элементы должны обязательно обмениваться информацией.
Модульные синтезаторы передают аудиоинформацию через определенный модуль: Экспертные шпалы ES-9. Это аналого-цифровой преобразователь, который преобразует электрические сигналы в цифровые данные, понятные Touchdesigner. Наличие такого оборудования не обязательно, поскольку в HeavyM интегрированы функции аудиоанализа, позволяющие заставить визуальные эффекты реагировать на воспроизводимую музыку. Все, что вам нужно сделать, - это подключить компьютер к источнику звука, например, с помощью кабеля jack. Вы также можете использовать внешнюю звуковую карту.
После получения музыкальной информации Touchdesigner генерирует визуальные анимации и отправляет их в HeavyM с помощью Излив ссылка. Это технология, позволяющая передавать видеовыход одной программы в другую. HeavyM получает видео и, используя MIDI-контроллер, Marin Scart накладывает дополнительные визуальные эффекты. Затем выход HeavyM отправляется на другой экземпляр HeavyM на втором компьютере с помощью Технология NDI. Это позволяет передавать видеопоток по сети с минимальной задержкой. Наконец, HeavyM изменяет геометрию видео, чтобы отправить его на видеопроектор, который отображает его в пространстве живого выступления.
Для завершения видеопроекции по бокам добавлены светодиодные лампы. Они соответствуют цветам проекции. Управляющими сигналами для светильников служат DMX-сообщения, передаваемые по сети Wifi от Touchdesigner.
Теперь ваша очередь!
Создание музыки и визуальных эффектов для живого выступления требует определенных технических знаний, которые можно легко найти в Интернете. С другой стороны, необходимое оборудование становится все более доступным с точки зрения стоимости и понимания. Проект Stone Mine Mapping может показаться сложным на первый взгляд, но его преимущество в том, что он дает представление о доступных инструментах и техниках. Можно рассмотреть гораздо более простую систему, которая сводится к одному компьютеру и колонкам. Многие аудиовизуальные исполнители довольствуются тем, что производят манипуляции "на слух", в соответствии с музыкой, которую они слышат, без обязательного создания аудио-видео связи. Результат иногда может быть более значимым, чем если бы компьютер принимал решения самостоятельно.
Продолжение следует
Узнайте больше о проекторах
Мы создали подробное руководство по выбору проектора, соответствующего вашим потребностям. Откройте для себя наши советы и ошибки, которых следует избегать в этом руководстве, где шаг за шагом объясняются различные функции.
Изучите программное обеспечение HeavyM
HeavyM - это программное обеспечение для создания видео карт, которое способно создание визуальных эффектов и проецировать их на объемы, декорации или архитектурные элементы. HeavyM - это Совместимость с Mac и Windows.
RU 
EN 
FR 
ES 
DE 
IT 
PT 
CN 
KR 
JA