Взаимодействие в режиме реального времени с Видеомэппингом

Видеомэппинг: https://limbiccinema.com/portfolio-item/the-temple/

Коротко

Взаимодействие в режиме реального времени с Видеомэппингом позволяет исполнителям управлять визуальными эффектами в реальном времени. С помощью MIDI-контроллеров, протоколов OSC или компьютерных клавиатур вы можете мгновенно изменять формы и цвета прямо во время выступления. HeavyM упрощает этот процесс благодаря встроенной поддержке технологии «plug-and-play», позволяя без труда создавать визуальные эффекты в режиме реального времени без написания кода.

С помощью клавиатуры

Знаете ли вы, что Можно ли управлять HeavyM не только с помощью мыши или тачпада? Ведь, давайте будем честны, хотя эти инструменты и очень удобны для рисования и настройки параметров, сидя за рабочим столом, пролистывать панели в поисках маленькой кнопки эффекта во время Живого выступления — не самое приятное занятие. Именно поэтому вы можете Упростите себе жизнь с помощью внешних элементов управления — например, клавиатуры.

Стандартные сочетания клавиш

Чтобы сделать работу с программой более удобной и сократить количество кликов, необходимых для доступа к определенным функциям, в программу уже встроены некоторые сочетания клавиш. Ознакомиться с обновленным списком сочетаний клавиш для вашей версии можно прямо в программе через меню «Управление» → «Список сочетаний клавиш…» или с помощью сочетания клавиш [CTRL/Cmd + /].

Пользовательские ярлыки

Помимо этих стандартных сочетаний клавиш, вы также можете настроить собственные клавиатурные команды для HeavyM. Для этого необходимо “научить” интерфейс приложения, на нажатие какой клавиши оно должно реагировать.

Включение режима обучения клавиатуре

Чтобы назначить клавиши, сначала необходимо активировать интерфейс «Обучение клавиатуры». Активируйте его через меню:

Управление → Редактировать назначения MIDI, либо перейдите на страницу Клавиатура вкладка в Элементы управления окно настроек (доступно через «Управление» → «Настройки…» или значок)

(на панели инструментов) и нажмите на “Режим обучения работе с клавиатурой” кнопка. На многих элементах интерфейса HeavyM появится цветной фильтр.

С MIDI

MIDI означает “Цифровой интерфейс музыкальных инструментов”.” Это протокол, используемый для обмена данными между электронными инструментами и другими цифровыми музыкальными устройствами.

Вы можете настроить MIDI-инструмент для отправки команд на HeavyM. Вкратце, этот протокол позволяет удаленно управлять функциями HeavyM с помощью контроллера, подключенного к компьютеру, как правило, через USB.

Поскольку а MIDI-контроллер Как правило, он включает в себя различные типы элементов управления и предлагает больше возможностей, чем клавиатура. После настройки вам даже не придется больше прикасаться к компьютеру!

Подключение MIDI-устройства

После подключения MIDI-контроллера к компьютеру перейдите в MIDI вкладка в окне настроек элемента управления (доступна через «Управление» → «Настройки…» или значок:

(на панели инструментов) и выберите свое устройство из раскрывающегося списка “Устройство”.

Если ваше устройство распознано правильно, вы увидите, как в поле Канал/Управление/Значение поля при нажатии кнопки или перемещении фейдера. Если реакции нет, это может означать, что устройство уже подключено к другому приложению. Действительно, использовать одно и то же устройство одновременно в нескольких программах невозможно.

Примечание: На данный момент в HeavyM можно подключить только один MIDI-инструмент за раз.

Управление заданиями

Включение функции обучения MIDI

После настройки контроллера вы можете назначить кнопки, фейдеры, пэды или любые другие элементы управления, входящие в его состав, для выполнения команд HeavyM. Для этого необходимо “научить” интерфейс приложения, на какой именно MIDI-элемент он должен реагировать.

Чтобы включить интерфейс MIDI Learning, воспользуйтесь командой “Режим обучения MIDI” кнопку в окне «Элементы управления» или перейдите в меню (Управление → Редактировать назначения MIDI). На интерфейсе появится цветной фильтр, выделяющий кнопки, на которые можно назначить функции.

Добавление заданий

Выберите кнопку или ползунок, щелкнув по ней/нему (он будет выделен желтым цветом), после чего просто переместите курсор или щелкните по элементу управления вашего MIDI-устройства, который хотите использовать. Это приведет к связыванию двух элементов, и вы увидите, как это соединение появится в списке в окне настроек «Элементы управления».

По завершении вы можете отключить режим обучения с помощью той же кнопки/меню или нажав [Esc].

Если ваш контроллер поддерживает выход MIDI Out, состояние соответствующих действий в программе будет отображаться на назначенных светодиодных кнопках. Например, на совместимых контроллерах кнопки будут подсвечиваться цветом, соответствующим назначенной им последовательности в режиме HeavyM, а если кнопке назначена функция переключения, она будет подсвечиваться, когда находится в положении «ВКЛ».

С помощью OSC

Что такое OSC?

OSC означает “Open Sound Control”.” Это протокол, используемый для обмена данными между мультимедийными устройствами, аналогичный  Протокол MIDI, но он обеспечивает передачу большего объема данных, более высокую скорость и работает в сетях типа Wi-Fi или Ethernet. Одним словом, этот протокол позволяет удаленно управлять функциями HeavyM, например, с помощью смартфона. Хорошая новость заключается в том, что нет необходимости использовать длинные кабели — Ваши устройства должны просто находиться в одной сети.

Это открывает безграничные возможности для интерактивные инсталляции!

В первую очередь мы подробно опишем инструкции по использовать с приложением для iOS или Android, благодаря инструментам, которые позволяют легко и быстро настроить систему. Однако следует отметить, что возможны и многие другие варианты подключения по протоколу OSC: например, протокол также позволяет использовать программное обеспечение для автоматизации на основе временной шкалы, такое как Везер или инструмент для проводников Шатанье.

Подключение TouchOSC и HeavyM

В следующих пунктах приведены подробные инструкции, которые помогут вам подключить TouchOSC приложение с HeavyM. (Мы не получаем спонсорскую поддержку от этого приложения, обещаем.)

Чтобы выполнить эти инструкции, у вас должны быть установлены HeavyM, TouchOSC и готовый макет. Если вы используете другое приложение, это руководство всё равно может вам помочь, так как в нём вы найдёте много сходств. В противном случае, пожалуйста, обратитесь к руководству по эксплуатации вашего приложения.

Примечание: Для обмена данными ваши устройства должны быть подключены к одной и той же сети, но при этом не обязательно использовать беспроводное соединение: Например, ваш смартфон может подключаться к Wi-Fi, в то время как компьютер подключен к сети через Ethernet.

В TouchOSC

Примечание: В данной инструкции описан порядок действий для версии приложения под iOS. Интерфейс в версии для Android немного отличается, но действия остаются аналогичными, если не указано иное.

  1. Сначала откройте “Связи” настройки с помощью кнопки со значком цепочки на панели инструментов и перейдите в раздел “OSC” вкладка.
  1. В “Хозяин” поле первого “Связь”, введите IP-адрес вашего компьютера. Обычно его можно найти в Настройки или Настройки системы, в разделе Сеть свойства.
  2. В “Порт отправки” и “Порт приема” В соответствующие поля введите любые (разные) числа в диапазоне от 7 000 до 10 000.
  3. Оставьте эту вкладку открытой, так как вам понадобится скопировать некоторую информацию, а затем перейдите на сайт HeavyM.

В формате HeavyM

  1. Откройте Элементы управления окно настроек из Элементы управления → Настройки элементов управления… или значок

и перейдите на вкладку “OSC”. Убедитесь, что параметр «OSC Control» ВКЛ. с помощью кнопки в верхней части окна.

  1. Далее, в “Порт прибытия” поле введите номер, указанный в “Порт отправки” поле TouchOSC. И наоборот, в “Порт отправления” поле введите число, указанное в “Порт приема” поле TouchOSC.
  2. В “Выходной IP-адрес” В поле введите IP-адрес вашего телефона или планшета. Обычно его можно найти в настройках вашего устройства Сеть в настройках, либо некоторые приложения OSC отображают его напрямую.

Теперь вернитесь к своему макету и следуйте инструкциям следующего раздела данного руководства, чтобы узнать, как привязать элементы макета к командам HeavyM.

Примечание: Если у вас возникнут трудности после выполнения этих инструкций, вы можете обратиться к Документация по TouchOSC на их сайте (на английском языке). Руководство довольно подробное и охватывает как процедуры для устройств iOS, так и другие расширенные функции приложения.

Управление заданиями

Использование OSC-API HeavyM

Помимо назначения собственных адресов OSC с помощью Режим обучения, вы можете использоватьадреса OSC по умолчанию уже встроено в HeavyM.

Каждый назначаемый элемент интерфейса связан как минимум с одним адресом. Если у него более одного адреса, это означает, что одного и того же результата можно достичь несколькими способами. Например, Если вы хотите отредактировать последовательность, вы можете открыть её по названию или по позиции, то есть для одного и того же действия существует два адреса.

В данном случае вся настройка назначений осуществляется непосредственно в приложении, отправляющем OSC-сообщения; приложение HeavyM даже не нужно запускать.

Использование OSC Learning для добавления заданий

После настройки соединения вы можете назначить кнопки, фейдеры, пэды или любые другие элементы управления, включенные в вашу схему, для выполнения команд HeavyM. Для этого необходимо “научить” программный интерфейс, на какой элемент OSC в схеме он должен реагировать.

Чтобы включить интерфейс OSC Learning, воспользуйтесь “Режим обучения OSC” кнопку в окне «Элементы управления» или перейдите в меню (Управление → Редактировать назначения OSC). На интерфейсе появится цветной фильтр, выделяющий кнопки, на которые можно назначить функции.

Выберите кнопку или ползунок, щелкнув по нему (он при этом выделится желтым цветом), а затем просто переместите курсор или щелкните по элементу управления в макете, который хотите использовать. При этом между двумя элементами будет установлена связь, и вы увидите, как эта связь появится в списке в окне настроек «Элементы управления».

По завершении вы можете отключить режим обучения с помощью той же кнопки/меню или нажав [Esc].

Примечание: Один и тот же элемент управления OSC можно одновременно назначить нескольким командам. Например, одна кнопка на вашем устройстве может быть связана с несколькими переключателями эффектов, а это значит, что при её нажатии все эти эффекты активируются одновременно!

⚠️ Если вы создаете собственные шаблоны и сообщения, обратите внимание, что HeavyM обрабатывает аргументы типа “float” в диапазоне от 0,0 до 1,0 в OSC. Для ползунковых регуляторов значение 0,0 соответствует минимальному значению, а 1,0 — максимальному. Для переключателей значение 0,0 соответствует положению «ВЫКЛ», а 1,0 — положению «ВКЛ».

С поддержкой DMX / Art-Net

DMX — это стандарт, широко используемый в Дизайне сцены для обмена данными между контроллерами (такими как программное обеспечение или световые пульты) и световыми приборами или другими сценическими спецэффектами.

HeavyM поддерживает управление через DMX-вход, а именно через протокол Art-Net. Это означает, что вы можете использовать световую консоль для отправки команд на HeavyM по сети.

Настройка соединения Art-Net

Сначала перейдите на страницу DMX / Art-Net вкладка в окне настроек элемента управления (доступна через «Управление» → «Настройки…» или значок на панели инструментов).

Вам необходимо настроить три параметра:

  • Сеть: Поскольку Art-Net передает сообщения по сети, HeavyM и ваш DMX-передатчик должны использовать одно и то же подключение (например, Wi-Fi, Ethernet или Loopback на одном и том же компьютере).
  • Подсеть и Вселенная: Укажите, на какие подсеть и универсум должен настраиваться HeavyM, чтобы они соответствовали вашему DMX-передатчику (по умолчанию — 0:0).

Управление заданиями

Активация Art-Net Learning

Как только соединение будет установлено, Вы можете назначить кнопки, фейдеры или любые другие элементы вашего DMX-контроллера на команды в HeavyM. Для этого необходимо “научить” интерфейс приложения, на какой элемент интерфейса DMX ему следует реагировать.

Чтобы включить интерфейс Art-Net Learning, воспользуйтесь “Режим обучения Art-Net” кнопку в окне «Элементы управления» или перейдите в меню (Управление → Редактировать назначения DMX). На интерфейсе появится цветной фильтр, выделяющий кнопки, на которые можно назначить функции.

Продолжить

Подготовка презентации или экспорт проекта

Данное руководство было составлено HeavyM, компания, специализирующаяся на Видеомэппинге с 2013 года.

Если у вас есть вопросы, замечания, предложения и т. д., пожалуйста, воспользуйтесь этой контактной формой: https://help.heavym.net/hc/requests/new. Гарантируем ответ в течение 24 часов.

Часто задаваемые вопросы (FAQ)

Как можно управлять видеомэппингом в режиме реального времени?

Вы можете управлять видеомэппингом в режиме реального времени с помощью внешнего оборудования, такого как MIDI-контроллеры, стандартные компьютерные клавиатуры, а также через протоколы OSC (Open Sound Control) с помощью смартфонов и планшетов. Эти инструменты позволяют запускать эффекты и изменять параметры в режиме реального времени.

Для чего используется MIDI в Видеомэппинге?

MIDI позволяет назначать конкретные функции программного обеспечения — такие как запуск стробоскопического эффекта, изменение цвета или регулировка прозрачности — физическим кнопкам, регуляторам и фейдерам аппаратного контроллера. Это дает VJ-ам возможность тактильного и мгновенного управления визуальными эффектами во время Живого выступления.

Поддерживает ли HeavyM взаимодействие в режиме реального времени и MIDI?

Да, HeavyM специально разработана для Живых выступлений. Она поддерживает встроенные протоколы MIDI и OSC по принципу «подключи и работай», что позволяет за считанные секунды легко настроить сопоставление внешних контроллеров с интерфейсом программы без написания сложного кода.