Создание интерактивного проекционного отображения с помощью OSC
Впечатляющее выступление Хаканаи в исполнении Адриен М и Клэр Б
Что такое проекционное картирование?
Проекционный мэппинг, также известный как видеомэппинг или пространственная дополненная реальность, - это революционная технология, которая превращает обычные поверхности в динамические дисплеи, проецируя на них цифровой контент. Эта техника произвела революцию в различных областях, включая маркетинг, развлечения и образование, создавая завораживающие визуальные эффекты, которые покоряют аудиторию. Будь то донесение информации о бренде, создание уникальных сценических задников, украшение стен и потолков или вызывание эмоций, проекционный мэппинг предлагает безграничные возможности. Превращая любую поверхность в холст, он позволяет художникам и творцам расширить границы визуального повествования и создать захватывающий опыт, который оставляет неизгладимое впечатление.
Как работает проекционное отображение?
Видеомэппинг — это технология, при которой с помощью специального программного обеспечения цифровой контент накладывается на физическую поверхность, превращая её в яркое зрелище. Процесс начинается с разработки концепции и выбора или создания объекта для проекции. С помощью программы для виртуального моделирования видеоконтент тщательно накладывается на поверхности объекта. В рабочих процессах 2D-маппинга изображения или видеоролики назначаются маскам, соответствующим поверхностям объекта. Для Видеомэппинга сцена воссоздается в специализированном программном обеспечении для 3D, а виртуальная версия объектов проецируется на их реальные прототипы. Это предполагает установку точных координат для размещения объекта относительно видеопроектор, с учётом ориентации проектора по осям XYZ, его положения и технических характеристик объектива. В результате происходит органичное слияние цифрового контента с реальным миром, что создаёт потрясающий визуальный эффект.
Что такое интерактивное искусство?
Интерактивное искусство - это динамичная форма искусства, реагирующая на действия зрителей или окружающей среды. Работы обычно представлены в виде инсталляций, в которых зрители могут принимать участие. Они также могут быть представлены в виде перформансов, во время которых один или несколько художников выполняют действия. Интерактивные дисплеи - это универсальные инструменты, используемые в различных сферах, таких как реклама, образование и мероприятия, повышающие вовлеченность пользователей и узнаваемость бренда.
Интерактивное искусство появилось в конце 1950-х годов в связи с желанием художников выставляться в местах, менее эксклюзивных, чем музеи или галереи. Улицы и магазины стали пространством для самовыражения, чтобы предложить более партисипативный и инклюзивный опыт. Участники больше не являются зрителями, и их роль может напоминать роль актера.
Самыми первыми примерами Интерактивного искусства были скульптуры, которые можно было трогать и с которыми можно было играть. Например, Ники де Сен-Фалль создал "Голема" - монументальную скульптуру с горкой, с которой могли играть дети. Другой пример, в 1971 году Гордон Матта-Кларк приготовил свинью под Бруклинским мостом и подал 500 сэндвичей как часть перформанса. Интерактивные игры - ключевой компонент Интерактивного искусства, вовлекающий пользователей всех возрастов благодаря отслеживанию движений и настраиваемым вариантам проекции.
Некоторые корпоративные мероприятия используют эти процессы, например, при запуске продуктов, чтобы вовлечь аудиторию и оставить ей памятный сувенир или предложить персонализированный опыт.
С технической точки зрения в интерактивных перформансах или интерактивных инсталляциях всё чаще используются компьютеры и интерактивная проекция. Датчики применяются в сочетании с компьютерами, чтобы события в реальном мире могли интерпретироваться программами и затем преобразовываться, например, в звуки или изображения. Интерактивные системы объединять технологии и искусство для создания иммерсивных инсталляций, реагирующих на движения зрителей, что позволяет обогатить мероприятия динамичными визуальными элементами.
Открытое управление звуком (OSC) для интерактивных дисплеев
Интерактивное искусство основано на диалоге между несколькими объектами. Обычно эти сущности изначально не предназначены для диалога друг с другом. Например, музыкальная программа и видеопрограмма, установленные на одном компьютере, Mac и PC в одной сети или человек и машина в одной комнате.
Стандарты существуют для облегчения обмена между различными программными и аппаратными средствами. Мы говорим о сетевых протоколах, таких как UDP или TCP, чтобы обозначить правила, регулирующие взаимодействие между различными субъектами в одной сети. Среди используемых стандартов также есть Открытое управление звуком, который представляет собой формат передачи данных, основанный на UDP или TCP.
Протоколы можно сравнить с правилами ведения дискуссии, например, не обрывать друг друга. Форматы можно сравнить с грамматикой языка, например, начинать предложение с темы. Если все придерживаются одних и тех же стандартов, то все друг друга понимают!
Open Sound Control - это формат, вдохновленный MIDI (Цифровой интерфейс музыкальных инструментов), используемый для взаимодействия между музыкальными инструментами с 1980-х годов. Он развивает эту идею взаимодействия между инструментами и программным обеспечением посредством обмена сообщениями, но с существенными усовершенствованиями. OSC может использовать сетевое соединение, такое как Интернет или локальная сеть, передавать больше информации и предлагает систему адресации, аналогичную путям к файлам.
Изначально разработанный для музыкальных приложений, OSC сегодня стал стандартом, используемым сотнями программных приложений. Он больше не ограничивается аудиоданными и способен передавать изображения или информацию для отслеживания движения, например, для интерактивных проекций. OSC также может использоваться для синхронизации звуковых эффектов с визуальными элементами, усиливая общее сенсорное впечатление от интерактивной проекции.
Программное обеспечение и инструменты для проекционного мэппинга в интерактивном искусстве
Существует множество программа для видеомэппинга и инструменты Существует множество программных решений, каждое из которых обладает уникальными функциями и возможностями, позволяющими удовлетворить различные потребности проектов. К популярным программам относятся Resolume, HeavyM и TouchDesigner, которые предоставляют широкий спектр инструментов, таких как функции перетаскивания, инструменты деформации и сглаживание границ, для создания сложных и иммерсивных проекций. Эти платформы также предлагают расширенные функции, такие как отслеживание движения, 3D-моделирование и рендеринг в реальном времени, что позволяет создавать высокоинтерактивные и динамичные визуальные представления. При выборе программного обеспечения крайне важно учитывать конкретные требования проекта, включая тип проекционной поверхности, размер проекции и желаемый уровень интерактивности. Выбрав подходящие инструменты, создатели могут воплотить свои идеи в жизнь и обеспечить потрясающие визуальные впечатления.
Некоторые примеры интерактивного художественного программного обеспечения, совместимого с Open Sound Control: PureData, Vézer, IanniX, Шатанье, Макс/МСП, OpenFrameworks, Обработка, HeavyM, TouchDesigner, Augmenta...
В зависимости от назначения, эти программы позволяют управлять Интерактивной проекцией, созданной с помощью HeavyM, используя, например, внешние данные. Две программы, которые привлекли наше внимание, - Vézer для Mac и Chataigne для PC. С их помощью вы можете управлять HeavyM с помощью осцилляторов или вариационных кривых, которые вы рисуете заранее.
Что касается взаимодействия между людьми и компьютерами, мы говорим о HMI - человеко-машинном интерфейсе. HMI - это видимые поверхности программного обеспечения, которые позволяют пользователям манипулировать функциональными возможностями. На самом деле, в данный момент вы используете HMI вашего интернет-браузера, который позволяет вам читать эти строки. Скрытая часть браузера позволяет вам обмениваться информацией с другими компьютерами и серверами в Интернете.
Hexler разрабатывает TouchOSCинструмент для создания программируемых терминалов для отправки OSC-сообщений. С помощью TouchOSC можно создавать приложения для управления OSC-совместимым программным обеспечением на планшетах и смартфонах. Откройте для себя здесь техническая информация для подключения TouchOSC к HeavyM.
Чтобы облегчить вам использование TouchOSC с HeavyM, мы предлагаем предварительно разработанные интерфейсы, доступные для загрузки здесь. Эти интерфейсы включают в себя основные функции программного обеспечения, и для удаленного управления HeavyM достаточно установить их на свой планшет.
Наконец, в дополнение к программному обеспечению можно использовать устройства, способные управлять программным обеспечением с помощью OSC. Так, например, обстоит дело с Stream Deck, созданный компанией Elgato. Это устройство позволяет просто управлять функциональными возможностями программ для интерактивной проекции, назначая клавиши. Главное преимущество этой системы в том, что клавиши представляют собой миниатюрные экраны, а значит, на них можно вывести иконку. Это очень просто в использовании!
Пример: как Data Flaw создала иммерсивный опыт с помощью Open Sound Control?
Ромен Астурик, он же Дефект данных, увлечен цифровой революцией, в которой мы живем**. Она затрагивает все области искусства, создавая все больше произведений с использованием технологий в музыке, изобразительном искусстве и особенно в интерактивном искусстве. Технологии демократизировались и теперь находятся всего в одном клике от нас. Теперь художники имеют доступ к недорогим и простым в использовании инструментам для интерактивных проекций. Чтобы добиться бесшовной интеграции видео на поверхности, очень важно создать маски, соответствующие форме анимируемых объектов.
Data Flaw, как творческий технолог, преподает кодирование и использование технологий в творческих целях в ESME SudriaОн учится в инженерной школе в Париже. Он находит вдохновение в работах таких художников, как 1024 АрхитектураДжоани Лемерсьеи Масштабный коллективВ своей художественной работе Data Flaw регулярно использует проекционный мэппинг и приветствует его открытие для более широкой аудитории благодаря таким инструментам, как HeavyM.
Для своего проекта в Мейкерлабе парижского Междисциплинарный исследовательский центрВ Data Flaw интегрировано понятие интерактивности, чтобы включить зрителя в работу. Желаемый подход одновременно эстетичен и игрив. Публика становится действующим лицом инсталляции и осознает последствия своих действий для результата, отображаемого в виде интерактивной проекции. Интерактивные стены могут превращать различные поверхности в полностью интерактивные дисплеи, повышая вовлеченность пользователей и создавая захватывающий опыт.
Инсталляция представляет собой проекционную поверхность, изготовленную с помощью инструментов цифровой печати и резки, на которую проецируются визуальные анимации, созданные с помощью программного обеспечения HeavyM. Художник использовал популярный аксессуар - контроллер PlayStation 5, подключенный к HeavyM через OSC, посредством программы, созданной в Processing. Проекты Видеомэппинг могут трансформировать пространство, объединяя движение и звук, позволяя участникам взаимодействовать с художественными инсталляциями.
Джойстик может запускать различные наборы эффектов и последовательностей. Например, с помощью джойстиков можно управлять фигурами и их цветами. Любой желающий может легко создавать красивые живые цветовые комбинации. Цветовая палитра и многочисленные градиенты вдохновлены одной видеоигрой: Hyper Light Drifter. Видеопроекторы играют важную роль в создании иммерсивной среды, которая реагирует на взаимодействие с аудиторией, способствуя получению уникального визуального опыта.
В отличие от материального объекта, компьютерный код никогда не бывает законченным. Всегда есть функции, которые нужно улучшить, или новые ошибки, которые нужно исправить. Это то, что особенно любит Дейта Флау. Его проекты всегда нуждаются в тонкой настройке, с множеством возвращений и возвращений, тестирований и испытаний. HeavyM - незаменимая часть его творческого процесса, как на этапе создания прототипа, так и на этапе окончательной доработки.
С помощью HeavyM вы можете редактировать Интерактивную проекцию, изменять или добавлять фигуры всего несколькими щелчками мыши, без необходимости начинать все сначала или проходить стадию рендеринга. Это гибкий, но мощный инструмент без излишней сложности.
Демократизация технологий сегодня позволяет множеству художников проявить свои творческие таланты. Интерактивных инсталляций создается все больше, и общественность требует такого рода впечатлений, как эстетических, так и игровых. Чтобы вдохновиться, вы можете найти примеры творений на Дизайн-бум или Trend Hunter.
Будущее интерактивного проекционного картографирования
Будущее интерактивного проекционного мэппинга невероятно многообещающе, поскольку прогресс в области технологий и программного обеспечения открывает путь к созданию более сложных и захватывающих впечатлений. Интерактивность станет следующим рубежом в проекционном мэппинге: технологии, позволяющие зрителям влиять на мэппинг в режиме реального времени с помощью звука, прикосновений и зрения, уже набирают обороты. Носимые технологии повышают интерактивность, а интеграция искусственного интеллекта и машинного обучения, как ожидается, еще больше усовершенствует технологию. Несмотря на такие проблемы, как стоимость и время производства, потенциал для создания уникальных и запоминающихся впечатлений огромен. По мере развития технологий интерактивный проекционный мэппинг, несомненно, будет играть ключевую роль в формировании будущего визуального повествования и иммерсивного опыта.
Продолжение следует
Узнайте больше о проекторах
Мы создали подробное руководство по выбору проектора, соответствующего вашим потребностям. Узнайте о наших советах и ошибках, которых следует избегать, из этого руководства, в котором пошагово объясняются различные характеристики.
Изучите программное обеспечение HeavyM
HeavyM - программа для видеомэппинга, способная создавать визуальные эффекты и проецировать их на объемы, декорации или архитектурные элементы. HeavyM совместима с Mac и Windows.