Создание интерактивного проекционного отображения с помощью OSC
Впечатляющее выступление Хаканаи в исполнении Адриен М и Клэр Б
Что такое проекционное картирование?
Проекционный мэппинг, также известный как видеомэппинг или пространственная дополненная реальность, - это революционная технология, которая превращает обычные поверхности в динамические дисплеи, проецируя на них цифровой контент. Эта техника произвела революцию в различных областях, включая маркетинг, развлечения и образование, создавая завораживающие визуальные эффекты, которые покоряют аудиторию. Будь то донесение информации о бренде, создание уникальных сценических задников, украшение стен и потолков или вызывание эмоций, проекционный мэппинг предлагает безграничные возможности. Превращая любую поверхность в холст, он позволяет художникам и творцам расширить границы визуального повествования и создать захватывающий опыт, который оставляет неизгладимое впечатление.
Как работает проекционное отображение?
Проекционный мэппинг работает с использованием специализированного программного обеспечения для нанесения цифрового контента на физическую поверхность, превращая его в яркий дисплей. Процесс начинается с разработки концепции и выбора или создания объекта для проецирования. С помощью виртуального программного обеспечения видеоконтент тщательно отображается на поверхности объекта. При 2D-маппинге изображения или видео назначаются на маски, соответствующие поверхностям объекта. При 3D-маппинге сцена воссоздается в специализированном 3D-программном обеспечении, и виртуальная версия объектов проецируется на их реальные копии. При этом задаются точные координаты размещения объекта относительно видеопроектора с учетом его XYZ-ориентации, положения и характеристик объектива. В результате цифровое содержимое органично сочетается с физическим миром, создавая потрясающий визуальный эффект.
Что такое интерактивное искусство?
Интерактивное искусство - это динамичная форма искусства, реагирующая на действия зрителей или окружающей среды. Работы обычно представлены в виде инсталляций, в которых зрители могут принимать участие. Они также могут быть представлены в виде перформансов, во время которых один или несколько художников выполняют действия. Интерактивные дисплеи - это универсальные инструменты, используемые в различных сферах, таких как реклама, образование и мероприятия, повышающие вовлеченность пользователей и узнаваемость бренда.
Интерактивное искусство появилось в конце 1950-х годов в связи с желанием художников выставляться в местах, менее эксклюзивных, чем музеи или галереи. Улицы и магазины стали пространством для самовыражения, чтобы предложить более партисипативный и инклюзивный опыт. Участники больше не являются зрителями, и их роль может напоминать роль актера.
Самыми первыми примерами Интерактивного искусства были скульптуры, которые можно было трогать и с которыми можно было играть. Например, Ники де Сен-Фалль создал "Голема" - монументальную скульптуру с горкой, с которой могли играть дети. Другой пример, в 1971 году Гордон Матта-Кларк приготовил свинью под Бруклинским мостом и подал 500 сэндвичей как часть перформанса. Интерактивные игры - ключевой компонент Интерактивного искусства, вовлекающий пользователей всех возрастов благодаря отслеживанию движений и настраиваемым вариантам проекции.
Некоторые корпоративные мероприятия используют эти процессы, например, при запуске продуктов, чтобы вовлечь аудиторию и оставить ей памятный сувенир или предложить персонализированный опыт.
С технической точки зрения интерактивные представления или инсталляции все чаще используют компьютеры и Интерактивную проекцию. Датчики используются в сочетании с компьютерами, так что события в реальном мире могут быть интерпретированы программами и затем переписаны, например, в звуки или изображения. Интерактивные системы объединяют технологии и искусство для создания Интерактивных инсталляций, которые реагируют на движение аудитории, дополняя события динамичными визуальными элементами.
Открытое управление звуком (OSC) для интерактивных дисплеев
Интерактивное искусство основано на диалоге между несколькими объектами. Обычно эти сущности изначально не предназначены для диалога друг с другом. Например, музыкальная программа и видеопрограмма, установленные на одном компьютере, Mac и PC в одной сети или человек и машина в одной комнате.
Стандарты существуют для облегчения обмена между различными программными и аппаратными средствами. Мы говорим о сетевых протоколах, таких как UDP или TCP, чтобы обозначить правила, регулирующие взаимодействие между различными субъектами в одной сети. Среди используемых стандартов также есть Открытое управление звуком, который представляет собой формат передачи данных, основанный на UDP или TCP.
Протоколы можно сравнить с правилами ведения дискуссии, например, не обрывать друг друга. Форматы можно сравнить с грамматикой языка, например, начинать предложение с темы. Если все придерживаются одних и тех же стандартов, то все друг друга понимают!
Open Sound Control - это формат, вдохновленный MIDI (Musical Instrument Digital Interface) используется для связи между музыкальными инструментами с 1980-х годов. Он повторяет идею связи между инструментами и программным обеспечением посредством обмена сообщениями, но со значительными улучшениями. OSC может использовать сетевое соединение, например Интернет или локальную сеть, может передавать больше информации и предлагает систему, основанную на адресах, подобную файловым путям.
Изначально разработанный для музыкальных приложений, OSC сегодня стал стандартом, используемым сотнями программных приложений. Он больше не ограничивается аудиоданными и способен передавать изображения или информацию для отслеживания движения, например, для интерактивных проекций. OSC также может использоваться для синхронизации звуковых эффектов с визуальными элементами, усиливая общее сенсорное впечатление от интерактивной проекции.
Программное обеспечение и инструменты для проекционного мэппинга в интерактивном искусстве
Существует множество программ и инструментов для проекционного мэппинга, каждая из которых предлагает уникальные функции и возможности для удовлетворения различных потребностей проекта. Среди популярных программных продуктов - Resolume, HeavyM и TouchDesigner, которые предоставляют ряд инструментов, таких как функции перетаскивания, деформации и смешивания краев, для создания сложных и захватывающих проекций. Эти платформы также предлагают такие передовые функции, как отслеживание движения, 3D-моделирование и рендеринг в реальном времени, что позволяет создавать высокоинтерактивные и динамичные дисплеи. При выборе программного обеспечения важно учитывать конкретные требования проекта, включая тип проекционной поверхности, размер проекции и желаемый уровень интерактивности. Выбрав правильные инструменты, авторы смогут воплотить свои идеи в жизнь и создать потрясающие визуальные эффекты.
Некоторые примеры интерактивного художественного программного обеспечения, совместимого с Open Sound Control: PureData, Vézer, IanniX, Шатанье, Макс/МСП, OpenFrameworks, Обработка, HeavyM, TouchDesigner, Augmenta...
В зависимости от назначения, эти программы позволяют управлять Интерактивной проекцией, созданной с помощью HeavyM, используя, например, внешние данные. Две программы, которые привлекли наше внимание, - Vézer для Mac и Chataigne для PC. С их помощью вы можете управлять HeavyM с помощью осцилляторов или вариационных кривых, которые вы рисуете заранее.
Что касается взаимодействия между людьми и компьютерами, мы говорим о HMI - человеко-машинном интерфейсе. HMI - это видимые поверхности программного обеспечения, которые позволяют пользователям манипулировать функциональными возможностями. На самом деле, в данный момент вы используете HMI вашего интернет-браузера, который позволяет вам читать эти строки. Скрытая часть браузера позволяет вам обмениваться информацией с другими компьютерами и серверами в Интернете.
Hexler разрабатывает TouchOSCинструмент для создания программируемых терминалов для отправки OSC-сообщений. С помощью TouchOSC можно создавать приложения для управления OSC-совместимым программным обеспечением на планшетах и смартфонах. Откройте для себя здесь техническая информация для подключения TouchOSC к HeavyM.
Чтобы облегчить вам использование TouchOSC с HeavyM, мы предлагаем предварительно разработанные интерфейсы, доступные для загрузки здесь. Эти интерфейсы включают в себя основные функции программного обеспечения, и для удаленного управления HeavyM достаточно установить их на свой планшет.
Наконец, в дополнение к программному обеспечению можно использовать устройства, способные управлять программным обеспечением с помощью OSC. Так, например, обстоит дело с Stream Deck, созданный компанией Elgato. Это устройство позволяет просто управлять функциональными возможностями программ для интерактивной проекции, назначая клавиши. Главное преимущество этой системы в том, что клавиши представляют собой миниатюрные экраны, а значит, на них можно вывести иконку. Это очень просто в использовании!
Пример: как Data Flaw создала иммерсивный опыт с помощью Open Sound Control?
Ромен Астурик, он же Дефект данных, увлечен цифровой революцией, в которой мы живем**. Она затрагивает все области искусства, создавая все больше произведений с использованием технологий в музыке, изобразительном искусстве и особенно в интерактивном искусстве. Технологии демократизировались и теперь находятся всего в одном клике от нас. Теперь художники имеют доступ к недорогим и простым в использовании инструментам для интерактивных проекций. Чтобы добиться бесшовной интеграции видео на поверхности, очень важно создать маски, соответствующие форме анимируемых объектов.
Data Flaw, как творческий технолог, преподает кодирование и использование технологий в творческих целях в ESME SudriaОн учится в инженерной школе в Париже. Он находит вдохновение в работах таких художников, как 1024 АрхитектураДжоани Лемерсьеи Масштабный коллективВ своей художественной работе Data Flaw регулярно использует проекционный мэппинг и приветствует его открытие для более широкой аудитории благодаря таким инструментам, как HeavyM.
Для своего проекта в Мейкерлабе парижского Междисциплинарный исследовательский центрВ Data Flaw интегрировано понятие интерактивности, чтобы включить зрителя в работу. Желаемый подход одновременно эстетичен и игрив. Публика становится действующим лицом инсталляции и осознает последствия своих действий для результата, отображаемого в виде интерактивной проекции. Интерактивные стены могут превращать различные поверхности в полностью интерактивные дисплеи, повышая вовлеченность пользователей и создавая захватывающий опыт.
Инсталляция представляет собой проекционную поверхность, изготовленную с помощью инструментов цифровой печати и резки, на которую проецируются визуальные анимации, созданные с помощью программного обеспечения HeavyM. Художник использовал популярный аксессуар - контроллер PlayStation 5, подключенный к HeavyM через OSC, посредством программы, созданной в Processing. Проекты Видеомэппинг могут трансформировать пространство, объединяя движение и звук, позволяя участникам взаимодействовать с художественными инсталляциями.
Джойстик может запускать различные наборы эффектов и последовательностей. Например, с помощью джойстиков можно управлять фигурами и их цветами. Любой желающий может легко создавать красивые живые цветовые комбинации. Цветовая палитра и многочисленные градиенты вдохновлены одной видеоигрой: Hyper Light Drifter. Видеопроекторы играют важную роль в создании иммерсивной среды, которая реагирует на взаимодействие с аудиторией, способствуя получению уникального визуального опыта.
В отличие от материального объекта, компьютерный код никогда не бывает законченным. Всегда есть функции, которые нужно улучшить, или новые ошибки, которые нужно исправить. Это то, что особенно любит Дейта Флау. Его проекты всегда нуждаются в тонкой настройке, с множеством возвращений и возвращений, тестирований и испытаний. HeavyM - незаменимая часть его творческого процесса, как на этапе создания прототипа, так и на этапе окончательной доработки.
С помощью HeavyM вы можете редактировать Интерактивную проекцию, изменять или добавлять фигуры всего несколькими щелчками мыши, без необходимости начинать все сначала или проходить стадию рендеринга. Это гибкий, но мощный инструмент без излишней сложности.
Демократизация технологий сегодня позволяет множеству художников проявить свои творческие таланты. Интерактивных инсталляций создается все больше, и общественность требует такого рода впечатлений, как эстетических, так и игровых. Чтобы вдохновиться, вы можете найти примеры творений на Дизайн-бум или Trend Hunter.
Будущее интерактивного проекционного картографирования
Будущее интерактивного проекционного мэппинга невероятно многообещающе, поскольку прогресс в области технологий и программного обеспечения открывает путь к созданию более сложных и захватывающих впечатлений. Интерактивность станет следующим рубежом в проекционном мэппинге: технологии, позволяющие зрителям влиять на мэппинг в режиме реального времени с помощью звука, прикосновений и зрения, уже набирают обороты. Носимые технологии повышают интерактивность, а интеграция искусственного интеллекта и машинного обучения, как ожидается, еще больше усовершенствует технологию. Несмотря на такие проблемы, как стоимость и время производства, потенциал для создания уникальных и запоминающихся впечатлений огромен. По мере развития технологий интерактивный проекционный мэппинг, несомненно, будет играть ключевую роль в формировании будущего визуального повествования и иммерсивного опыта.
Продолжение следует
Узнайте больше о проекторах
Мы создали подробное руководство по выбору проектора, соответствующего вашим потребностям. Узнайте о наших советах и ошибках, которых следует избегать, из этого руководства, в котором пошагово объясняются различные характеристики.
Изучите программное обеспечение HeavyM
HeavyM - программа для видеомэппинга, способная создавать визуальные эффекты и проецировать их на объемы, декорации или архитектурные элементы. HeavyM совместима с Mac и Windows.
RU 
EN 
FR 
ES 
DE 
IT 
PT 
CN 
KR 
JA