Criar um mapeamento de projeção interactiva com o OSC
Impressionante atuação de Hakanaï Adrien M & Claire B
O que é o mapeamento por projeção?
O mapeamento de projeção, também conhecido como mapeamento de vídeo ou realidade espacial aumentada, é uma tecnologia inovadora que transforma superfícies comuns em ecrãs dinâmicos, projectando conteúdo digital nas mesmas. Esta técnica revolucionou vários campos, incluindo o marketing, o entretenimento e a educação, ao criar experiências visuais hipnotizantes que cativam o público. Quer se trate de transmitir mensagens de marca, criar cenários de palco únicos, decorar paredes e tectos ou evocar emoções, o mapeamento de projeção oferece possibilidades infinitas. Ao transformar qualquer superfície numa tela, permite aos artistas e criadores ultrapassar os limites da narrativa visual e criar experiências imersivas que deixam uma impressão duradoura.
Como funciona o mapeamento de projeção?
O mapeamento de projeção funciona através da utilização de software especializado para mapear conteúdo digital numa superfície física, transformando-o num ecrã vibrante. O processo começa com o planeamento do conceito e a seleção ou criação do objeto para projeção. Utilizando software de programa virtual, o conteúdo de vídeo é meticulosamente mapeado para as superfícies do objeto. Nos fluxos de trabalho de mapeamento 2D, as imagens ou vídeos são atribuídos a máscaras que correspondem às superfícies do objeto. Para o mapeamento 3D, a cena é recriada num software especializado em 3D e a versão virtual dos objectos é projectada nas suas contrapartes do mundo real. Isto implica a definição de coordenadas precisas para a colocação do objeto em relação ao projetor de vídeo, tendo em conta a orientação XYZ do projetor, a sua posição e as especificações da lente. O resultado é uma integração perfeita do conteúdo digital com o mundo físico, criando uma experiência visual inspiradora.
O que é a arte interactiva?
Interactive art is a dynamic art form that reacts to its audience or environment. The works are generally presented in the form of installations in which the audience can take part. They can also be experienced through performances during which one or more artists perform actions. Interactive displays are versatile tools used in various applications such as advertising, education, and events, enhancing user engagement and brand awareness.
Interactive art appeared in the late 1950s following the desire of artists to exhibit in places less exclusive than museums or galleries. Streets and stores became spaces of expression in order to propose more participative and inclusive experiences. The participants are no longer spectators, and their role can then resemble that of an actor.
The earliest examples of interactive art were sculptures that could be touched and played with. For example, Niki de Saint Phalle produced Golem, a monumental sculpture that has a slide for children to play with. Another example, in 1971, Gordon Matta-Clark cooked a pig under the Brooklyn Bridge and served 500 sandwiches as part of the performance. Interactive games are a key component of interactive art, engaging users of all ages through motion tracking and customizable projection options.
Some corporate events implement these processes, for example, in product launches, to engage their audiences and leave them with a memorable souvenir or offer a personalized experience.
From a technical point of view, interactive performances or installations are increasingly using computers and interactive projection. Sensors are used in combination with computers so that events in the real world can be interpreted by programs and then transcribed, for example, into sounds or images. Interactive systems integrate technology and art to create immersive installations that respond to audience movement, enhancing events with dynamic visual elements.
Controlo de som aberto (OSC) para ecrãs interactivos
A arte interactiva baseia-se no diálogo entre várias entidades. Normalmente, estas entidades não são concebidas nativamente para dialogar entre si. Por exemplo, um software de música e um software de vídeo instalados no mesmo computador, um Mac e um PC na mesma rede, ou um ser humano e uma máquina na mesma sala.
Standards exist to facilitate exchanges between different software and hardware. We talk about network protocols, such as UDP or TCP, to designate the rules that govern the interactions between the different entities on the same network. Among the standards used, there is also Controlo de som abertoque é um formato de transmissão baseado em UDP ou TCP.
Protocols can be compared to rules in a discussion, such as not cutting each other off. Formats can be compared to the grammar of a language, for example, starting a sentence with the subject. If everyone follows the same standards, everyone understands each other!
O Open Sound Control é um formato inspirado no MIDI (Musical Instrument Digital Interface) utilizada nas comunicações entre instrumentos musicais desde os anos 1980. Retoma esta ideia de conetividade entre instrumentos e software através da troca de mensagens, mas com melhorias significativas. A OSC pode utilizar uma ligação de rede, como a Internet ou uma rede local, pode transportar mais informações e oferece um sistema baseado em endereços semelhante aos caminhos de ficheiros.
Originally designed for music applications, OSC has now become a standard used by hundreds of software applications. It is no longer limited to audio data and is capable of carrying images or information for motion tracking, for interactive projections as an example. OSC can also be used to synchronize sound effects with visual elements, enhancing the overall sensory experience of the interactive projection.
Software e ferramentas de mapeamento de projeção para arte interactiva
Existem inúmeros softwares e ferramentas de mapeamento de projeção disponíveis, cada um oferecendo caraterísticas e capacidades únicas para satisfazer as diferentes necessidades dos projectos. As opções de software mais populares incluem o Resolume, o HeavyM e o TouchDesigner, que fornecem uma gama de ferramentas como as funções de arrastar e largar, ferramentas de deformação e mistura de margens para criar projecções complexas e envolventes. Estas plataformas também oferecem funcionalidades avançadas como o seguimento de movimentos, a modelação 3D e a renderização em tempo real, permitindo a criação de ecrãs altamente interactivos e dinâmicos. Ao selecionar o software, é fundamental ter em conta os requisitos específicos do projeto, incluindo o tipo de superfície de projeção, a dimensão da projeção e o nível de interatividade pretendido. Ao escolher as ferramentas corretas, os criadores podem dar vida à sua visão e proporcionar experiências visuais deslumbrantes.
Alguns exemplos de software de arte interactiva compatível com o Open Sound Control: PureData, Vézer, IanniX, Chataigne, Máximo/MSP, OpenFrameworks, Processamento, HeavyM, TouchDesigner, Augmenta...
Depending on their use, these software applications allow you to control an interactive projection generated with HeavyM using external data, for example. Two programs that caught our attention are Vézer for the Mac and Chataigne for the PC. With these tools, you can control HeavyM with oscillators or variation curves that you draw beforehand.
No que diz respeito às interacções entre humanos e computadores, falamos de IHM para Interface Homem-Máquina. As IHM são as superfícies visíveis do software e permitem aos utilizadores manipular as funcionalidades. De facto, neste momento está a utilizar a IHM do seu navegador de Internet, que lhe permite ler estas linhas. A parte oculta do browser permite-lhe trocar informações com outros computadores e servidores na Internet.
Hexler develops TouchOSC, a tool for building HMIs to send OSC messages. With TouchOSC, you can create applications, usable on tablets and smartphones, to control OSC compatible software. Discover aqui as informações técnicas para ligar o TouchOSC ao HeavyM.
Para facilitar a utilização do TouchOSC com o HeavyM, disponibilizamos interfaces pré-concebidas para download aqui. Estas interfaces integram as principais funcionalidades do software, bastando instalá-las no seu tablet para controlar à distância o HeavyM.
Por último, para além do software, é possível utilizar dispositivos capazes de acionar software com OSC. É o caso, por exemplo, do Stream Deck criado por Elgato. This device allows you to simply control the functionalities of interactive projection software by assigning a key. The main advantage of this system is that the keys are miniature screens, and you can therefore display an icon on them. It’s very easy to use!
Exemplo: como é que a Data Flaw criou experiências imersivas utilizando o Open Sound Control?
Romain Astouric, também conhecido por Data Flaw, é apaixonado pela revolução digital em que estamos a viver**. Afecta todas as áreas artísticas, com a produção de cada vez mais obras que utilizam a tecnologia na música, nas artes visuais e, sobretudo, na arte interactiva. A tecnologia está democratizada e está agora à distância de um clique. Os artistas têm agora acesso a ferramentas acessíveis e fáceis de utilizar para projecções interactivas. Para conseguir uma integração perfeita do vídeo nas superfícies, é crucial criar máscaras que correspondam à forma dos objectos que estão a ser animados.
O Data Flaw, enquanto tecnólogo criativo, ensina codificação e utilização da tecnologia para fins criativos na ESME Sudria, numa escola de engenharia em Paris. Inspira-se no trabalho de artistas como 1024 ArquitecturaJoanie Lemerciere o Escala colectivaNo seu trabalho artístico, Data Flaw utiliza regularmente a projeção mapeada e congratula-se com a sua abertura a um público mais vasto graças a ferramentas como HeavyM.
Para o seu projeto no Makerlab de Paris Centro de Investigação InterdisciplinarData Flaw integrou uma noção de interatividade para incluir o espetador na obra. A abordagem pretendida é simultaneamente estética e lúdica. O público torna-se um ator na instalação e toma consciência das consequências das suas acções no resultado apresentado como uma projeção interactiva. As paredes interactivas podem transformar várias superfícies em ecrãs totalmente interactivos, aumentando a participação do utilizador e criando experiências imersivas.
The installation is a projection surface made with digital printing and cutting tools, on which visual animations generated by HeavyM software are projected. The artist used a popular accessory, a PlayStation 5 controller, connected to HeavyM via OSC, through a program created with Processing. Projection mapping projects can transform spaces by integrating movement and sound, allowing participants to interact with artistic installations.
The joystick can trigger various sets of effects and sequences. For example, it can control the shapes and their colors using the joysticks. Anyone can easily create beautiful live color combinations. The color palette and numerous gradients are inspired by a particular video game: Hyper Light Drifter. Video projectors are essential in creating immersive environments that respond to audience interactions, facilitating unique visual experiences.
Unlike a tangible object, computer code is never finished. There are always features to improve or new bugs to fix. This is what Data Flaw is particularly fond of. For his projects, he always needs to fine-tune, with a lot of back and forth, testing, and trials. HeavyM is an indispensable part of his creative process, both in the prototyping phase and in the final adjustments
With HeavyM, you can edit the interactive projection, modify or add shapes with just a few clicks without having to start over or go through a rendering stage. It is a flexible yet powerful tool, without unnecessary complexity.
The democratization of technology now allows a multitude of artists to express their creative talents. More and more interactive installations are being created, and the public is in demand for this type of experience, both aesthetic and playful. To get inspired, you can find examples of creations on Design Boom ou Trend Hunter.
O futuro do mapeamento interativo por projeção
O futuro da projeção mapeada interactiva é incrivelmente promissor, com os avanços da tecnologia e do software a abrirem caminho a experiências mais complexas e imersivas. A interatividade deverá tornar-se a próxima fronteira do mapeamento de projeção, com tecnologias que permitem aos espectadores influenciar o mapeamento em tempo real através do som, do toque e da visão. A tecnologia vestível está a melhorar a experiência interactiva, e espera-se que a integração da inteligência artificial e da aprendizagem automática eleve ainda mais a tecnologia. Apesar de desafios como o custo e o tempo de produção, o potencial de criação de experiências únicas e memoráveis é imenso. À medida que a tecnologia continua a evoluir, o mapeamento de projeção interactiva irá, sem dúvida, desempenhar um papel fundamental na definição do futuro da narrativa visual e das experiências imersivas.
Para continuar
Saiba mais sobre projectores
Criámos um guia detalhado para escolher o projetor certo para as suas necessidades. Descubra as nossas sugestões e os erros a evitar neste guia que explica passo a passo as diferentes características.
Explore o software HeavyM
HeavyM is a video mapping software that is capable of generating visual effects and projecting them on volumes, decorations, or architectural elements. HeavyM is Mac and Windows compatible.
PT 
EN 
FR 
ES 
DE 
IT 
CN 
KR 
JA 
RU