Criar um mapeamento de projeção interactiva com o OSC
Impressionante atuação de Hakanaï Adrien M & Claire B
O que é o mapeamento por projeção?
O mapeamento de projeção, também conhecido como mapeamento de vídeo ou realidade espacial aumentada, é uma tecnologia inovadora que transforma superfícies comuns em ecrãs dinâmicos, projectando conteúdo digital nas mesmas. Esta técnica revolucionou vários campos, incluindo o marketing, o entretenimento e a educação, ao criar experiências visuais hipnotizantes que cativam o público. Quer se trate de transmitir mensagens de marca, criar cenários de palco únicos, decorar paredes e tectos ou evocar emoções, o mapeamento de projeção oferece possibilidades infinitas. Ao transformar qualquer superfície numa tela, permite aos artistas e criadores ultrapassar os limites da narrativa visual e criar experiências imersivas que deixam uma impressão duradoura.
Como funciona o mapeamento de projeção?
O mapeamento de projeção funciona através da utilização de software especializado para mapear conteúdo digital numa superfície física, transformando-o num ecrã vibrante. O processo começa com o planeamento do conceito e a seleção ou criação do objeto para projeção. Utilizando software de programa virtual, o conteúdo de vídeo é meticulosamente mapeado para as superfícies do objeto. Nos fluxos de trabalho de mapeamento 2D, as imagens ou vídeos são atribuídos a máscaras que correspondem às superfícies do objeto. Para o mapeamento 3D, a cena é recriada num software especializado em 3D e a versão virtual dos objectos é projectada nas suas contrapartes do mundo real. Isto implica a definição de coordenadas precisas para a colocação do objeto em relação ao projetor de vídeo, tendo em conta a orientação XYZ do projetor, a sua posição e as especificações da lente. O resultado é uma integração perfeita do conteúdo digital com o mundo físico, criando uma experiência visual inspiradora.
O que é a arte interactiva?
A arte interactiva é uma forma de arte dinâmica que reage ao seu público ou ambiente. As obras são geralmente apresentadas sob a forma de instalações nas quais o público pode participar. Podem também ser experimentadas através de espectáculos durante os quais um ou mais artistas realizam acções. Os ecrãs interactivos são ferramentas versáteis utilizadas em várias aplicações, como a publicidade, a educação e os eventos, aumentando a participação dos utilizadores e a notoriedade da marca.
A arte interactiva surgiu no final dos anos 50, na sequência do desejo dos artistas de exporem em locais menos exclusivos do que os museus ou as galerias. As ruas e as lojas tornaram-se espaços de expressão para propor experiências mais participativas e inclusivas. Os participantes deixam de ser espectadores e o seu papel pode então assemelhar-se ao de um ator.
Os primeiros exemplos de arte interactiva eram esculturas que podiam ser tocadas e manipuladas. Por exemplo, Niki de Saint Phalle produziu Golem, uma escultura monumental que tem um escorrega para as crianças brincarem. Outro exemplo, em 1971, Gordon Matta-Clark cozinhou um porco debaixo da ponte de Brooklyn e serviu 500 sanduíches como parte da performance. Os jogos interactivos são uma componente essencial da arte interactiva, envolvendo utilizadores de todas as idades através do rastreio de movimentos e de opções de projeção personalizáveis.
Alguns eventos corporativos implementam estes processos, por exemplo, em lançamentos de produtos, para envolver o seu público e deixá-lo com uma lembrança memorável ou oferecer uma experiência personalizada.
De um ponto de vista técnico, os espectáculos ou instalações interactivos utilizam cada vez mais computadores e projecções interactivas. Os sensores são utilizados em combinação com computadores para que os acontecimentos do mundo real possam ser interpretados por programas e depois transcritos, por exemplo, em sons ou imagens. Os sistemas interactivos integram a tecnologia e a arte para criar instalações imersivas que respondem ao movimento do público, enriquecendo os eventos com elementos visuais dinâmicos.
Controlo de som aberto (OSC) para ecrãs interactivos
A arte interactiva baseia-se no diálogo entre várias entidades. Normalmente, estas entidades não são concebidas nativamente para dialogar entre si. Por exemplo, um software de música e um software de vídeo instalados no mesmo computador, um Mac e um PC na mesma rede, ou um ser humano e uma máquina na mesma sala.
Existem normas para facilitar as trocas entre diferentes softwares e hardwares. Falamos de protocolos de rede, como o UDP ou o TCP, para designar as regras que regem as interações entre as diferentes entidades na mesma rede. Entre as normas utilizadas, há também Controlo de som abertoque é um formato de transmissão baseado em UDP ou TCP.
Os protocolos podem ser comparados a regras numa discussão, como não se interromperem uns aos outros. Os formatos podem ser comparados à gramática de uma língua, por exemplo, começar uma frase com o assunto. Se todos seguirem as mesmas normas, todos se entendem!
O Open Sound Control é um formato inspirado no MIDI (Musical Instrument Digital Interface) utilizada nas comunicações entre instrumentos musicais desde os anos 1980. Retoma esta ideia de conetividade entre instrumentos e software através da troca de mensagens, mas com melhorias significativas. A OSC pode utilizar uma ligação de rede, como a Internet ou uma rede local, pode transportar mais informações e oferece um sistema baseado em endereços semelhante aos caminhos de ficheiros.
Originalmente concebido para aplicações musicais, o OSC tornou-se agora um padrão utilizado por centenas de aplicações de software. Já não se limita aos dados de áudio e é capaz de transportar imagens ou informações para o seguimento de movimentos, por exemplo, para projecções interactivas. O OSC também pode ser utilizado para sincronizar efeitos sonoros com elementos visuais, melhorando a experiência sensorial global da projeção interactiva.
Software e ferramentas de mapeamento de projeção para arte interactiva
Existem inúmeros softwares e ferramentas de mapeamento de projeção disponíveis, cada um oferecendo caraterísticas e capacidades únicas para satisfazer as diferentes necessidades dos projectos. As opções de software mais populares incluem o Resolume, o HeavyM e o TouchDesigner, que fornecem uma gama de ferramentas como as funções de arrastar e largar, ferramentas de deformação e mistura de margens para criar projecções complexas e envolventes. Estas plataformas também oferecem funcionalidades avançadas como o seguimento de movimentos, a modelação 3D e a renderização em tempo real, permitindo a criação de ecrãs altamente interactivos e dinâmicos. Ao selecionar o software, é fundamental ter em conta os requisitos específicos do projeto, incluindo o tipo de superfície de projeção, a dimensão da projeção e o nível de interatividade pretendido. Ao escolher as ferramentas corretas, os criadores podem dar vida à sua visão e proporcionar experiências visuais deslumbrantes.
Alguns exemplos de software de arte interactiva compatível com o Open Sound Control: PureData, Vézer, IanniX, Chataigne, Máximo/MSP, OpenFrameworks, Processamento, HeavyM, TouchDesigner, Augmenta...
Consoante a sua utilização, estes softwares permitem controlar uma projeção interactiva gerada com o HeavyM a partir de dados externos, por exemplo. Dois programas que nos chamaram a atenção são o Vézer para Mac e o Chataigne para PC. Com estas ferramentas, é possível controlar o HeavyM com osciladores ou curvas de variação previamente desenhadas.
No que diz respeito às interacções entre humanos e computadores, falamos de IHM para Interface Homem-Máquina. As IHM são as superfícies visíveis do software e permitem aos utilizadores manipular as funcionalidades. De facto, neste momento está a utilizar a IHM do seu navegador de Internet, que lhe permite ler estas linhas. A parte oculta do browser permite-lhe trocar informações com outros computadores e servidores na Internet.
A Hexler desenvolve o TouchOSC, uma ferramenta para a construção de HMIs para enviar mensagens OSC. Com o TouchOSC, é possível criar aplicações, utilizáveis em tablets e smartphones, para controlar software compatível com OSC. Descobrir aqui as informações técnicas para ligar o TouchOSC ao HeavyM.
Para facilitar a utilização do TouchOSC com o HeavyM, disponibilizamos interfaces pré-concebidas para download aqui. Estas interfaces integram as principais funcionalidades do software, bastando instalá-las no seu tablet para controlar à distância o HeavyM.
Por último, para além do software, é possível utilizar dispositivos capazes de acionar software com OSC. É o caso, por exemplo, do Stream Deck criado por Elgato. Este dispositivo permite controlar simplesmente as funcionalidades do software de projeção interactiva através da atribuição de uma tecla. A principal vantagem deste sistema é que as teclas são ecrãs em miniatura e, por conseguinte, é possível apresentar um ícone nos mesmos. É muito fácil de utilizar!
Exemplo: como é que a Data Flaw criou experiências imersivas utilizando o Open Sound Control?
Romain Astouric, também conhecido por Data Flaw, é apaixonado pela revolução digital em que estamos a viver**. Afecta todas as áreas artísticas, com a produção de cada vez mais obras que utilizam a tecnologia na música, nas artes visuais e, sobretudo, na arte interactiva. A tecnologia está democratizada e está agora à distância de um clique. Os artistas têm agora acesso a ferramentas acessíveis e fáceis de utilizar para projecções interactivas. Para conseguir uma integração perfeita do vídeo nas superfícies, é crucial criar máscaras que correspondam à forma dos objectos que estão a ser animados.
O Data Flaw, enquanto tecnólogo criativo, ensina codificação e utilização da tecnologia para fins criativos na ESME Sudria, numa escola de engenharia em Paris. Inspira-se no trabalho de artistas como 1024 ArquitecturaJoanie Lemerciere o Escala colectivaNo seu trabalho artístico, Data Flaw utiliza regularmente a projeção mapeada e congratula-se com a sua abertura a um público mais vasto graças a ferramentas como HeavyM.
Para o seu projeto no Makerlab de Paris Centro de Investigação InterdisciplinarData Flaw integrou uma noção de interatividade para incluir o espetador na obra. A abordagem pretendida é simultaneamente estética e lúdica. O público torna-se um ator na instalação e toma consciência das consequências das suas acções no resultado apresentado como uma projeção interactiva. As paredes interactivas podem transformar várias superfícies em ecrãs totalmente interactivos, aumentando a participação do utilizador e criando experiências imersivas.
A instalação é uma superfície de projeção feita com ferramentas de impressão e corte digital, na qual são projectadas animações visuais geradas pelo software HeavyM. O artista utilizou um acessório popular, um comando da PlayStation 5, ligado ao HeavyM via OSC, através de um programa criado com Processing. Os projectos de mapeamento de projeção podem transformar espaços através da integração de movimento e som, permitindo aos participantes interagir com instalações artísticas.
O joystick pode acionar vários conjuntos de efeitos e sequências. Por exemplo, pode controlar as formas e as suas cores utilizando os joysticks. Qualquer pessoa pode criar facilmente belas combinações de cores em direto. A paleta de cores e os numerosos gradientes são inspirados por um jogo de vídeo específico: Hyper Light Drifter. Os projectores de vídeo são essenciais para criar ambientes imersivos que respondem às interações do público, facilitando experiências visuais únicas.
Ao contrário de um objeto tangível, o código informático nunca está terminado. Há sempre funcionalidades a melhorar ou novos erros a corrigir. É disto que o Data Flaw gosta particularmente. Para os seus projectos, precisa sempre de afinar, com muitas idas e vindas, testes e ensaios. O HeavyM é uma parte indispensável do seu processo criativo, tanto na fase de prototipagem como nos ajustes finais
Com o HeavyM, é possível editar a projeção interactiva, modificar ou acrescentar formas com apenas alguns cliques, sem ter de recomeçar ou passar por uma fase de renderização. É uma ferramenta flexível, mas poderosa, sem complexidade desnecessária.
A democratização da tecnologia permite atualmente a uma multidão de artistas exprimir os seus talentos criativos. Estão a ser criadas cada vez mais instalações interactivas, e o público procura este tipo de experiência, tanto estética como lúdica. Para se inspirar, pode encontrar exemplos de criações em Design Boom ou Caçador de tendências.
O futuro do mapeamento interativo por projeção
O futuro da projeção mapeada interactiva é incrivelmente promissor, com os avanços da tecnologia e do software a abrirem caminho a experiências mais complexas e imersivas. A interatividade deverá tornar-se a próxima fronteira do mapeamento de projeção, com tecnologias que permitem aos espectadores influenciar o mapeamento em tempo real através do som, do toque e da visão. A tecnologia vestível está a melhorar a experiência interactiva, e espera-se que a integração da inteligência artificial e da aprendizagem automática eleve ainda mais a tecnologia. Apesar de desafios como o custo e o tempo de produção, o potencial de criação de experiências únicas e memoráveis é imenso. À medida que a tecnologia continua a evoluir, o mapeamento de projeção interactiva irá, sem dúvida, desempenhar um papel fundamental na definição do futuro da narrativa visual e das experiências imersivas.
Para continuar
Saiba mais sobre projectores
Criámos um guia detalhado para escolher o projetor certo para as suas necessidades. Descubra as nossas sugestões e os erros a evitar neste guia que explica passo a passo as diferentes características.
Explore o software HeavyM
O HeavyM é um software de vídeo mapping capaz de gerar efeitos visuais e de os projetar sobre volumes, decorações ou elementos arquitectónicos. O HeavyM é compatível com Mac e Windows.