Erstellen eines interaktiven Projektionsmappings mit dem OSC
Beeindruckende Hakanaï-Leistung von Adrien M & Claire B
Was ist Projection Mapping?
Projection Mapping, auch bekannt als Video Mapping oder räumliche Augmented Reality, ist eine bahnbrechende Technologie, die gewöhnliche Oberflächen in dynamische Displays verwandelt, indem digitale Inhalte darauf projiziert werden. Diese Technik hat verschiedene Bereiche revolutioniert, darunter Marketing, Unterhaltung und Bildung, indem sie faszinierende visuelle Erlebnisse schafft, die das Publikum in ihren Bann ziehen. Ob es darum geht, Markenbotschaften zu vermitteln, einzigartige Bühnenhintergründe zu schaffen, Wände und Decken zu dekorieren oder Emotionen hervorzurufen - Projection Mapping bietet unendlich viele Möglichkeiten. Indem jede Oberfläche in eine Leinwand verwandelt wird, können Künstler und Kreative die Grenzen des visuellen Geschichtenerzählens erweitern und eindringliche Erlebnisse schaffen, die einen bleibenden Eindruck hinterlassen.
Wie funktioniert das Projection Mapping?
Beim Projection Mapping werden digitale Inhalte mit Hilfe spezieller Software auf eine physische Oberfläche abgebildet und so in eine lebendige Darstellung verwandelt. Der Prozess beginnt mit der Planung des Konzepts und der Auswahl oder Erstellung des zu projizierenden Objekts. Mithilfe einer virtuellen Programmsoftware wird der Videoinhalt sorgfältig auf die Oberflächen des Objekts abgebildet. Bei 2D-Mapping-Workflows werden die Bilder oder Videos Masken zugewiesen, die den Oberflächen des Objekts entsprechen. Beim 3D-Mapping wird die Szene in einer speziellen 3D-Software nachgebildet, und die virtuelle Version der Objekte wird auf ihre realen Gegenstücke projiziert. Dabei werden genaue Koordinaten für die Platzierung des Objekts im Verhältnis zum Videoprojektor festgelegt, wobei die XYZ-Ausrichtung, die Position und die Objektivspezifikationen des Projektors berücksichtigt werden. Das Ergebnis ist eine nahtlose Integration digitaler Inhalte mit der realen Welt, die ein beeindruckendes visuelles Erlebnis schafft.
Was ist interaktive Kunst?
Interaktive Kunst ist eine dynamische Kunstform, die auf ihr Publikum oder ihre Umgebung reagiert. Die Werke werden in der Regel in Form von Installationen präsentiert, an denen sich das Publikum beteiligen kann. Sie können auch durch Performances erlebt werden, bei denen ein oder mehrere Künstler Aktionen durchführen. Interaktive Displays sind vielseitige Werkzeuge, die in verschiedenen Bereichen wie Werbung, Bildung und Veranstaltungen eingesetzt werden, um das Engagement der Nutzer und das Markenbewusstsein zu steigern.
Die interaktive Kunst entstand in den späten 1950er Jahren aus dem Wunsch der Künstler, an weniger exklusiven Orten als Museen oder Galerien auszustellen. Straßen und Geschäfte wurden zu Ausdrucksräumen, um partizipative und integrative Erfahrungen zu ermöglichen. Die Teilnehmer sind keine Zuschauer mehr, und ihre Rolle kann der eines Schauspielers ähneln.
Die ersten Beispiele für interaktive Kunst waren Skulpturen, die man anfassen und mit ihnen spielen konnte. Niki de Saint Phalle schuf zum Beispiel den Golem, eine monumentale Skulptur mit einer Rutsche, auf der Kinder spielen können. Ein weiteres Beispiel: 1971 kochte Gordon Matta-Clark ein Schwein unter der Brooklyn Bridge und servierte 500 Sandwiches als Teil der Performance. Interaktive Spiele sind eine Schlüsselkomponente der interaktiven Kunst, die durch Bewegungsverfolgung und anpassbare Projektionsoptionen Nutzer aller Altersgruppen anspricht.
Einige Unternehmensveranstaltungen setzen diese Verfahren ein, zum Beispiel bei Produkteinführungen, um ihr Publikum zu fesseln und ihm ein unvergessliches Souvenir zu hinterlassen oder ein persönliches Erlebnis zu bieten.
In technischer Hinsicht werden bei interaktiven Performances oder Installationen zunehmend Computer und interaktive Projektionen eingesetzt. Sensoren werden in Kombination mit Computern eingesetzt, so dass Ereignisse in der realen Welt von Programmen interpretiert und dann z. B. in Töne oder Bilder umgesetzt werden können. Interaktive Systeme integrieren Technologie und Kunst, um immersive Installationen zu schaffen, die auf die Bewegung des Publikums reagieren und das Geschehen mit dynamischen visuellen Elementen bereichern.
Open Sound Control (OSC) für interaktive Displays
Interaktive Kunst basiert auf dem Dialog zwischen mehreren Einheiten. Normalerweise sind diese Einheiten nicht von Natur aus für den Dialog miteinander ausgelegt. Zum Beispiel eine Musiksoftware und eine Videosoftware, die auf demselben Computer installiert sind, ein Mac und ein PC im selben Netzwerk oder ein Mensch und eine Maschine im selben Raum.
Es gibt Normen, die den Austausch zwischen unterschiedlicher Software und Hardware erleichtern. Wir sprechen von Netzwerkprotokollen wie UDP oder TCP, um die Regeln zu bezeichnen, die die Interaktionen zwischen den verschiedenen Einheiten im selben Netzwerk regeln. Unter den verwendeten Standards gibt es auch Klangregelung öffnenist ein auf UDP oder TCP basierendes Übertragungsformat.
Protokolle können mit Regeln in einer Diskussion verglichen werden, z. B. dass man sich nicht gegenseitig ausschaltet. Formate können mit der Grammatik einer Sprache verglichen werden, z. B. einen Satz mit dem Subjekt beginnen. Wenn sich alle an die gleichen Standards halten, verstehen sich alle!
Open Sound Control ist ein Format, das von MIDI (Musical Instrument Digital Interface), das seit den 1980er Jahren für die Kommunikation zwischen Musikinstrumenten verwendet wird. Es greift diese Idee der Konnektivität zwischen Instrumenten und Software durch den Austausch von Nachrichten auf, allerdings mit erheblichen Verbesserungen. OSC kann eine Netzwerkverbindung wie das Internet oder ein lokales Netzwerk nutzen, es kann mehr Informationen transportieren und bietet ein adressbasiertes System ähnlich wie Dateipfade.
Ursprünglich für Musikanwendungen entwickelt, ist OSC inzwischen zu einem Standard geworden, der von Hunderten von Softwareanwendungen genutzt wird. Es ist nicht mehr auf Audiodaten beschränkt, sondern kann auch Bilder oder Informationen für die Bewegungsverfolgung übertragen, zum Beispiel für interaktive Projektionen. OSC kann auch verwendet werden, um Soundeffekte mit visuellen Elementen zu synchronisieren und so das Gesamterlebnis der interaktiven Projektion zu verbessern.
Projection Mapping Software und Tools für interaktive Kunst
Es gibt zahlreiche Projektionssoftware und -tools, die jeweils einzigartige Funktionen und Möglichkeiten bieten, um den unterschiedlichen Projektanforderungen gerecht zu werden. Zu den beliebten Softwareoptionen gehören Resolume, HeavyM und TouchDesigner, die eine Reihe von Tools wie Drag-and-Drop-Funktionen, Warping-Tools und Edge-Blending zur Erstellung komplexer und immersiver Projektionen bieten. Diese Plattformen bieten auch fortschrittliche Funktionen wie Motion Tracking, 3D-Modellierung und Rendering in Echtzeit und ermöglichen so die Erstellung hochgradig interaktiver und dynamischer Displays. Bei der Auswahl der Software ist es wichtig, die spezifischen Anforderungen des Projekts zu berücksichtigen, einschließlich der Art der Projektionsfläche, der Größe der Projektion und des gewünschten Maßes an Interaktivität. Durch die Wahl der richtigen Tools können Kreative ihre Visionen zum Leben erwecken und beeindruckende visuelle Erlebnisse liefern.
Einige Beispiele für interaktive Kunstsoftware, die mit Open Sound Control kompatibel ist: PureData, Vézer, IanniX, Chataigne, Max/MSP, OpenFrameworks, Verarbeitung, HeavyM, TouchDesigner, Augmenta...
Je nach Anwendung ermöglichen diese Softwareanwendungen die Steuerung einer interaktiven Projektion, die mit HeavyM erstellt wurde, z. B. mit externen Daten. Zwei Programme, die uns aufgefallen sind, sind Vézer für den Mac und Chataigne für den PC. Mit diesen Tools können Sie HeavyM mit Oszillatoren oder Variationskurven steuern, die Sie zuvor gezeichnet haben.
Wenn es um die Interaktion zwischen Mensch und Computer geht, spricht man von HMI (Human-Machine Interface). HMIs sind die sichtbaren Oberflächen von Software, und sie ermöglichen es den Benutzern, die Funktionen zu manipulieren. Sie benutzen gerade die HMI Ihres Internetbrowsers, mit dem Sie diese Zeilen lesen können. Der verborgene Teil des Browsers ermöglicht es Ihnen, Informationen mit anderen Computern und Servern im Internet auszutauschen.
Hexler entwickelt TouchOSCein Werkzeug zur Erstellung von HMIs zum Senden von OSC-Nachrichten. Mit TouchOSC können Sie Anwendungen erstellen, die auf Tablets und Smartphones verwendet werden können, um OSC-kompatible Software zu steuern. Entdecken Sie hier die technischen Informationen zum Anschluss von TouchOSC an HeavyM.
Um Ihnen die Verwendung von TouchOSC mit HeavyM zu erleichtern, bieten wir Ihnen vorgefertigte Schnittstellen zum Download an hier. Diese Schnittstellen enthalten die wichtigsten Funktionen der Software, und Sie müssen sie einfach auf Ihrem Tablet installieren, um das HeavyM fernzusteuern.
Schließlich ist es möglich, neben der Software auch Geräte zu verwenden, die in der Lage sind, Software mit OSC zu steuern. Dies ist zum Beispiel der Fall bei dem Stream Deck erstellt von Elgato. Mit diesem Gerät können Sie die Funktionen der Software für interaktive Projektion ganz einfach durch Zuweisung einer Taste steuern. Der Hauptvorteil dieses Systems besteht darin, dass die Tasten Miniaturbildschirme sind, auf denen Sie ein Symbol anzeigen können. Es ist sehr einfach zu bedienen!
Beispiel: Wie hat Data Flaw mit Open Sound Control immersive Erlebnisse geschaffen?
Romain Astouric, alias Data Flaw, ist begeistert von der digitalen Revolution, in der wir leben**. Sie wirkt sich auf alle künstlerischen Bereiche aus, da immer mehr Werke unter Einsatz von Technologie in der Musik, der bildenden Kunst und insbesondere der interaktiven Kunst entstehen. Die Technologie hat sich demokratisiert und ist jetzt nur noch einen Klick entfernt. Künstler haben jetzt Zugang zu erschwinglichen und einfach zu bedienenden Werkzeugen für interaktive Projektionen. Um eine nahtlose Integration von Video auf Oberflächen zu erreichen, ist es wichtig, Masken zu erstellen, die der Form der zu animierenden Objekte entsprechen.
Data Flaw, ein kreativer Technologe, unterrichtet Programmierung und die Nutzung von Technologie für kreative Zwecke bei ESME Sudriaeiner Ingenieurschule in Paris. Er lässt sich von der Arbeit von Künstlern wie 1024 ArchitekturJoanie Lemercierund die Skala kollektivIn seiner künstlerischen Arbeit verwendet Data Flaw regelmäßig Projection Mapping und begrüßt dessen Öffnung für ein breiteres Publikum dank Tools wie HeavyM.
Für sein Projekt im Makerlab des Pariser Interdisziplinäres ForschungszentrumData Flaw integriert den Gedanken der Interaktivität, um den Betrachter in das Werk einzubeziehen. Der gewünschte Ansatz ist sowohl ästhetisch als auch spielerisch. Das Publikum wird zum Akteur in der Installation und wird sich der Konsequenzen seiner Handlungen auf das Ergebnis bewusst, das als interaktive Projektion angezeigt wird. Interaktive Wände können verschiedene Oberflächen in vollständig interaktive Bildschirme verwandeln, die das Engagement des Benutzers erhöhen und immersive Erfahrungen schaffen.
Bei der Installation handelt es sich um eine mit digitalen Druck- und Schneidewerkzeugen hergestellte Projektionsfläche, auf die von der Software HeavyM erzeugte visuelle Animationen projiziert werden. Der Künstler verwendete ein beliebtes Zubehör, einen PlayStation 5-Controller, der über ein mit Processing erstelltes Programm per OSC mit HeavyM verbunden ist. Projection mapping-Projekte können Räume durch die Integration von Bewegung und Klang verändern und es den Teilnehmern ermöglichen, mit künstlerischen Installationen zu interagieren.
Der Joystick kann verschiedene Effekte und Sequenzen auslösen. Zum Beispiel können die Formen und ihre Farben mit den Joysticks gesteuert werden. Jeder kann leicht schöne Live-Farbkombinationen erstellen. Die Farbpalette und die zahlreichen Farbverläufe sind von einem bestimmten Videospiel inspiriert: Hyper Light Drifter. Videoprojektoren sind unerlässlich für die Schaffung immersiver Umgebungen, die auf die Interaktion des Publikums reagieren und einzigartige visuelle Erfahrungen ermöglichen.
Anders als ein greifbares Objekt ist Computercode nie fertig. Es gibt immer neue Funktionen zu verbessern oder neue Fehler zu beheben. Das ist es, was Data Flaw besonders gern mag. Bei seinen Projekten muss er immer wieder Feinabstimmungen vornehmen, mit viel Hin und Her, Tests und Versuchen. HeavyM ist ein unverzichtbarer Teil seines kreativen Prozesses, sowohl in der Prototyping-Phase als auch bei den letzten Anpassungen.
Mit HeavyM können Sie die interaktive Projektion bearbeiten, Formen mit nur wenigen Klicks ändern oder hinzufügen, ohne neu beginnen oder eine Rendering-Phase durchlaufen zu müssen. Es ist ein flexibles und dennoch leistungsstarkes Werkzeug, ohne unnötige Komplexität.
Die Demokratisierung der Technologie ermöglicht es heute einer Vielzahl von Künstlern, ihre kreativen Talente zum Ausdruck zu bringen. Es werden immer mehr interaktive Installationen geschaffen, und das Publikum verlangt nach dieser Art von Erfahrung, die sowohl ästhetisch als auch spielerisch ist. Wenn Sie sich inspirieren lassen möchten, finden Sie Beispiele von Kreationen auf Design-Boom oder Trend Hunter.
Die Zukunft der interaktiven Projektionskartierung
Die Zukunft des interaktiven Projection Mapping ist unglaublich vielversprechend, denn die Fortschritte bei Technologie und Software ebnen den Weg für komplexere und immersivere Erlebnisse. Interaktivität wird die nächste Stufe des Projection Mapping sein. Technologien, die es dem Betrachter ermöglichen, das Mapping in Echtzeit durch Ton, Berührung und Sicht zu beeinflussen, sind bereits auf dem Vormarsch. Die Integration von künstlicher Intelligenz und maschinellem Lernen wird die Technologie voraussichtlich noch weiter verbessern. Trotz Herausforderungen wie Kosten und Produktionszeit ist das Potenzial für die Schaffung einzigartiger und unvergesslicher Erlebnisse immens. Mit der weiteren Entwicklung der Technologie wird interaktives Projection Mapping zweifellos eine entscheidende Rolle bei der Gestaltung der Zukunft des visuellen Geschichtenerzählens und der immersiven Erlebnisse spielen.
Fortsetzung folgt
Erfahren Sie mehr über Projektoren
Wir haben einen detaillierten Leitfaden zur Auswahl des richtigen Projektors für Ihre Bedürfnisse erstellt. Entdecken Sie unsere Tipps und Fehler, die Sie vermeiden sollten, in diesem Leitfaden, der die verschiedenen Funktionen Schritt für Schritt erklärt.
Entdecken Sie die HeavyM-Software
HeavyM ist eine video mapping software, die in der Lage ist, visuelle Effekte zu erzeugen und diese auf Volumen, Dekorationen oder architektonische Elemente zu projizieren. HeavyM ist mit Mac und Windows kompatibel.
DE 
EN 
FR 
ES 
IT 
PT 
CN 
KR 
JA 
RU