OSCでインタラクティブなプロジェクションマッピングを作成する
印象的なハカナイのパフォーマンス アドリアン・M＆クレア・B
プロジェクションマッピングとは？
ビデオマッピングや空間拡張現実とも呼ばれるプロジェクションマッピングは、デジタルコンテンツを投影することで、通常の表面をダイナミックなディスプレイに変える画期的な技術である。この技術は、観客を魅了するビジュアル体験を生み出すことで、マーケティング、エンターテインメント、教育など様々な分野に革命をもたらしました。ブランドメッセージの伝達、ユニークな舞台背景の制作、壁や天井の装飾、感情の喚起など、プロジェクションマッピングは無限の可能性を秘めています。あらゆる表面をキャンバスに変えることで、アーティストやクリエイターはビジュアルストーリーテリングの限界を押し広げ、印象に残る没入型体験を生み出すことができます。
プロジェクションマッピングの仕組み
プロジェクションマッピングは、専用のソフトウェアを使ってデジタルコンテンツを物理的な表面にマッピングし、鮮やかなディスプレイに変換する。このプロセスは、コンセプトを計画し、プロジェクション用のオブジェクトを選択または作成することから始まります。バーチャル・プログラム・ソフトウェアを使用して、映像コンテンツをオブジェクトの表面に綿密にマッピングします。2Dマッピングのワークフローでは、オブジェクトの表面に対応するマスクに画像や動画を割り当てます。3Dマッピングでは、3D専用ソフトウェアでシーンを再現し、オブジェクトの仮想バージョンを現実世界の対応物に投影します。この際、プロジェクターのXYZ方向、位置、レンズの仕様などを考慮し、ビデオプロジェクターに対するオブジェクトの配置を正確に座標設定する必要がある。その結果、デジタル・コンテンツと物理的な世界がシームレスに統合され、感動的な映像体験が生まれる。
インタラクティブアートとは？
インタラクティブアートは、観客や環境に反応するダイナミックな芸術形態である。.作品は通常、観客が参加できるインスタレーションの形で発表される。また、1人または複数のアーティストがアクションを行うパフォーマンスを通して体験することもできる。インタラクティブ・ディスプレイは、広告、教育、イベントなど様々な用途で使用され、ユーザーのエンゲージメントやブランド認知度を高める多用途なツールである。
インタラクティブ・アートは、美術館やギャラリーよりも排他的でない場所で展示したいというアーティストの要望を受けて、1950年代後半に登場した。より参加的で包括的な体験を提案するために、路上や店舗が表現の場となった。 参加者はもはや観客ではなく、俳優のような役割を果たすことができる。.
インタラクティブ・アートの初期の例は、触ったり遊んだりできる彫刻だった。 例えば、ニキ・ド・サンファルは、子供が遊べる滑り台を備えた記念碑的彫刻『ゴーレム』を制作した。.もうひとつの例として、1971年、ゴードン・マッタ＝クラークはブルックリン橋の下で豚を調理し、パフォーマンスの一環として500個のサンドイッチを提供した。インタラクティブ・ゲームはインタラクティブ・アートの重要な要素であり、モーション・トラッキングやカスタマイズ可能なプロジェクション・オプションを通じて、あらゆる年齢層のユーザーを魅了する。
企業イベントの中には、例えば製品発表会などでこうしたプロセスを実施するものもある、 観客を魅了し、思い出に残る記念品を残す。 あるいは、パーソナライズされた体験を提供する。
技術的な観点から見ると、インタラクティブなパフォーマンスやインスタレーションは、コンピューターやインタラクティブなプロジェクションを使うことが多くなっている。 センサーはコンピューターと組み合わせて使用され、現実世界の出来事をプログラムによって解釈し、例えば音や画像に転写することができる。.インタラクティブ・システムは、テクノロジーとアートを統合し、観客の動きに反応する没入型のインスタレーションを作り出し、ダイナミックな視覚的要素でイベントを盛り上げる。
インタラクティブ・ディスプレイ用オープン・サウンド・コントロール（OSC）
インタラクティブ・アートは、複数のエンティティ間の対話に基づいている。通常、これらのエンティティは、互いに対話するように設計されていない。例えば、同じコンピューターにインストールされた音楽ソフトとビデオソフト、同じネットワーク上のMacとPC、同じ部屋にいる人間と機械などだ。
標準規格は、異なるソフトウェアやハードウェア間の交換を容易にするために存在する。.UDPやTCPのようなネットワーク・プロトコルは、同じネットワーク上の異なるエンティティ間の相互作用を支配するルールを指定するために使われる。使用される標準の中には オープン・サウンド・コントロールこれはUDPまたはTCPに基づく伝送フォーマットである。
プロトコルはディスカッションのルールに例えることができる。書式は言語の文法に例えることができる。例えば、主語から文を始めるなどである。 誰もが同じ基準に従えば、互いを理解することができる!
オープン・サウンド・コントロールは ミディ (Musical Instrument Digital Interface）の略で、1980年代から楽器間の通信に使われている。OSCは、メッセージの交換を通じて楽器とソフトウェアを接続するというこの考え方を受け継いでいますが、大幅な改良が加えられています。OSCは、インターネットやローカルネットワークなどのネットワーク接続を使用することができ、より多くの情報を転送することができ、ファイルパスに似たアドレスベースのシステムを提供します。
もともとは音楽アプリケーション用に設計されたOSCは、現在では何百ものソフトウェア・アプリケーションで使用される標準となっている。 もはや音声データに限定されず、画像やモーション・トラッキングのための情報を伝送することが可能で、インタラクティブなプロジェクションを行うことができる。.OSCはまた、サウンドエフェクトとビジュアルエレメントを同期させ、インタラクティブプロジェクションの全体的な感覚体験を高めるために使用することもできます。
インタラクティブ・アートのためのプロジェクション・マッピング・ソフトウェアとツール
数多くのプロジェクション・マッピング・ソフトウェアやツールがあり、それぞれがユニークな機能や性能を提供し、さまざまなプロジェクトのニーズに対応しています。人気のソフトウェアには、Resolume、HeavyM、TouchDesignerなどがあり、ドラッグ＆ドロップ機能、ワーピングツール、エッジブレンディングなど、複雑で没入感のあるプロジェクションを作成するためのさまざまなツールを提供しています。これらのプラットフォームは、モーション・トラッキング、3Dモデリング、リアルタイム・レンダリングなどの高度な機能も備えており、非常にインタラクティブでダイナミックなディスプレイの作成が可能です。ソフトウェアを選択する際には、投影面のタイプ、投影のサイズ、希望するインタラクティブ性のレベルなど、プロジェクトの具体的な要件を考慮することが極めて重要です。適切なツールを選択することで、クリエイターはビジョンを実現し、魅力的なビジュアル体験を提供することができます。
使い方にもよるが、これらのソフトウェア・アプリケーションを使えば、例えば外部データを使ってHeavyMで生成したインタラクティブなプロジェクションをコントロールすることができる。私たちが注目した2つのプログラムは Mac版VézerとPC版Chataigne.これらのツールを使えば、あらかじめ描いたオシレーターやバリエーション・カーブでHeavyMをコントロールすることができる。
人間とコンピュータの相互作用について、私たちはHMI（Human-Machine Interface）と呼んでいる。HMIはソフトウェアの目に見える表面であり、ユーザーが機能を操作することを可能にする。実際、あなたは現在、インターネット・ブラウザのHMIを使用しており、この行を読むことができる。ブラウザの隠された部分によって、インターネット上の他のコンピューターやサーバーと情報を交換することができる。
ヘクスラー TouchOSCを開発OSCメッセージを送信するためのHMI構築ツール。 TouchOSCを使用すると、タブレットやスマートフォンでOSC互換ソフトウェアを制御するアプリケーションを作成できます。.発見 これ TouchOSCをHeavyMに接続するための技術情報。
HeavyMでTouchOSCを簡単に使用できるように、あらかじめ設計されたインターフェイスがダウンロードできます。 これ.これらのインターフェースにはソフトウェアの主な機能が組み込まれており、タブレットにインストールするだけでHeavyMを遠隔操作することができます。
最後に、ソフトウェアに加えて、OSCでソフトウェアを駆動できるデバイスを使用することも可能である。例えば Elgatoが作成したストリームデッキ.このデバイスを使えば、キーを割り当てるだけで、インタラクティブ・プロジェクション・ソフトウェアの機能を簡単にコントロールできる。 このシステムの主な利点は、キーが小型スクリーンであり、アイコンを表示できることである。.とても使いやすい！
例：Data Flawはオープン・サウンド・コントロールを使って、どのように没入体験を作り出したか？
ロマン・アストゥリック、別名データ・フラウ、 は、私たちが生きているデジタル革命**に情熱を注いでいる。音楽、ビジュアル・アート、そして特にインタラクティブ・アートにおいて、テクノロジーを使った作品がますます増えている。テクノロジーは民主化され、クリックひとつで利用できるようになりました。アーティストたちは今、インタラクティブ・プロジェクションのための、手頃で使いやすいツールを手に入れることができる。表面への映像のシームレスな統合を達成するためには、アニメートされるオブジェクトの形状に合ったマスクを作成することが極めて重要である。
データ・フラウは、クリエイティブ・テクノロジストとして、コーディングやクリエイティブな目的でのテクノロジーの使用を教えている。 エスメ・スドリアパリのエンジニア学校卒業。のようなアーティストの作品からインスピレーションを得ている。 1024アーキテクチャジョアニー・ルメルシエと、その スケール集団生前の生前、ったな、ったな。 HeavyM.
パリのメーカーラボでのプロジェクト 学際研究センターデータ・フラウ』は、観客を作品に取り込むために、双方向性という概念を取り入れた。そのアプローチは、美的かつ遊び心に溢れている。観客はインスタレーションの役者となり、自分の行動がインタラクティブなプロジェクションとして表示される結果にどのような影響を与えるかを意識するようになる。インタラクティブ・ウォールは、様々な表面を完全にインタラクティブなディスプレイに変えることができ、ユーザーの関与を高め、没入感のある体験を生み出す。
このインスタレーションは、デジタル印刷とカッティングツールで作られた投影面に、HeavyMソフトウェアで生成されたビジュアル・アニメーションが投影される。 アーティストが使用したのは、人気のアクセサリーであるプレイステーション5のコントローラーで、Processingで作成したプログラムを通して、OSC経由でHeavyMに接続した。.プロジェクション・マッピング・プロジェクトは、動きとサウンドを統合することによって空間を変容させ、参加者が芸術的なインスタレーションと相互作用することを可能にする。
ジョイスティックは、様々なエフェクトやシーケンスをトリガーすることができます。.例えば、ジョイスティックを使って形や色をコントロールすることができる。誰でも簡単に美しいライブカラーの組み合わせを作成することができます。カラーパレットと多数のグラデーションは、あるビデオゲームにインスパイアされています：ハイパー・ライト・ドリフタービデオプロジェクターは、観客のインタラクションに反応し、ユニークな視覚体験を促進する没入型環境を作り出すのに不可欠である。
形あるものと違って、コンピューター・コードに完成はない。改善すべき機能や修正すべきバグが常に存在する。データ・フラウが特に好きなのはこの点だ。彼のプロジェクトでは、常に微調整が必要で、何度も行ったり来たり、テストや試行錯誤を繰り返す。 HeavyMは、プロトタイプの段階でも最終調整でも、彼のクリエイティブなプロセスには欠かせない存在だ
HeavyMでは、インタラクティブな投影を編集したり、形状を修正したり、追加したりすることができます。 不必要な複雑さはなく、柔軟かつパワフルなツールだ。
インタラクティブ・プロジェクション・マッピングの未来
インタラクティブ・プロジェクションマッピングの未来は、テクノロジーとソフトウェアの進歩により、より複雑で没入感のある体験への道が開かれ、非常に有望視されている。インタラクティブ性はプロジェクションマッピングの次のフロンティアになると考えられており、視聴者が音、タッチ、視覚を通じてリアルタイムでマッピングに影響を与えることができる技術はすでに話題になっている。ウェアラブル技術はインタラクティブ体験を強化し、人工知能と機械学習の統合は技術をさらに高めると期待されている。コストや制作時間といった課題はあるものの、ユニークで記憶に残る体験を生み出す可能性は計り知れない。テクノロジーが進化し続ける中、インタラクティブ・プロジェクション・マッピングは、ビジュアル・ストーリーテリングと没入型体験の未来を形作る上で、極めて重要な役割を果たすことは間違いないだろう。
続きはこちら
HeavyMのソフトを調べる
HeavyMは、ビデオマッピングソフトウェアで、以下のことが可能です。 ビジュアルエフェクトの生成 また、ボリューム、装飾、建築要素に投影することもできる。HeavyMは MacとWindowsに対応.
JA 
EN 
FR 
ES 
DE 
IT 
PT 
CN 
KR 
RU