インタラクティブなプロジェクションマッピングを発見する5つのプロジェクト
はじめに - インタラクティブアートとプロジェクションマッピング
インタラクティブアートは、環境に反応するダイナミックな芸術形態である。こうして制作された作品は、人間や自然などの環境と、それを構成する他の要素との間につながりを生み出す。ステージ、セット、彫刻、光、コンピューターシステム......インタラクティブ・インスタレーションでは、参加者がセンサーを通して相互作用し、ライブで生成されるユニークな結果を生み出す。
製作例 : Daniel Rozin - Mechanical Mirrors
ビデオプロジェクターによるプロジェクションマッピングは、空間を光で彩ることができる。そのため、環境で起こる出来事を視覚的に転写するのに適している。例えば、人の動き、ボタンの操作、楽器が奏でる音などです。この記事では、プロジェクションマッピングの可能性を示すために、インタラクティブなプロジェクションマッピングのプロジェクトを紹介する。
ジェシー・ジェームズ・アレンによる2つのインタラクティブ・プロジェクション・マッピング・プロジェクト
ジェシー・ジェームス・アレンは、デジタル時代の幕開けとなった90年代初頭、エンターテインメント業界でサウンドエンジニアとしてのキャリアをスタートさせた。次第にテーマパークのメディア・デザイナーとなり、多くのツールを使いこなすことを学んだが、それらはすべて、ストーリーテリングを通じて感動的な体験を提供するために不可欠なパズルのピースだと考えている。彼は53のビデオゲームのデザインに参加し、この活動が彼のクリエイティブとしてのキャリアを形成してきた。ビデオゲームの影響は、彼のプロジェクション・マッピング・プロジェクトのいくつかで感じることができ、プロジェクションをコントロールするためにビデオゲームのコントローラーを使うこともある。
ジェシーは、より説得力のあるセンセーショナルなストーリーを伝えるためのインタラクティブな体験や展示において、HeavyMに大きな可能性を見出している。実際、彼は画家やイラストレーターと仕事をしている。物理的な触覚の世界を方程式に取り入れることで、より生き生きとした、より有機的な効果が得られるからだ。ジェシーによれば、「伝統的なアートとデジタルのミックスは、特別なマジックを生み出す。HeavyMの研究開発を始めて約1年になりますが、可能性の全宇宙に触れ、表面を擦っただけだと感じています」。
チャーリー・ジッチャとのコラボレーションにより、導電性インクを使ったペインティングが完成した。このインクはタッチボードに接続され、タッチボードが情報をHeavyM用のMIDIに変換する。HeavyMのシーケンサーはMIDI制御が可能なので、ジェシーは絵画の一部を特定のシーケンスにリンクさせた。
この経験に基づき、ジェシー・ジェームス・アレンは、クリエイティブ・シティ・プロジェクトがオーランドで主催した巨大な芸術祭「Immerse in 2017」で紹介された8フィートの彫刻「セラフ・エンジェル」を構想し、製作した。
セラフ』は、プロジェクションマッピング、モーションキャプチャー、サウンドデザインを組み合わせ、没入型のインタラクティブ体験を提供する。これはジェシーにとって、HeavyMを使ったこれまでで最大のプロジェクトであり、すべての観客に、自分の身体や声を通してインスタレーションと対話する機会を提供する。ジェシーはこのプロジェクトでHeavyM Liveのパワーをフル活用した。
投影されるビジュアルの大部分はシェーダーで、リープモーションによる動き認識と導電性インクによるタッチインタラクションによって、来場者がコントロールできる。最後に、HeavyMの音解析モジュールは、マイクを介して来場者の声に反応するために使用された。
モーショントラッキングによるインタラクティブなプロジェクションマッピング
デジタル・エッセンスは2014年以来、企業コミュニケーションのためのインタラクティブ・インスタレーションを制作している。同社は、空間デザイナー、CGデザイナー、エンジニアのコラボレーションにより、ビデオプロジェクションを使ったインタラクティブなシステムをデザインし、実装している。デジタル・イノベーションに特化したイベント「Hacking de l'Hôtel de Ville de Paris 2020」のために、デジタル・エッセンスはインタラクティブなプロジェクション・マッピング・インスタレーションをデザイン・制作した。
主な目的は、イベントを盛り上げるデジタル・アニメーションを提案しながら、ユニークな場所を強調することである。そのため、プロジェクション・マッピングのおかげで、大階段の階段は、ビデオ・アニメーションをトリガーすることによって、一般の人々の通行に反応する。このインスタレーションは、来場者に没入感とインパクトのある体験を与え、記憶に残ることだろう。
デジタル・エッセンスは、ZED立体カメラと、この設置のために特別に開発された画像処理アルゴリズムを組み合わせ、階段上の人の存在と位置を検出した。
このデータはシェーダーに送られ、表示され、HeavyMで変形され、人が近くを通ったときに階段をオン／オフする。最後に、検出フィールドに人がいるとすぐに「キラキラの雨」のビデオが再生される。
インタラクティブなプロジェクションマッピングをパーソナライズする
もうひとつのデジタル・エッセンス・プロジェクト：タブレットで選択した内容に基づき、パーソナライズされた体験を提供する没入型ボックス。一連の質問に答えると、訪問者は周囲に投影された箱の中に入り込む。体験は色、音楽、目的地の選択によってカスタマイズできる。アニメーションと音楽は回答に応じて変化し、インパクトのある体験を保証する。
技術的な部分では、2台のオルガ・キット、3台のフルHD超短焦点プロジェクター、コンピューター、タブレットを使用している。ブースに入る前に、来場者はタブレットに表示されたウェブページのフォームに入力する。その回答はデータベースに入力され、ショーを中継するコンピューター上で動作するプログラムによって処理される。最後に、このプログラムはOSCメッセージによってHeavyMが表示するビデオを制御する。
ステージにインタラクティブなプロジェクションマッピング
インタラクティブなプロジェクション・マッピング・プロジェクトのセレクションの最後を飾るにふさわしいのは、舞台芸術への応用である。ディオメディ・マッティアは、ダンスとビデオ・プロジェクションをリンクさせたこのパフォーマンスのために、ダンサーの動きに基づいたリアルタイムの映像生成システムを導入した。
このインタラクティブ・バレエは、Blacktrax技術とTouchDesignerを使用してLaserentertainmentによって制作されました。Blacktraxは、赤外線LEDを利用したモーション・トラッキング技術である。ダンサーには、バッテリーとLEDからなる小さな電子回路が搭載されており、その光は人間の目には見えないが、特定のカメラには見えない。ダンサーの位置は、画像処理ソフトウェアによって知ることができ、TouchDesignerソフトウェアに送られる。
TouchDesignerを使用すると、互いにリンクするノードのシステムを通じて画像ジェネレータをプログラムできます。
結論
このインタラクティブ・プロジェクションマッピング・プロジェクトのセレクションは、その用途と可能性を垣間見せてくれる。これらは実に幅広く、今後ますます発展していくだろう。テクノロジーは、インタラクションを可能にするセンサーシステムの不可欠な一部であるため、インタラクティブアートにおいて不可欠な役割を果たしている。従って、コンピュータ・ツールを利用しやすくすることは、この分野の作品の成長と増殖に不可欠である。HeavyMは、その使いやすさと多様性により、数クリックでインタラクティブなプロジェクションマッピングを実現することができる。
JA 
EN 
FR 
ES 
DE 
IT 
PT 
CN 
KR 
RU