LED_Study
舞台芸術におけるLED照明の可能性ならびに、デジタルプログラミングとの連動

舞台芸術作品の創造・受容のための
領域横断的・実践的研究拠点
共同研究プロジェクト

SESSION #2

コンピューターソフトウェアによるLED制御の研究

会場:京都市立芸術大学 大学会館

MaxやopenFrameworksなどインタラクティブ・プログラミング環境や、Liddell/XKWなどのDMX制御ソフトウェア、メディアサーバーなどのソフトウェアの組み合わせによる、音や人の動きなどの外部要因とLED照明の同期操作実験。例えば、コンピューターを使い、複数の外部要因に舞台上の複数のLED灯体を対応させて制御することは、技術的には問題なく実行できる。何人もの照明オペレーターが、オーケストラの別々の楽器の音を聞き、その音のイメージに合わせた色彩や明るさを表現しつつ、それら全てを合わせて演奏の照明を作るというような作業を、コンピュータで実行することであらたな表現を探ってみる。

Maxは、サンフランシスコのソフトウェア企業Cycling '74が開発・保守している音楽とマルチメディア向けのグラフィカルな統合開発環境(ビジュアルプログラミング言語)である。それぞれがシンプルな機能をもった「オブジェクト」と呼ばれる部品を「パッチコード」(線)でつないでいくことで映像、音楽、それらのインタクションなどを自由に作り出すことができる。
Max (ソフトウェア) - Wikipedia | Cycling '74(Max開発元) | MI7 Japan(Max国内販売代理店)

openFrameworksは、シンプルで先端的なフレームワークによって創作活動を支援するためのオープンソースのC++ツールキット。本来なら複雑になりがちなC++のコーディングを、よく使われるライブラリや書き方などをあらかじめ使いやすいように最小限にまとめあげ、提供することで、より早く、簡潔/簡単にクリエーティブなプログラムを開発できる。
openFrameworks - Wikipedia | openFrameworks | openFrameworks(日本語サイト)

Liddell/XKWはタマテックラボ社製の自動演出システム(Windows用ソフトウェア)。シーンやキューを入力していくことでDMXのプログラミングができるほか、OSC(Open Sound Control)による外部制御にも対応しており、Maxなどのソフトウェアからシーンやキューの呼び出しなどができる。
Liddell/XKW

メディアサーバー メディアサーバとは|DMS|デジタルメディアサーバ - 意味/解説/説明/定義 : IT用語辞典

OSC(Open Sound Control)は、電子楽器(特にシンセサイザー)やコンピュータなどの機器において音楽演奏データをネットワーク経由でリアルタイムに共有するための通信プロトコルである。MaxやopenFrameworks、PureData、Isadora、Reaktorなど、様々なクリエーティブ系ソフトウェアに対応しており、異なるソフトウェア間、コンピューター間での通信に用いられる。
OpenSound Control - Wikipedia | Introduction to OSC - opensoundcontrol.org

◆会場/条件設定

  • 京都市立芸術大学の大学会館での実験。
  • 会場は劇場仕様ではなく、円形の展示空間での実験になる。
  • ドーナツ型で1/4円ずつ昇降可能な天井グリットが有るので、その1パーツに15台のLED灯体を設置し、6.5m~7mの高さに設置。
  • 各灯体はほぼ真下に向けてフォーカス。灯体下には、光の状況の確認と記録が容易なように、白いTシャツを着た人体が数名立つ。

◆MaxとLiddellの連動

音などの外部要因を受けてLED照明を自動で変化させるシステムの構築を試みる。今回はタマテックラボ社による照明制御のソフトウェアLiddell/XKWをMaxと連動させて、カラーキネティクス・ジャパン社のColorBlast 12を5台ずつ3列、計15台を天井グリットに吊り、制御することとした。

藤本隆行氏によるMaxとLiddell/XKWとの連動の解説

コンピューターの内蔵マイクから音声をMaxへと入力。reson~オブジェクト(レゾナンスフィルター)を用いて、音声の特定の周波数帯域(特定の高さの音)の音量を検出し、RGBの値へと変換する。

バイオリンの生演奏をMaxへと入力しリアルタイムにLEDをコントロールするデモンストレーション

バイオリンの音程が変わるのに応じてLED灯体の色が変化している様子が確認できる。
ここでは、1列毎に反応するまでの時差を設定して、より複雑な変化を作っている。

◆メディアサーバーによるLED灯体制御

映像もLED灯体と同じく、1つのドットにRGBのパラメータが割り当られることで画像が出力されていると言える。そこで、この映像の1ドットをLED灯体1台と同期させてみることを試みた。今回メディアサーバーはVPUを使用して先と同じLiddell/XKWと同期させている。

VPU Video: MA Lighting International GmbH

タマ・テック・ラボ代表取締役 玉田 邦夫氏によるメディアサーバーついての解説

メディアサーバー上の任意の点を選択すると、そのドットのRGB値がColorBlast12に反映されていることが分かる。

◆プログラミングを用いた映像/照明や音との連動

神田竜氏によるレクチャー
  • プログラミングということは
    • ある「仕組み」をつくること
    • その「仕組み」を、音、光、センサー、カメラなどを「きっかけ」として動かす。
    • その「きっかけ」から起こる連鎖反応のデザイン
  • プログラミングの利点
    • リアルタイムの表現
    • パラメータの動的な変更
    • センサーによる連携
      • 照明
      • ダンサー/パフォーマー
    • 生演奏の音量に合わせて円の半径を大きくする、ダンサーがアドリブで激しく動くと映像も激しく点滅する等、あらかじめ書き出した動画の再生では不可能な演出が可能になる。
  • プログラミング環境
    • Max6
      • 箱(オブジェクト)をつないでプログラミング
      • 音の解析、GUIの構築、他ソフトとの連携などに優れている
    • openFrameworks
      • テキストによるプログラミング
      • Max6より実行速度が早い。映像の表現力に優れている
  • まとめると
    • Max6で音の解析やGUIによるリアルタイムの操作
    • Max6で他ソフトとの連携
    • openFrameworksで映像の生成/出力
    • Max6とopenFrameworksでいろんなものと連携
  • なぜ、連動できるの?
    • どんなパラメーターもコンピューターに入った時点で同じ
    • コンピューターの中では、音も映像も数字の羅列でしかない
    • 音をコンピュータで解析した時、ある瞬間の音量が1.0と解析されたとする。
      その1.0を照明の明るさ制御の値に使えば、照明も1.0の明るさで光る。音量が0.5なら照明も半分0.5の明るさで光る。
神田竜氏によるLiddell/XKWとMax、openFrameworksの連動についての解説

RGB3色の矩形が上昇していく映像を柱に投影する。画面の一番上に矩形が到達すると、その矩形と同じ色にColorBlast12が発光するプログラムを実際に組んだ。