メディアアート作品におけるプロトタイピングとビジュアルプログラミングの可能性

ヤフーの広告入稿ツールのフロントエンド開発をしている片渕(@reiji1020)です。
2017年にヤフーへ新卒入社し、信頼できる上司やチームメンバーと一緒に仕事をしています。

普段はReactやNode.js等を使用して開発を行っているのですが、今回は本業とは離れてメディアアートの話をしてみようと思います。

メディアアートとは

そもそもメディアアート作品とは何なのでしょうか。最近色んな所で聞くことはあっても、実際にどういったものがメディアアートを指すのかはわからない方もいると思います。

メディアアートとは、コンピュータやその他電子機器を使用して作られる作品のことを指します。メディアアートの鑑賞方法はただ単純に見て楽しむものから鑑賞者が自ら動いたり踊ったり、あるいはHMD(ヘッドマウントディスプレイ)を装着して楽しむものなど作品によって様々です。

作品の在り方が様々であるように、メディアアートに関わる人のバックエンドも様々です。元々コンピュータが得意なエンジニア、デザイナー、研究者、音楽家...これまでコンピュータでプログラムを書かなかった人までもメディアアートの世界で活躍しています。

プロトタイピングはかく語りき

メディアアートを作る上で重要なのは「人に見てもらうこと」です。特に作品を通して鑑賞者に何らかの感情を抱かせたり、或いは欲求を呼び起こすことを目的として作られている場合は定期的なフィードバックと素早い反映が必要です。これは仕事でも同じかもしれませんが、良かれと思って付けた機能や人々に感動を与えようと思って作った仕掛けは、製作者の思い通りにユーザーへ作用するとは限らないのです。(この辺りはジョナサン・シャリアート他著「悲劇的なデザイン」にも詳しく記述されています)

プロトタイピングは実際に動くモノ(=プロトタイプ)を作り、これに対する評価を元にモノをブラッシュアップさせていく開発手法です。プロトタイプは未完成で、機能の増減や修正が容易である必要があります。

では特にメディアアート制作に関してプロトタイピングを採用するメリットは何でしょうか。

• 実験を繰り返す事でミーティング以上の成果を得ることができる
• ユーザーへ「実際に体験できるモノ」を提供することで鋭いフィードバックを得られる

主に以上2点を上げることができます。

実験を繰り返すことでミーティング以上の成果を得ることができる

表現の変更や、機能の増減に関してメンバーが意見を持ち寄り、ミーティングを開いて議論することがあります。時には意見がぶつかったり、煮詰まったりして時間だけが過ぎていくこともあるでしょう。

この場に作品のプロトタイプがあるとどうでしょうか。

実際にプロトタイプを触り、時にはライブコーディングで機能の開発をすることで実際にアートが生み出すものを体験することができます。「きっとこうなるはずだ」「もしかしたら〇〇のような動きをするかもしれない」といったどこかふわふわしていた議論をその実験結果をもってプロトタイプがしっかりと固め、「〇〇になるかもしれない」を「〇〇になる」と断定付けることができるのです。

ミーティングを何十回・何百回と繰り返すよりも、プロトタイプを使って何回も実験を重ねたほうが作品のブラッシュアップに繋がるのです。

ユーザーへ「実際に体験できるモノ」を提供することで鋭いフィードバックを得られる

アートを大きく成長させるための糧はユーザーからのフィードバックです。どんなに壮大な想いを込めた作品でも、ユーザーへ真意が伝わらなければただの「面白い仕掛け」で終わってしまう可能性が高いです。「おもしろそう」「よくわからなかった、つまらない」だけでは、アートを成長させるためのフィードバックとは言えません。何が良いのか、それとも何が悪かったのかを明確に伝えてもらう必要があります。ではこれを回避するためにテストユーザーへ書面や口頭でアイデアの共有をしましょうか。文字や話でも伝わらなかったら？

鋭いフィードバックをもらうための手段として、プロトタイプを公開し実際に使ってもらうことはとても有効です。文字や言葉で頑張って説明するよりも遥かに効果的で、ユーザーの興味をそそります。(まさに百聞は一見に如かず、です)

プロトタイプを通してアートを鑑賞・体験することで、こちら側が求めるフィードバックの内容をユーザーは理解することができます。逆に言えばどういう仕組みが面白いのか、どういう表現が良くない(伝わらない)のかを適切に教えてもらう為には実際に体験をしてもらわなければいけないということでもあります。これもメディアアートに限らず全てのものづくりに共通する事だと思います。

アートのアイデアを阻害するエンジニアリングという壁

メディアアートを作るにあたって、PCとハードウェアとの連携や制御をはじめとした触れたことのない技術や機材を使用することがあります。殊にプロトタイピングにおいては「動くモノ」や「見ることができるモノ」を組み立てる事が重要ですから、これらの扱い方やエンジニアリングの手法など、所謂メディアアートの本質的でない部分で悩んだり立ち止まったりすることはなるべく避けたいものです。

エンジニアリングは「手段」であり、それ以上でもそれ以下でもありません。

「動くモノ」を作る為に使える手段は何でも使うべきであるし、「動くモノ」を作る人の垣根は無いほうがよいのです。

ビジュアルプログラミングとプロトタイピング

ビジュアルプログラミング(言語)とは視覚的に・直感的にコードを組み立ててプログラムを作ることのできるプログラミング言語の一種です。よく知られているビジュアルプログラミング言語としては、子どもたちがプログラミング教育でよく使用している「Scratch」や「Viscuit」などが上げられます。

Scratchでは繰り返し命令や条件分岐などのよく使用される処理系が一つのブロックとして用意されています。「コードを書くことの難しさ」という壁を取り払うことで子どもたちの作りたいものを自由に作ることのできる環境が整備されています。

メディアアートの制作においてビジュアルプログラミングを勧めたいのも同じような理由で、自分の考える表現やアイデアを「エンジニアリングの壁」なく実装することができるのはビジュアルプログラミング言語の大きな強みです。冒頭でも触れましたが、今やメディアアートに関わる人々は幼少時からプログラミングに触れてきた人々だけではありません。老若男女・職種問わずアーティストとして活躍する可能性があるのがメディアアートの世界です。

アーティストが真に情熱を注ぐべきはアイデアの創造と醸成であるからこそ、プログラミングの難しさやコンピュータの複雑さ・ハードウェアの仕組みについては(ある程度)スキップしてほしいと思うのです。

例えばTouchDesignerというビジュアルプログラミング言語は、既にプリセットで用意されている関数のオブジェクトをつなげていくだけで映像作品を作ることができます。オブジェクトがどういったデータ・数値を受け取ってどういった映像を出力しているのかをリアルタイムで確認することができるため、プロトタイピングに適しています。

同じくビジュアルプログラミング言語のPure Dataは音声処理系に強く、信号解析はもちろんのこと、シンセサイザーやサンプラーを作るために利用することもできます。OSC通信を用いることでハードウェアや異なる環境で開発されたプログラムと連携することも可能です。

私がよく使っているのはvvvvというツールです。音声周りの処理は苦手ですが映像処理に特化しており、豊富なプリセットが魅力の一つです。KinectやMidiキーボード等の外部機器の接続・連携も簡単に行うことができます。欧州(特にドイツ)を中心とした開発者コミュニティも活発で、Patcherと呼ばれるvvvvで作品制作を行っているメンバーが開発したプラグインを導入することもできます。

これはvvvvを使用したCGアニメーションのプログラムです。Nodeと呼ばれる関数の箱をEdge(線)でつないでプログラムを作っていきます。実際には以下のように動作します。

プロトタイピングという観点からも、ビジュアルプログラミングは非常におすすめです。

前節で述べた3つのビジュアルプログラミング言語はどれもコンパイルやビルドが必要なく、開発環境上でUIをぐりぐり操作するだけでリアルタイムで実行結果が変化します。また、多種多様な機材を使うためのメソッドがプリセットで提供されているため、外部機器やツールとの連携コストを下げることが出来ます。プロトタイピングでは、試行錯誤のコストが低ければ低いほど実験と検証を重ねる回数を増やすことができるため、ビジュアルプログラミングを採用するメリットは非常に大きいです。

メディアアート×ビジュアルプログラミング

実際に私がビジュアルプログラミング言語を使用して作ったメディアアートやインスタレーション作品を紹介します。どれも少人数で作成したもので、プロトタイピングによって機能の増加を行ってきました。

VANCE(vvvv，2018)

VANCE(ヴァンス)は社内ハッカソンで作成した全てのダンサーの為の作品です。人物を顔や服装がわからないシルエットとして表現することで、

• ダンス初心者・未経験者がうまく踊れていなかったりヘンな動きをしている自分を直視するという羞恥心を軽減する練習用ツールとして
• 容姿や洋服のセンスにとらわれない、ダンススキルそのものを見て欲しいダンサーのプロモーションツールとして
• 音楽や振り付けとマッチした映像を作りたいプロダンサーの映像制作ツールとして

等など、未経験者〜プロのダンサーが「自身のダンスそのもの」を素材として投入することではじめて「自分だけのダンスツール」が完成する作品です。

こちらの作品は先日秋葉原UDXにて行われましたHackDay2018のヤフーブースで実際に体験することができるようにチューニングをして展示をしていました。

VJ Cardboard(vvvv, 2016)

VJ Cardboard(ブイジェーカードボード)は、ダンボール紙と色紙・USBカメラでできたVJ用ハードウェアです。映像のMixや切り替え等の操作を直感的に・簡単に行うことができます。

音楽レコードに見立てた映像ディスクをアクリル板の上で回転させたり位置を動かしたりすることで、アクリル板の下に配置したUSBカメラがディスクを認識し、ディスクに登録されたCGを画面に表示します。

ディスクは同時に複数を読み取る事ができ。お互いのディスクの位置や回転率と相互に影響しあって、新しい映像効果を生み出します。

まとめ

この記事では、

• メディアアートとは何か
• メディアアートとプロトタイピングの親和性
• プロトタイピングツールとしてのビジュアルプログラミング言語

について解説を行いました。既にメディアアートに関わっている方はもちろん、全くメディアアートのことを知らなかった方も実際にビジュアルプログラミング言語を使ってメディアアートを作ってみたいと少しでも思って頂ける記事になっていればとても嬉しいです。