ヤフーのデータを耳で聞くアートで特許を取得した話

メディアアートPJの駒宮大己と武藤直樹と吉岡重紀です。今回は私たちがメディアアートPJというヤフー社内の有志活動について紹介します。

メディアアートPJでは、ヤフーのサービス開発に関わるクリエイターやデータサイエンティストが集まり、テクノロジーを用いてデータを身近に感じ取ってもらえるためのアート作品を制作してきました。現在は新型コロナウイルスの影響で活動を自粛していますが、2018年は社内のオープンコラボレーションハブLODGEで、2019年には文化庁メディア芸術祭Future Questions（FQ）のオリジナルイベントやヤフーが開催しているHack Dayで作品の展示を行いました。

2018年の社内のオープンコラボレーションハブ LODGEの様子

2019年の文化庁メディア芸術祭　Future Questions（FQ）のオリジナルイベントで展示した作品

メディアアートPJとは

2017年に有志のデザイナー・データサイエンティスト・エンジニアが集まりディスカッションを行い、「テクノロジー × アート × データ」を切り口とした作品の制作活動をスタートさせました。

Yahoo! JAPAN は「UPDATE JAPAN～情報技術のチカラで、日本をもっと便利に。」をミッションとし、マルチビッグデータカンパニーとしてデータとサイエンスの力を活かしYahoo! JAPANのすべてのユーザーにとってより良いサービスを提供することを使命としています。そのためには、データを活用した課題解決ではなく、テクノロジーの進化によってこれからの未来の課題を模索し定義することが必要と考えました。

例えば、テクノロジーの進化が特異点に近づきつつある中で、AIやロボットは「人間性とはなにか？」といった問いについて考えます。このような抽象的な問いに応えるためには、アートによるタンジブルなフォーマットにより生み出される「対話」が必要と考えたことが、メディアアート制作を行うきっかけでした。半年間のディスカッションを繰り返し、6つの未来シナリオを作成し、どのような表現で未来シナリオを表現できるかをさらなる深掘りを行いました。

6つのテーマの探求

1. 超最適化社会の実現。機械と人間の境界線を考えてもらいたい。データから全てが予測され最適化されてしまう。
   機械と人間の境界線について主体性の観点で考えてもらう。

2. 最適なレコメンドによる人間の平均化。機械と人間の境界線について個性の観点で考えてもらいたい。人間が平均的な存在の集合体へと変わった時、人間はAIを動かすための集合意識と化すだろう。
   人間のコモデティティ化/環境管理型権力

3. 個人の境界線が曖昧になった社会。人間らしさとはを考えてもらいたい。平均化した未来でデータを介した他人と自分の区別。
   人間らしさについて認識の観点で考えてもらう。

4. 記憶が記録になる。人間らしさとはについて時間という観点で考えてもらいたい。あらゆる情報のデジタル化、データ化が進み、記憶までもがバックアップを取られ、シェアされていく。
   記憶のフィルタリング/脚色/加工/時系列の変化

5. AIに倫理/道徳を委ねる社会。AIの統治を考えてもらいたい。AIによる人間の管理
   AIの統治について倫理という観点で考えてもらいたい。

6. 価値の変化。AIの統治について価値という観点で考えてもらいたい。既存の価値は失われ、AIによって最適化された、新しい価値が人間を動かすだろう。
   模範的な教師データ/インタンジブル・バリュー

これらの6つの未来シナリオから未来に対する不安と可能性についての3つの問いを導き出し、作品アイデアのベースとしました。2017年から2020年までの間に7作品を生み出しました。この度、そのうちの1つで特許を取得しました。

6つのテーマから出た3つの問い

作品のコンセプトについて

本作品で着目したのは、「unknown≒null（知らないことは存在しないことと同義）」という問いです。世の中に流通している情報には偏りがあり、人は質量の大きい方ばかりに目がいきがちです。

日々の業務においても、非常にたくさんのデータの中から必要な情報を得るために、 仮説を立て属性ごとにグループ化を行い、重要度に合わせた重み付けを行いデータを選別するという作業を行うことがあります。

このような偏る情報の中から必要なものを発見するプロセスを体感いただく作品として 「Information Surround」を制作しました。一言でいうと、情報の偏りを体感できるインターフェースです。

開発風景

作品について

この作品は指向性スピーカーとディスプレイに分かれており、 それぞれのスピーカーがヤフーニュースの掲載カテゴリーとリンクしています。そして、その露出回数とシェア数に応じて音量や曲の複雑さが常に変化していきます。体験者に空間を歩き回ってもらい、情報の中心だと感じた場所にシールを貼ってもらいました。

実際に貼ってもらったシール

こうして最適な場所を探し、観察することで、情報の偏りを感じていただく作品となっています。

情報は今や、水や空気とおなじように、私たちをとりまく環境のひとつと言えます。そして、今の時代、情報は人間の好奇心や知識欲を元にしたメディアからの情報の提供量や人々の口承によって、価値や流通量が変化していくものです。

この空間は、意識しなければ感じることのできない「情報の偏り」を、サウンドとして表現したアート作品です。情報量の変化という五感で認識しきれない差異を、人々が太古から感じることのできる音という環境によって再現します。

本作品でひとつひとつのスピーカーが奏でている音楽は、ヤフーニュースの掲載カテゴリーとリンクして、露出回数とシェア数に応じて音量や曲の複雑さが変化しています。空間を360度取り囲むスピーカーの中心に立ち、無意識のうちにあなたを支配している「情報の偏り」に、耳を澄ましてみてください。

展示説明より引用

作品から特許に至るまで

作品を制作するにあたりコンセプトである「情報の偏り」を表現する方法の模索をはじめました。

はじめはビジュアライゼーションを用いて視覚的にデータの偏りを表現してみましたが、それだけでは情報の偏りが実感しにくいと感じました。そこで、データを音に変換してみたら体感できるのではと考えました。しかし、通常のスピーカーでは音を広範囲に届けてしまい、偏りの表現ができません。

そこで特定のエリアにのみ音を限定して届けることのできる、超指向性スピーカーを使うことにしました。さらにこのスピーカーを複数台用いることで、空間内に音のムラが生まれ、より情報の偏りを表現させることができるようになりました。音のムラを作れたことで逆に、特定の人に音を集中的に届けることも可能となり、この仕組みが特許の取得へとつながりました。

特許を取得した時の図

最後に

この活動がきっかけで普段接点がなかった人とも交流する接点が生まれました。ディスカッションを重ね1つの作品を作る作業は、いつもの画面とキーボードを使う仕事とは違い貴重な体験となりました。

作品を形にするのは苦労しましたが多くの人に見てもらい、特許も取得できました。取得した特許は、見るのではなく聞くことで情報を得られるため条件付けを行えば、ながら作業とも相性が良いと思います。

昨今スマートスピーカーやスマートグラス・スマートスウォッチなどのデバイスも増えています。今回の作品を通じて、画面がないデバイスや情報量が少ないデバイスにもサービスを提供する方法を模索する必要があると感じました。今後もメディアアートPJの活動をご期待ください。