表情をリアルタイム解析してあの人の顔に超変身できるアプリ「怪人百面相」

先日、有名人など別の顔にリアルタイムで変身できるiPhoneアプリ「怪人百面相」をリリースしました。顔の表情や頭の動きをリアルタイムで解析して、反映させることができるのが特徴です。

百聞は一見にしかず、以下の動画をご覧ください。

こんな風に、有名人や漫画のキャラクターなど、別の顔にリアルタイムで変装できます。
自分の好きな顔写真から変装するマスクを作ることもできます。

その人によってピッタリハマる写真があるようで、自分は天空の城ラピュタのムスカの写真や、孫さんの写真がハマりました。ムスカや孫さんと何か縁があるのかもしれません。ぜひ、みなさんもいろいろ試してみて、お気に入りの写真をみつけてみてください。

顔の特徴点をトラッキング

仕組みですが、以下のように数十点ほどの顔の特徴点をトラッキングしています。

スマートフォンでも実用的な速度で動作するライブラリを独自で開発しました。
特に口は多くの特徴点をトラッキングしていて、細かい唇の動きも反映できるようにしています。

顔、目、口の検出程度なら、iOSの標準SDKやOpenCVでもできますが、それだけでは表情がわかりません。数十点の特徴点をスマートフォンでリアルタイムトラッキングしている例は他にあまりないのではないかと思います。

変装するマスクも同様に、顔の特徴点を検出し、特徴点に合わせて、元の顔画像と、マスク画像を合成しています。特徴点に合わせて合成しているので、表情を反映して変装ができるわけです。合成はOpenGLのシェーダで、境界線が目立たず、自然に見えるような処理を行っています。

顔面AR

AR（拡張現実）というと、自分が見えている外の世界に対して、何か情報を付与したり、現実にないものを合成したりするイメージがあるのではないかと思います。
私もぜひとも、Google Glassなどが発売されて、そういったARが広まって欲しいと思っています。

しかし、スマートフォンでARを実現しようとする場合、わざわざスマートフォンをかざして、画面越しに外の世界を見る必要があります。
この、スマートフォンを持ち上げてかざす動作が面倒くさいというのが、スマートフォンのARアプリが下火になっている原因なのではないかと思っています。

なぜ、わざわざ持ち上げないといけないのかというと、普段、スマートフォンを操作している時、バックカメラは、地面や机に向いているからです。
しかし、フロントカメラは常に自分の顔に向いています。

そこで、顔を対象にすれば、自然な体勢でARを実現できるのではないかと考えたのが、怪人百面相の発想を思いついたキッカケです。
普段、鏡などで、自分の顔を見ていますが、その行為を拡張するわけです。

鏡よ鏡、私を川越シェフのような顔にしておくれ、という願いを叶えるアプリというわけです。

活用シーン

リアルタイムで表情をつけて変装できるので、動画で撮って楽しむのがオススメです。

漫画のキャラクターになりきって表情をつけてセリフを言ってみたり、飲み会でみんなの変装ぶりを比べてみたり。送別会や結婚式のビデオメッセージを有名人に変装して送ってみるのも楽しいかもしれません。

顔を匿名化できる利点を生かして、ニコニコ生放送で使ったりしても面白いですね。

みなさんも面白い動画や写真ができたら、ぜひ友達とシェアして楽しんでみてください。

★ アプリ紹介ページ
http://facestealer.yahoo-labs.jp/（提供終了）

CMO室　吉田一星（@issay）