monotag - 物体認識ができるアンドロイドアプリ

Yahoo! JAPAN研究所で画像内容検索や画像認識を担当している岩崎です。過去にVisualSeekerやFashionNaviをYahoo!ラボでリリースして以来、久しぶりのリリースになります。今回はYahoo! JAPAN研究所で開発した物体認識技術を利用したYahoo!ラボの実験アプリmonotag（ものタグ）の紹介です。なお、monotagは実験アプリですので、不具合などの対応が遅延したり予告なく公開を中止したりする可能性がありますことをご了承ください。

「目の前のこの商品は何だろう？」、「この建物何だろう？」と思い、ウェブで検索してもなかなか見つからないといったことありませんか？
でも、このmonotagでかざすだけで目の前の物体の情報が分かるかもしれません。monotagはかざした物体の特徴を用いて同一の物体をデータベースから検索して認識結果を返します。データベースに登録されていないと認識できませんが、そんな時には、ぜひ他の人のためにその物体を登録してください。monotagはユーザーが物体を自由に登録できることが大きな特徴になっています。個人で登録した物体以外にあらかじめ飲料系のペットボトルや缶が登録されています。

物体の認識

では、使い方の例としてmonotagのアイコンを認識してみましょう。まず、こちらからmonotagをインストールしてください。

monotagを起動し、monotagのアイコンにmonotagをかざした状態が以下の画面です。

この時点では認識処理は動作していませんので右上の虫眼鏡のアイコンをタップすると認識を開始します。以下のように緑の枠が表示されます。緑の枠内が認識の対象の領域です。ペットボトルや缶を認識する場合には、緑の枠をはみ出るぐらいに大きめに撮影した方が認識されやすいです。

認識できない場合には繰り返し認識を行います。認識回数が画面上部に表示されます。認識されると以下のように左上に認識された物体の登録画像が表示されます。

初回起動時にはトラッキング（物体追跡）モードになっているので、認識された物体の上に別の画像（上書き画像）が上書きされます。上書き画像は物体の登録時に指定された画像です。なお、画面右上のメニューボタンからトラッキングモードを解除できます。トラッキングモードを解除すると上書き画像が表示される代わりに以下の認識結果が表示されるようになります。

認識結果画面の上から物体のタイトル、URL、コメント、右側には撮影された画像（送信画像）と登録画像が表示されます。「検索」ボタンによりタイトル中のテキストでウェブ検索を実行します。「表示」ボタンにより登録時に指定されたURLが表示されます。「コメント追加」ボタンによりコメントを追加することもできます。なお、コメントを追加する時にはYahoo! JAPAN IDでログインする必要があります。プレビュー画面の右上のメニューからログインできます。

物体の登録

次に物体の登録を説明します。まず、メニューの「ログイン」を選択してYahoo! JAPAN IDでログインしてください。次に、メニューから「登録画像の撮影」を選択すると以下のような画面となるので登録したい物体を撮影範囲（黄色の枠内）に合わせて撮影してください。

撮影範囲は自由に変えられますので、物体の形状に合わせて撮影範囲を変更し、背景がなるべく入らないように撮影した方が認識精度が向上します。撮影すると以下の登録画面が表示されます。右側に撮影した画像（登録画像）が表示されますので確認のうえ、左側に各情報を入力してください。

指定できる情報は上からタイトル（認識時に表示されるタイトル）、URL（認識時の表示ページまたは上書き画像）、コメント（認識時に表示されるコメント）となります。URLは認識時に表示したいウェブページまたはトラッキング時の上書き画像のURLのいずれか一方を指定します。画像ファイル（JPEG,PNG,GIF）を指定すると自動的に上書き画像として扱います。上書き画像は「画像選択」ボタンによりあらかじめ用意されている画像から選択することも可能です。衣服などの形状が変化する物体や表面に模様がない物体は認識できません。このように簡単に登録できますので、ぜひ身の回りのいろいろな物体を登録してみてください。なお、登録した画像や情報は他の利用者も参照できますので、登録内容にはご留意ください。

その他の利用方法

上記のような「これ何？」という時以外にもmonotagには次のような使い方ができます。

1．　物体のデコレーション

2．　QRコードの代用

3．　仮想付箋

他にもいろいろな使い方ができると思いますので、ご自由に使ってみてください。

おわりに

以上、物体認識ができるmonotagというちょっと変わったアプリの紹介でした。monotagの物体認識技術はLOHACOアプリの画像検索にも使われてますので、ぜひLOHACOアプリもご利用ください。また、monotagに関するご意見・ご要望などございましたら以下までお気軽にご連絡いただけますようお願い致します。

monotag　ご意見・ご要望（提供終了）

補足事項

アプリのメニュー説明

• トラッキング：認識した物体に上書き画像を上書きし追従するモードの指定
• 登録用画像撮影：認識対象となる物体を撮影し登録
  　　以下の「もの」は登録しても認識できませんのでご注意ください。
  　　　　- 衣服など物体の形が変形するもの
  　　　　- テレビなど物体表面に特徴の少ないもの
  　　また、登録した方向とは異なる（見た目が異なる）方向からは立体物は認識できません。
  　　立体物は複数の方向から登録することでどの方向からでも認識できるようになります。
• ログイン/ログアウト：Yahoo! JAPAN IDによるログイン・ログアウト
  　　ログインすることで物体の登録、コメントの追加が可能となります。
  　　登録した物体やコメントにYahoo! JAPAN IDが表示されることはありません。
  　　その代わりにmonotag用のユーザー名が表示されます。
  　　monotag用のユーザー名は次の「コメント投稿時のユーザー名」で指定できます。
• コメント投稿時のユーザー名：コメント投稿時のユーザー名の指定

注意事項

• 上書き画像に利用できるフォーマットはJPEG、PNG、GIFです。画像のピクセルサイズは300×300程度が適当です。
• 登録した物体は削除できませんが、近々、削除機能を加える予定です。
• 登録後のコメントの削除、編集はできません。
• 本アプリはYahoo!ラボの実験アプリですので予告なくデータを消去したりサービスを終了したりする可能性があります。