ユーザーから定性的なフィードバックを得る新しい方法 〜 ヤフーのAIを評価してもらう実証実験

こんにちは。Yahoo! JAPAN研究所で現在インターンシップをしている慶應義塾大学大学院修士1年の前田です！　普段、大学ではラマン分光法に関する研究をしています！

突然ですが、皆さんはどんなモノ・コトに興味がありますか？　「旅行が好き」「スポーツ観戦が好き」「健康に興味がある」「日本史を学びたい」など、人それぞれ興味の対象があると思います。もし「ある人が○○にどのくらい興味があるか」を的確に知ることができれば、「オススメの精度」を向上させるなどいろいろなことができそうです。

そこでヤフーではユーザーの皆さんにより良いサービスを提供するべく、このような興味を知るための取り組みを行っています！

今回はその中でもあなたぐβという実証実験についてご紹介いたします。

あなたぐβとは？

ヤフーでは「ある人が○○にどのくらい興味があるか」を知るために、AIによる推定を行っています。「あなたぐβ」は、この推定結果をご本人だけに公開し、「結果がどのくらい正しいのか？」をユーザーの皆さんに回答してもらう、という実証実験です。

もう少し詳しく説明しましょう。ヤフーではAIによる興味の推定は、蓄積されたユーザーの利用ログデータを解析することで実現しています。例えば、Yahoo!ショッピングでカブトムシグッズをたくさん購入している人だから「カブトムシを飼っていそう」とか、Yahoo!トラベルを通じて旅行の予約をたくさんしている人なので「旅行が好きそうな人だ」といった具合です。こうした推定をたくさん行うことで、「あるユーザーが興味がありそうなモノ・コト」を知ることができます。イメージとしては、AIからは下の図のような結果が得られます。文字が大きければ大きいほど、「その興味が強い」ことを表しています。

ここで問題となるのが、この推定の結果はあくまで利用ログを分析したものなので「そのユーザーが本当に興味あるのか？」という部分までは保証されていない点です。そこでユーザーの皆さんにこの結果を公開してフィードバックをしていただくことで、この部分を補おうという実証実験が「あなたぐβ」というわけです。

実際に「あなたぐβ」では、ユーザーの皆さんに先ほどのイメージを「あなたぐボード」として公開しています（下の図（左））。また、それぞれの興味・関心の推定結果を評価していただけるようになっています（下の図（右））。

実際に評価する画面は下の図のようになっています。今回の実証実験では、回答を当たり外れに限定せず、「正解」「すごい」「予想外」「なぜそれを!?」「はずかしい。。」「イミフ」「過ぎ去りし過去」「調べただけ」の選択肢を「けんさくとえんじん」とともに表示して8種類の回答を得られるようにしてあります。

このようにしてユーザーの皆さんには「自分がどんなものに興味があると推定されるのか？」を楽しんでいただくと同時に、AIの推定結果が正しいかどうかを判定していただけるようになっています。

詳しくは前回の記事もご覧ください。

※プライバシーポリシーの範囲内で取得したデータを用いて解析、推定しています

AIの興味推定結果、少なくとも半数は正しそう

おかげさまで3月にあなたぐβをリリースしてからこれまで、ヤフーの推定した興味推定結果に対してたくさんの評価をいただきました！　これまで得られた結果について、少しご紹介いたします。

まず、8種類あるうちの回答は、それぞれどのくらい回答されているでしょうか？

上の図から大まかですが、現在のヤフーAIの推定性能が分かりますね。「正解」「すごい」という明らかにポジティブな評価が約半数占めているので、半数近くは興味のあるものを提案できているようです。一方で、「イミフ」「過ぎ去りし過去」「調べただけ」という明確にネガティブな評価は16%程度あり、まだまだ改善の余地があるとも言えそうです。残りの「予想外」「なぜそれを!?」「はずかしい。。」といった評価は、少し解釈が難しいですね。

この「あなたぐβ」ならではの評価についてもう少し詳しく見ていきましょう。

当たり外れ以外の評価をどう見るか？

「あなたぐβ」は単なる当たり外れではなく、8種類の回答を得られるようにしてあります。これにはどのような意味があるのでしょうか？　その強みが一番わかりやすい例は「過ぎ去りし過去」という回答です。

実際に「過ぎ去りし過去」回答割合の多かった興味の対象を見てみましょう。

「過ぎ去りし過去」回答割合の多い興味の対象（上位10件）

• 学生っぽい
• 高校受験勉強してそう
• 結婚式を検討してそう
• 大学受験勉強してそう
• 賃貸住宅を探してそう
• スキー・スノーボードに興味ありそう
• ADSLに興味ありそう
• 犬を飼っていそう
• カラオケに行きそう
• 熱帯魚を飼っていそう

「学生」「受験」「結婚式」など明らかに「過ぎ去りし過去」になりやすい興味の対象が見つかりましたね。「犬」「熱帯魚」といったペット、「スキー」や「カラオケ」といった趣味も含まれていますが、これらは「昔は飼っていたけど……」「昔はよくやっていたけど……」といったような感覚が影響しやすい興味なのかもしれません。こうした「過ぎ去りし過去」が多い興味は、「興味がある」と推定できても時間がたつと結果が変わりやすいと考えられるので、他の興味とは少し異なった扱いをした方が良さそうです。

「予想外」とは？　相関関係で内訳を分析します

「過ぎ去りし過去」は非常に分かりやすい結果が出ましたが、解釈が難しかった「予想外」「なぜそれを!?」「はずかしい。。」についてはどうでしょうか？　「予想外」一つ取っても、「推定が当たるなんて思ってなかった！」という意味の予想外なのか、「こんな推定を出されるなんて心外だ！」という意味の予想外なのか、判断できません。ただ、もしもこれを判別することができれば、「当ててびっくりさせるような興味の推定」や「心外だと怒らせない興味の推定」なんて面白いこともできそうですよね？

ここでは、たくさんの興味について「予想外」と「正解」、「予想外」と「イミフ」の回答数の関係を見てみます。下の二つの散布図では、一つのプロットが一つの「興味」を表していて、その興味に対する評価の中での「予想外」「正解」「イミフ」の回答数同士の関係を見ています。

「予想外」と「正解」には強い相関がありませんが、「予想外」と「イミフ」には特にイミフの数が少ない場合にやや強い相関があるようです。ただ「イミフ」の数がとても多い場合に「予想外」の数が頭打ちになっているため、「まぐれ当たりに驚いた」という意味での予想外とも限らなさそうです。

実際にどのような興味に「予想外」が付きやすいのか見てみてみましょう。「予想外」回答の割合が多い興味を調べてみると、以下のようになっています。

「予想外」回答割合の多い興味の対象（上位10件）

• 数学に詳しそう
• 不動産関係っぽい
• 宝塚歌劇に興味ありそう
• 先生っぽい
• 学生っぽい
• 動物に詳しそう
• 飲食関係っぽい
• サイエンスに詳しそう
• 寄付に興味ありそう
• 英語に詳しそう

確かに「数学に詳しそう」や「宝塚歌劇に興味ありそう」と言われれば「予想外」と答える人も多いような気もしますが、どういう意味での「予想外」なのか分からないですね。そこで「予想外」と「イミフ」両方の割合が大きい興味と、「予想外」の割合は大きいけれど「イミフ」の割合は小さい興味に分けてみます。

「予想外」「イミフ」両方の回答割合が大きい興味の対象（上位10件）

• 運輸業っぽい
• 不動産関係っぽい
• あなたこそ、鹿児島っこ！
• あなたこそ、熊本っこ！
• あなたこそ、岐阜っこ！
• あなたこそ、鳥取っこ！
• あなたこそ、高知っこ！
• あなたこそ、うみんちゅ！
• あなたこそ、富山っこ！
• 宝塚歌劇に興味ありそう

「予想外」の回答割合が大きく「イミフ」回答割合が小さい興味の対象（上位10件）

• 買い物が大好きそう
• 音楽に興味ありそう
• インターネット接続に詳しそう
• 株・経済に詳しそう
• パソコンに詳しそう
• 学習に熱心そう
• クーポンに興味ありそう
• 動物に詳しそう
• 科学に興味ありそう
• 数学に詳しそう

予想外の回答が多い興味の中でも、「不動産関係っぽい」「宝塚歌劇に興味ありそう」などの興味は「間違いやすい予想に対しての予想外」で、「数学に詳しそう」「動物に詳しそう」などの興味は「間違えにくい予想に対しての予想外」だということが分かりました。これだけではまだ「どの興味に対する予想外がポジティブなのか」までは分かりませんが、このように「あなたぐβ」の評価を組み合わせていくことで定性的・定量的に興味の傾向を分析していくようなこともできます。

ここまでで簡単でしたが、「あなたぐβ」ならではの評価についても紹介いたしました。この8種類の評価はまだまだ奥が深く、AIの推定結果をさまざまな角度から分析することができるようになっています！

終わりに

以上、ヤフーの取り組んでいる興味推定AIと、その実証実験である「あなたぐβ」について紹介いたしました。

今回の僕のインターンシップでは、この「あなたぐβ」の結果を用いた研究を行っています。僕が大学で行っている研究はどちらかというと基礎研究寄りの内容なので、「ユーザーの興味」というより社会・よりサービスに近いテーマに触れられるのはとても刺激的です！　このようなテーマを扱うためには、たくさんのユーザーのデータが必要なので、改めてヤフーの強みも実感しています！

あなたぐβにアクセスすれば、ヤフーが「あなたが何に興味があるのか」推定した結果を実際に確認できます。結果を見るだけでも面白いのでぜひ一度使ってみてください！

評価までしていただけるとヤフーがもっと使いやすくなるかも？