機械学習で違和感あるリコメンデーションを減らしたい！「正しい」以外の人の感覚を反映してAI性能を改善

こんにちは！Yahoo! JAPAN研究所の坪内と申します。みなさんはAIがレコメンドしてきた内容に対し、「興味はあったけどもう済んだ話だしなあ」「興味はあるけど画面で見せられるのは恥ずかしいなあ」など、感情的にズレを感じることはないでしょうか？

AIの精度を上げるために「正解かどうか」に加えて、「予想外」「恥ずかしい」「過ぎ去りし過去」といった人間の感想をモデルに反映する実験を行いました。ヤフーの持つ199個のモデルで試したところ、2％性能が改善することがわかりました。この記事では、ユーザーの皆さんに無関係なリコメンデーションがされる割合を減らすアイデア「カラフルフィードバック」をご紹介します。

最新の研究開発の進捗状況をエンジニアの前田さんに紹介いただきます。彼はもともと研究インターンシップとして私と「あなたぐβ」というサービスを用いた研究をしておりました。この世界に興味を持ち、なんと現在はヤフーに入社していただいております！では、前田さんお願いします！

AIの推定結果に対するフィードバックを集める（あなたぐβ）

ご紹介していただいた前田です。現在はサイエンス統括本部に所属して広告システムの開発、すなわちリコメンデーションを行う側に関わっており、改めてユーザーの皆さんの興味をよく知ることの重要性を再認識しています。今回は、「あなたぐβ」という取り組みを改めて紹介するとともに、実際にどのように研究に使われているかをご紹介したいと思います。

みなさん、「あなたぐβ」というサービスはご存じでしょうか。

β版として公開されているサービスで、あなたの興味・関心がヤフーにはどのように理解されているのかをお伝えするスマートフォン専用のサイトです。また、ユーザーの皆さんにはその理解が正しいのかどうかを実際にフィードバックしていただくことが可能です。
（※解析やモデル作成にあたり、ヤフーではお客様のプライバシーの保護に細心の注意を払っています。詳しくはYahoo! JAPAN プライバシーセンターをご覧ください。）

ぜひまずはご自身で「あなたぐβ」を利用してみてください！　この「あなたぐβ」で得られた人からのフィードバックを機械学習モデルに反映、という取り組みが今回の記事です。
「あなたぐβ」を利用していただくと、あなたの興味を示す「あなたぐボード」が以下のように表示されます。

「あなたぐボード」に表示されている興味が実際にどうなのかをフィードバックすることもできます。

フィードバックする際には「正しいかどうか」だけではなく、「正解」「すごい」「予想外」「なぜそれを!?」「はずかしい。。」「イミフ」「過ぎ去りし過去」「調べただけ」の8つの選択肢の中から選択してもらうことが可能です。

リコメンデーションの世界でユーザーへの説明責任が重要視されてきています。「なぜ、このメールが届いたの？」「なぜ、この広告が出るの？」と思った体験はあると思います。そのような時に、あなたぐβのようなサービスがあれば、納得できます。企業とユーザーの関係を不明瞭なままにするのではなく、クリアにしていこうということですね。

ちなみにこのあなたぐβですが、現在皆さんに公開されているだけではなく、ヤフー社内ではオンライン時のコミュニケーションにも活用されつつあります。あなたぐボードは社員同士で確認できるようになっていまして（本人が事前にオプトインする）、ミーティングで初めて合う人のあなたぐボードを事前に確認しておきます。互いに自転車が趣味と分かれば、「僕も自転車好きなのですよね！」と会話が弾みます。共通の趣味がわかるとわからないではオンラインミーティングの雰囲気が大きく異なりますので、興味ある方はミーティング前に名刺代わりにあなたぐボードを見せ合う、など試してみてください！

「あなたぐβ」を用いたフィードバックの特徴

一般的にリコメンデーションなどを行う際には、機械学習などによるモデル、分かりやすく言えばAIが用いられます。このAIの性能をより良くするには、まずは「ユーザーの皆さんの興味を知るAIの性能が良いのか悪いのか」を知る必要があります。これを知るためにはユーザーの皆さんから何かしらのフィードバックを得る必要があります。こうした際によく用いられるフィードバックとして、「明示的なフィードバック（Explicit Feedback）」と「暗示的なフィードバック（Implicit Feedback）」があります。

前者の「明示的なフィードバック（Explicit Feedback）」には、「いいねボタンを押してもらう」「Good/Badでフィードバックしてもらう」「☆〜☆☆☆☆☆でフィードバックしてもらう」などさまざまな方法があります。皆さんも何かのサービスを使っている際にこのようなフィードバックを求められた経験があるのではないでしょうか。「あなたぐβ」もこちらに含まれると言えます。

一方で「暗示的なフィードバック（Implicit Feedback）」はユーザーの皆さんには少し分かりにくいかもしれません。こちらはユーザーの皆さんの行動に注目して、フィードバックを得ます。例えば、ある商品をおすすめとして表示した際に、そのおすすめが正しいかどうかのフィードバックを得る方法を考えます。「その商品をクリックするかどうか」「その商品のページにどのくらい滞在していたか」「実際にその商品を購入したかどうか」といった情報は、間接的ですが、ユーザーの皆さんの興味を示していると考えられます。

現在、リコメンデーションなどの多くのAIでは、「暗示的なフィードバック」を多用しています。というのも、ユーザーの皆さんに直接「合っているかどうか」を聞いて回るのに比べると、ユーザーの皆さんの行動を計測するのは比較的簡単だからです。

それでは、「あなたぐβ」のフィードバックを調べる意味とは何でしょうか？　それは、「あなたぐβ」には他のフィードバックではわからない「正しいかどうか」とは別の軸のフィードバックを集めることができるという大きな特徴があるからです！ 例えば、「あなたぐβ」のラベルについて「正しいかどうか」と「予想通りか」どうか二つの軸で見てみると以下のようなマッピングになります。

このようなユニークなフィードバックを集めることで、リコメンデーションがユーザーにどのような印象を与えているのかを探ることができます。

「正しいかどうか」にとどまらないモデル活用

私がインターンをしていたときに書いたYahoo! JAPAN Tech Blog（ユーザーから定性的なフィードバックを得る新しい方法 〜 ヤフーのAIを評価してもらう実証実験）では、「あなたぐβ」から得られたフィードバックを組み合わせていくことで、単に「正しいかどうか」をみるだけでなく、他の観点からも定性的・定量的に興味の傾向を分析できるという内容をご紹介しました。

ここでは改めて、「あなたぐβからわかること」のうちの一つを紹介していきたいと思います。ヤフーが持っているさまざまな興味モデルについて、ユーザーの皆さんから集めた「あなたぐβ」フィードバックから何がわかるか見ていきましょう。

実際に各興味モデルに対する皆さんのフィードバックの割合を見てみると、興味モデルによって反応が大きく異なることがわかりました。例えば、「過ぎ去りし過去」の回答が多いモデルの上位についてみてみましょう。

※前回のブログでも同様の分析を行いましたが、データが増えている関係で少しランキングが入れ替わっています。

「教習所」や「学生」、「結婚式」など「過ぎ去りし過去」になりやすそうなモデルが上位に来てくれていますね。これらのモデルについては、推定に失敗する大きな理由として「興味あるように見えるが、以前興味があっただけだった」という知識を得ることができます。「正しいかどうか」だけでなく、その背後の理由などを考慮した上でモデルの活用を目指すことができるのが、この「あなたぐβ」の大きな特徴だと言えます。

次の章では、このフィードバックを実際どのように活用できるか、そのアイデアをご紹介します。

この「予想外か」「恥ずかしいか」等のフィードバックをモデルに組み込み、リコメンド性能改善

「あなたぐβ」フィードバックにはさまざまな活用方法が考えられ、私たちもいろいろと模索している段階です。今回は、そのうちリコメンデーションの精度自体を上げて、ユーザーの皆さんに無関係なリコメンデーションがされる割合を減らすアイデア「カラフルフィードバック」をご紹介します。

「カラフルフィードバック」のアイデアは、AIの精度を上げるために「正解かどうか」に加えて「予想外かどうか」「恥ずかしいかどうか」「過ぎ去りし過去かどうか」といった「あなたぐβ」特有のフィードバックを採用するというものです。

実際の提案手法を以下に示しています。

従来手法では、検索履歴やユーザーの属性情報などから興味スコアを推定し、そこから興味の有無を判断しています。

今回の提案手法では、そこに新たに「あなたぐスコア」という情報を追加しています。この「あなたぐスコア」は、検索履歴と「あなたぐβ」の回答データをもとに独自に作成した「あなたぐ回答」予測モデルに基づくスコアです。 この「あなたぐスコア」は「あなたぐβ」のラベルを増やせば増やすほど、興味スコアの次元を増やす方向に機能すると考えられます。（カラフルフィードバックの名称の由来はここからきています）

実際に、ヤフーの持つ199個のモデルについてこのカラフルフィードバックの手法を試したところ、「正解」「イミフ」を除いた6つの多様性のある「あなたぐスコア」を採用した結果、2％程度性能が改善することが示されました。(※性能評価には、ユーザーを予測スコア順に並べてどの程度正解が上位に来ているか判断するAverage Precisionという指標を使っています。)
この性能改善は1種類より2種類、2種類より3種類と、より多くの「あなたぐβ」ラベルを取り入れるほど、よくなることもわかっています。

今回のカラフルフィードバックの実験は条件を簡潔にした簡易的なものではありますが、興味スコアの次元を増やしユーザーをより表現しやすくしている、という仮説に一定の実験的な根拠を与えていると考えられます。手法や結果の詳細につきましては、元の論文、ColorfulFeedback: Enhancing Interest Prediction Performance through Multi-dimensional Labeled Feedback from Usersを参照していただけると幸いです。

ここから、「あなたぐβ」のラベルを使ったフィードバックの軸を増やしていくと、興味推定タスクの改善ができることがわかりました！

おわりに

興味推定タスクの改善には、ユーザーに「恥ずかしい」という印象を与えるリコメンデーションや「調べただけ」に基づくような大ざっぱなリコメンデーションを減らす、などいろいろな方法が考えられます。

「あなたぐβ」のこれからのさまざまな活用に期待してください！