WebAuthnを用いたパスワードレス生体認証のユーザビリティ調査

こんにちは!!　Yahoo! JAPAN研究所の山口修司です。

突然ですが、生体認証は好きですか？　最近はスマホで生体認証が利用できるようになったので生体認証を使うシーンが増えていると思います。私は、使い勝手的に（以後ユーザビリティと書きます）、パスワードを覚えたり入力したりしたくないので、生体認証が選べるなら積極的に使っています。

Yahoo! JAPANでは、2018年にセキュリティとユーザビリティの両立を目指して、Yahoo! JAPAN IDに生体認証を導入しました。

• ヤフー、Androidスマートフォンのウェブブラウザー上でのログインが指紋認証などの生体認証に対応

Webサイトの生体認証の仕組みには、認証に関するグローバルなコンソーシアムであるFIDOアライアンスからの技術提案をもとにして、W3C（World Wide Web Consortium）において策定された標準仕様であるWeb Authentication[1]（以下、WebAuthnと書きます）を採用しています。

この仕組みによって多くのユーザーのユーザビリティが改善し、私のように愛用していただけているととても嬉しいです。

しかし…

例えば、マスクをしていて顔認証が通らないとき、ちょっとイライラすることがあります。

例えば、手が濡れていたり、乾燥したりしていて指紋認証が通らなくて困るという声を聞くこともあります。

Webサイトのログインに導入される生体認証は、本当に多くのユーザーのユーザビリティを改善しているのでしょうか？

これがこの記事のキークエッションです！　今回は、WebAuthnベースの生体認証と従来の認証手法について、評価基準による比較、ログの調査、ユーザーアンケートからユーザビリティの検証を試みます。

この記事はコンピュータセキュリティシンポジウム2020(CSS2020)で発表した下記の論文をもとに書いています。

• WebAuthnを用いたパスワードレス生体認証のユーザビリティ調査(山口 修司、日暮 立、五味 秀仁、大神 渉）

Yahoo! JAPANが導入したWebAuthnベースの生体認証

Yahoo! JAPAN IDの認証システムは、現時点で月間ログインユーザー数が4,000万以上と非常に大規模なシステムです。従来はパスワード認証のみが提供されていましたが、パスワード認証のセキュリティとユーザビリティの課題から、パスワードを使用しない認証（パスワードレス認証）も合わせて導入されています。

詳しくはこちらの記事を御覧ください！

• パスワード入力を不要にしてYahoo! JAPANユーザーの利便性を高めることに挑戦する若手エンジニアたち - linotice

パスワードレス認証として、携帯電話のショートメッセージサービスを用いた認証手段（SMS認証）がまず導入されました。SMS認証は、認証するたびにPINコードをユーザーに送信するので、パスワードのように記憶をする必要がなくユーザビリティの向上が見込まれていますが、一方で、PINコードの確認・入力の手順が煩雑である点の課題もあります。

そこで、さらなるユーザビリティの改善を目指し、WebAuthnベースの生体認証も合わせて導入されました。パスワードの課題に対して、パスワードへの依存度を減らしながら、利便性と安全性を同時に解決するのがWebAuthnの認証技術です[2]。WebAuthnの標準仕様に準拠した実装にすることでユーザーのセキュリティとプライバシーに配慮した実装が可能となるだけでなく、仕様に準拠する製品やサービス間の相互接続性の確保ができます。また、生体認証と組み合わせることで、さらなるセキュリティやユーザビリティの向上が見込まれます。

WebAuthnベースの生体認証の詳細については、過去のYahoo! JAPAN Tech Blogの記事を御覧ください。

• FIDO認証の進化とさらなる応用展開 (第3回FIDOアライアンス東京セミナー講演) - Yahoo! JAPAN Tech Blog
• Yahoo! JAPANでの生体認証の取り組み（FIDO2サーバーの仕組みについて） - Yahoo! JAPAN Tech Blog

Yahoo! JAPAN IDの生体認証の画面遷移は図1のような流れで行います。認証が必要な際、（1）認証画面において「次へ」をタップすると、（2）指紋の入力による本人確認が求められ、（3）指紋が確認されれば認証が完了します。

図1. Yahoo! JAPANの生体認証の画面遷移

認証のユーザビリティ評価の手法

認証のユーザビリティはどうすれば評価できるでしょうか。認証がサッと終われば良いと言えるでしょうか。または、毎回の認証が失敗なく終わる方が良いでしょうか。「良いユーザビリティ」をはっきりと定義することは大変難しいと考えています。

近年、セキュリティやプライバシーの分野のトップレベルのカンファレンスでも、このようなユーザビリティ評価に関する課題について着目した研究が多く発表されており、注目を集めています[3][4][5][6]。

WebAuthnの規格を使用したユーザビリティの調査としては、セキュリティキーを用いた認証の調査が行われています[7][8]。

そこで、上記のような研究を参考に、WebAuthnベースの生体認証のユーザビリティを3つの方法で評価することとしました。

(1) 認証手段の比較

多くの先行研究で、先行研究[9]の評価基準を用い認証手段が比較されていました。この評価基準を活用して認証手段の比較を行います。

(2) システムログ解析によるユーザビリティ評価

定量的な数値からの比較を行うためシステムログの統計情報から得られるユーザビリティを調査します。先行研究でも行われていた認証速度と認証成功率の調査を対象とします。

(3) クラウドソーシングによるユーザビリティ評価

定性的な検証を行うためユーザーへのアンケート調査を行います。先行研究で利用されていたSystem Usability Scale（SUS）[10] のフレームワークを活用します。

ここから、実際にYahoo! JAPANの3種類の認証手段（生体認証、パスワード認証、SMS認証）を対象にユーザビリティの評価を行った結果を紹介します。

評価実施 (1) 認証手段の比較

先行研究[9]の評価基準を活用して、Yahoo! JAPANの3種類の認証手段（生体認証、パスワード認証、SMS認証）を比較します。表1が結果です。パスワード認証とSMS認証の評価結果は、Googleの調査で記述された内容[6]を引用しています。ここで、生体認証は認証を実施する端末に内蔵されている認証器（Platform Authenticator）を対象としています。

表1. 先行研究[9]の評価基準によるWebAuthnを用いた生体認証、パスワード認証、SMS認証の比較

ユーザビリティに関しては、まず、ユーザーの記憶が不要、またそれに伴ってスケーラブルであるという点が、生体認証とSMS認証が優れています (U1, U2) 。次に、ユーザーの動作の少なさでは、生体認証が例えば、指紋認証ではタップのみ、顔認証については動作なしで認証を行えるため優れていると考えられます (U4) 。また、U6とU7に関しては後述するシステムログの認証時間と認証成功率の評価の結果も反映して記載しました。

導入しやすさにおいては、パスワード認証が専門の装置や外部の仕組みを必要としないため最も良い結果となっています。一方で、生体認証に関しても、生体認証の認証器は必要となるものの、WebAuthnの標準仕様に従っているため互換性に優れていることがわかります (D3, D4) 。

セキュリティに関しては、生体認証とSMS認証が優れている点が多く、パスワードの課題を解決している様子が分かります。

以上から、Yahoo! JAPANが導入したWebAuthnベースの生体認証について、主にユーザビリティとセキュリティに関して、パスワード認証よりも優れていると評価できることが確認できました。

評価実施 (2) システムログ解析によるユーザビリティ評価

タスク設計

ユーザビリティが認証システムに与える影響を表す評価指標として、「認証時間」と「認証成功率」の2つを調査しました。実際に認証サーバから2019年12月の1カ 月分のシステムログを取得して、生体認証、パスワード認証、SMS認証の3つの認証方法でについて比較を行います。解析は、Yahoo! JAPANのプライバシーポリシーに従って実施しています。

認証時間: 認証の開始ページの表示時間と完了ページ表示時間の差

認証成功率: 認証を開始したユーザー中の完了したユーザーの割合

結果

図2に、比較対象の3つの認証手段（生体認証、パスワード認証、SMS認証）それぞれの認証時間の解析結果をヒストグラムで表示します。実線、破線、点線はそれぞれ平均値、中央値、最頻値を表しています。また、平均値、中央値、最頻値の値を表2に示します。

図2. 認証速度の比較

表2. 認証速度の平均値、中央値、最頻値（second）

平均速度、中央値は生体認証が最も速いという結果が得られました。また、図2から、パスワード認証とSMS認証の曲線は非常に緩やかで分散が大きいのに対し、生体認証は分散が小さく、多くのユーザーは3-8秒で認証が完了している様子がわかりました。加えて、88%のユーザーは10秒未満で認証が完了していることから、生体認証が速度面において他の認証手段よりも優れていることが確認できました。

図3に各認証手段の認証成功率を日次で集計し、平均した結果を示します。平均値はそれぞれ、生体認証が77.0%、パスワード認証が72.2%、SMS認証が73.2%となり、認証成功率においても生体認証が最も良い結果を有意に得ることができました。

図3. 認証成功率の比較

評価実施 (3) クラウドソーシングによるユーザビリティ評価

タスク設計

システム解析に加えて、こちらでは定性的な評価を行います。評価を実施するにあたって、Yahoo!クラウドソーシングのサービスを利用し、クラウドワーカーを対象に各3種類の認証手段に対するアンケートを行いました。アンケートはSystem Usability Scale（SUS）[10] のフレームワークにのっとって作成し、下記の方法でクラウドワーカーに提示しました。

タスクの提示方法

今回実施したクラウドソーシングの説明ページでは、クラウドワーカーは下記のような指示を受けます。

【生体認証によるログイン機能の利用者限定】ユーザビリティーの調査ヤフーの各サービスを利用する際の、生体認証によるログイン機能のユーザビリティーに関するアンケートです。以下の生体認証に関するヘルプページを参照した上でお答えください。※本アンケートは生体認証によるログイン機能の利用者限定です。

Webサービスのユーザビリティはヘルプページの内容にも関係があるため、それぞれの認証手段の実際のヘルプページをインストラクションとして利用しました。

設問の設計

SUSの手法に則り、SUSの設問は下記のように設定しました。{[認証手段]}には各対応する認証手段の名称が入ります。

• S1. {[認証手段]}によるログインを利用するためのナビゲーションは十分に統一感があると感じた。
• S2. {[認証手段]}によるログインのナビゲーションには一貫性のないところが多々あったと感じた。
• S3. 多くの人は、{[認証手段]}によるログインの操作方法をすぐに理解すると思う。
• S4. ウェブサービスを利用する際には、{[認証手段]}によるログインはとても操作しづらいと感じた。
• S5. どんな人でも、{[認証手段]}によるログイン機能は容易に使いこなす事ができると思う。
• S6. {[認証手段]}によるログイン機能を利用するにはサービスのサポートが必要だと感じる。
• S7. ウェブサービスを利用する際には、{[認証手段]}によるログインを活用できると確信する。
• S8. ログイン時に{[認証手段]}の利用するには知っておくべきことが多くあると思う。
• S9. ログインしてウェブサービスを利用する際には{[認証手段]}を利用したいと思う。
• S10. {[認証手段]}によるログインを利用するには説明が必要となるほど複雑であると感じた。

設問は1-5点のLikert scale（1点は設問に対して「非常にそう思わない」を示し、5点は「非常にそう思う」を示す。）で解答を依頼します。これらの設問をパスワード認証、SMS認証、生体認証の3つの認証手段それぞれに対して用意し、各クラウドワーカーが使用している認証手段に対して質問し解答を得ました。SUSスコアは上記の10の設問につけられた点数を100点満点に変換し作成します。

認証のユーザビリティに関する10の設問以外にユーザーの性別、年齢に関する属性情報、およびコンピュータに関する知識をどれくらい有するかを解答してもらいます。また、認証のユーザビリティに関する意見を自由に記述できる入力フォームも用意しました。

また、質問に正しく解答していないクラウドワーカーを検知する仕組みを使い、そのようなユーザーは今回のユーザビリティ評価の対象からも除外しています。

対象クラウドワーカーの選定方法

3つの認証手段それぞれに用意したクラウドソーシングタスクに解答を依頼するため、各認証手段を使用するクラウドワーカーの選定が必要となります。Yahoo! JAPAN IDは複数の認証手段を同時に利用可能に設定できるため、今回は以下の条件で3つのグループを抽出し、それぞれの認証手段を主に利用しているクラウドワーカーに絞りました。

• (A) 生体認証を設定しており、SMS認証を設定していない
• (B) SMS認証を設定しており、生体認証を設定していない
• (C) SMS認証も生体認証も設定していない

生体認証、SMS認証、パスワード認証のユーザビリティを評価するための条件として、グループ（A）、（B）、（C）をそれぞれ使用します。このために2019年10-12月のシステムログから各認証方法を使用したユーザーを選定しました。

クラウドワーカーへの報酬

クラウドワーカーへの報酬は、この種のアンケートの一般的な報酬を参照し、Ｔポイントを4ポイントと設定しました。

結果

今回の調査では、パスワード認証が18人、SMS認証が6人、生体認証が19人を対象に解答を得られました。クラウドワーカーの性別は、男性が22人（70%）、女性が9人（29%）になりました。年齢は、18〜25歳が25人（80%）、26〜35歳が4人（12%）、46〜55歳が2人（6%）となり若年層が多くなりました。

図4に、3つの認証手段ごとに計算したSUSスコアの平均値を示します。パスワード認証の平均SUSスコアは58.6、標準偏差は15.6となり3つ認証手段のうち最も低くなりました。SMS認証の平均SUSスコアは67.1、標準偏差は17.7、生体認証の平均SUSスコアは68.3、標準偏差は15.1となり、SMS認証と生体認証の間には有意差がないという結果になりましたが、生体認証とパスワード認証を比較すると生体認証のユーザビリティが良いと解答されたことを示す結果になりました。

図4. SUSスコアの比較

考察

システムログ解析から、生体認証はその他の認証手段と比較して認証時間と認証成功率の両方について最も良い結果が得られました。また、クラウドソーシングによる定性的なユーザビリティ調査の結果も、生体認証のSUSスコアはパスワード認証と比較して良いという結果が得られました。今回の調査から、生体認証は、その他の認証手段と比較して良いユーザビリティを提供できているといえると考えています。

以下にさらなる研究トピックに対する考察と今後の課題について議論します。

パスワードの入力補完機能

図2のパスワード認証のヒストグラムを見ると、約1秒にもピークがあり、表2ではパスワード認証の最頻値は1秒となっています。このような短時間でパスワード認証を行うユーザーは、ブラウザのパスワード保存機能やパスワード管理ツールによる自動補完機能を使用しているのではないかと想定されます。
自動補完機能を利用して非常に高速にパスワード認証を行うユーザーのユーザビリティは、生体認証よりも優れている可能性があります。上記のような補完機能を利用してパスワード認証を行っているユーザーは、ある程度パソコンやブラウザの操作に詳しい一部のユーザーであると考えられますが、今回の評価ではパスワード認証の評価を補完機能を使うか否かで分けることなく一律で評価を行ったため、これらのユーザも含まれていると考えらます。より正確にユーザビリティを調査するためには、補完機能等の利用の有無を加味するほうが望ましく、今後の研究課題です。

生体認証の認証速度は超速くはない

図2に示されるように、生体認証は多くのユーザーが3-8秒で完了し、最頻値は5秒となっています。近年のスマートフォンにおける指紋認証や顔認証自体の認証時間は非常に短くなってきていますが、この結果をみると生体認証には、パスワード認証ほど認証完了までの時間が短いユーザーは存在していません。この理由について検証するため、指紋認証を実際に行い、ログイン処理開始から完了まで、各処理にかかる時間を検証した結果下記のようになりました（Google Pixel4、Wi-Fi環境で実施）。

1. ログインボタンを押してから生体認証を促すダイアログが表示される（認証リクエストを実施する）: 約1.2秒
2. 生体認証を実施し完了のダイアログが表示される:（実施するユーザーによる）
3. ダイアログが自動的に閉じ、ログインページが表示される : 約1.3秒
4. ログインが完了しログインページが閉じる: 約1秒

この結果から、ユーザーが指紋認証を実施する以外にも、WebAuthnプロトコルによるクライアントとサーバの通信の時間とインタラクティブな画面の表示のため、今回の検証環境では少なくとも約3.5秒が必要であることがわかりました。パスワード認証と比較し、操作に慣れたユーザーにおいても一定の認証時間が必要となるという課題があることがわかりましたが、一方で、クラウドソーシングで検証したSUSスコアでは生体認証はパスワードより良い結果が得られていることから、この数秒程度のロスはユーザビリティには大きな欠点とはならない可能性が高いと考えています。

生体認証の認証成功率

生体認証の認証成功率は77%で、他の認証手段と比較して良い結果でした。
認証が完了しない場合には、生体認証の失敗のみでなく、生体認証をキャンセルした場合やブラウザバックを行った場合等も考えられますが、まだまだ改善の余地があります。生体認証の場合、思わぬタイミングでダイアログが表示されることによる心理的な影響で認証をキャンセルしてしまうことも考えられますので、さらなるユーザビリティの向上による認証成功率の改善にはこの失敗の内訳がわかるような仕組みを作ることが必要だと考えています。

SMS認証のユーザビリティも良い

生体認証がパスワード認証よりもよいSUSスコアを得られたことで、生体認証がユーザビリティに良い影響を与えることが確認できました。

SMS認証のSUSスコアに関して、SMSを開く・PINコードを入力するという操作に手間がかかるにもかかわらず、生体認証のSUSスコアとあまり有意差がないという結果は、私にとって予想外でした。SMS認証を行ったクラウドワーカーのコメントを参照すると、SMSは慣れているという意見がありました。SMSは普段からユーザーが使っているSMSのアプリケーションを利用しており一般的で使いやすいため、SMSに慣れ親しんでいることが使い勝手の良さにつながるのではないかと考えています。

おわりに

Yahoo! JAPANが導入している3種類の認証手段（生体認証、パスワード認証、SMS認証）のユーザビリティ調査を実施しました。
評価基準による比較、システムログ解析、クラウドソーシングによるSUSの評価から、生体認証は、パスワード認証と比較してユーザビリティが良いと言えそうであることを確認しました。しかし、今回の調査で、生体認証の認証速度が一部のパスワード認証のユーザーを下回っている点、生体認証とSMS認証のSUSスコアに差がなかった点等の課題が明らかになりました。
これからも、これらの課題の原因をより詳細に調査し、よりユーザビリティの良い認証を提供できるように調査していく予定です。

最後に、ぜひ、Yahoo! JAPANの生体認証をご利用ください！

■生体認証ログイン設定

参考文献

• [1] W3C. Web Authentication: An API for Accessing Public Key Credentials - Level1. https://www.w3.org/TR/webauthn/, 2019.
• [2] 五味, 大神. FIDO（ファイド）認証とその技術. 電子情報通信学会論文誌, Vol.12, No.2, pp.115-125, 2018.
• [3] J. Reynolds et al. A Tale of Two Studies: The Best and Worst of YubiKey Usability. In Proc. S&P’ 18, pp.872-888, 2018.
• [4] K. Reese et al. A usability study of five two-factor authentication methods. In Proc. SOUPS’ 19, pp.357-370, 2019.
• [5] S. Ciolino et al. Of Two Minds about Two-Factor: Understanding Everyday FIDO U2F Usability through Device Comparison and Experience Sampling. In Proc. SOUPS’ 19, pp.339-356, 2019.
• [6] J. Lang et al. Security keys: Practical cryptographic second factors for the modern web. InInternational Conference on Financial Cryptography and Data Security, pp.422-440. Springer, 2016.
• [7] F. M. Farke et al. “You still use the password after all” –Exploring FIDO2 Security Keys in a Small Company. In Proc. SOUPS’ 20, 2020.
• [8] S. G. Lyastani et al.Is FIDO2 the Kingslayer of User Authentication? A Comparative Usability Study of FIDO2 Passwordless Authentication. In Proc. S&P’ 20, pp.842-859, 2020.
• [9] J. Bonneau et al. The Quest to Replace Passwords: A Framework for Comparative Evaluation of Web Authentication Schemes. In Proc. S&P’ 12, pp.553-567, 2012.
• [10] J. Brooke. SUS: A Quick and Dirty Usability Scale, 1996.