機材はPC1台だけ・簡単リモートユーザビリティテスト手法

こんにちは、Yahoo! JAPANで認証・登録のデザイナーをしている浅井です。

Yahoo! JAPANでは日々多くのサービスがリリースまたはアップデートされています。その中でサービスの課題発見や改善のために実施していることの一つがユーザビリティテストです。
リモートワークへの移行に伴い対面で行っていたさまざまな業務をリモートでも可能にすることが求められてくるようになりましたが、今回はユーザビリティテストをリモートで行う方法についてご紹介します。
（※リモートとしての方法をご紹介するため、実際に対面するユーザビリティテストの方法との違いを中心としています）

ユーザビリティテストとは？

ユーザビリティテストとは、サービスの課題や改善点の発見のために、そのプロダクト・サービスなどの対象となるユーザーに製品やプロトタイプをあらかじめ設定したタスクにしたがって操作してもらい評価するテストのことです。また、調査協力者が実施側が想定しているゴールにスムーズにたどり着けるか操作中の様子を観察・分析し、インタビューも実施して課題発見へつなげます。

コロナ禍以前は、ユーザビリティテスト用の機材を用意した場所に調査協力者に来ていただき、専用のインタビュールームまたはカメラやディスプレイなどの機材をセッティングした場所で実施することがほとんどでした。

なぜリモートで行うことになったのか

ユーザビリティテストをリモートで行うことになった理由は、コロナ禍により対面や密な状況でテストを行えなくなったためです。筆者自身も3月から在宅勤務となり、ほとんどオフィスへ出社していません。それにより、以前は調査協力者をお呼びして対面でユーザビリティテストを行っていたのが不可能となりました。
そのような中、業務は日々リモートで続けられサービスの改善も継続して行われています。リモートでもユーザビリティテストを実施して、通常のようにサービスのアップデートを続けられないだろうかと思ったのがきっかけです。

リモートでもユーザビリティテストはできる

実際にリモートでもユーザビリティテストをできるか試してみた結果、ZoomとInVisionを活用する方法を導入してみました。この方法を使うと通常のユーザビリティテストよりリモート実施の方が良い点もあり、具体的には以下のようなメリットがありました。

• 調査協力をお願いできる人が増える
• 機材の準備が少なくて済む
• テストの記録の共有が簡単

調査協力者が遠方でも参加できる

対面して実施するユーザビリティテストは機材を用意した場所へ調査協力者が来ていただかないといけませんでしたが、リモートテストの場合は調査協力者がどこを拠点としていてもテストに参加していただけるようになりました。リモートで実施することで、調査協力者になっていただける方の分母は大幅に上がったと実感しました。

ZoomとInVisionを使えばパソコン1台だけで可能

次にZoomとInVisionを使用した場合、機材の準備が楽になるメリットがありました。

• 基本的にPCしか機材がいらない

対面して実施するユーザビリティテストはテストのために録画機材・テスト用デバイス・モニターなどの機材を毎回用意していましたが、今回実施したZoomとInVisionを使用したリモートでのテスト方法の場合、機材は基本的にPCしか必要がありません。テスト実施側もシナリオとモックだけ作成するだけですむので、準備時間が大幅に削減できました。
そしてZoomのクラウドレコーディングを使用するとこんな利点があります。

• テストの録画・共有が簡単

Zoomの録画機能（Zoomレコーディング）を使用するとテストの記録もボタン一つで簡単にできます。Zoomの有料ライセンスに加入している場合、クラウドに保存するクラウドレコーディングが使用できます。録画後にURLが自動で生成されるため、テスト後にビデオを共有してテストの分析を行うのにも大変便利です。

Zoomの画面下部メニューから簡単に録画できます。

ユーザビリティテストを行う場合、ユーザーの観察やプロトタイプの課題を発見したいという狙いがあると思いますが、この場合、テスト用実機を利用しなくても「UIデザインの評価」「文言の評価」「タスクの達成度や実行時間の計測」という点にフォーカスしてリモートでもフィードバックをもらうことが可能です。
また、実際に通常のユーザビリティテストでユーザーの操作の様子をその場で観察する代わりに、Zoomのカメラで調査協力者の表情を、マウスカーソルを画面に表示させて操作の動きを観察することで行動を分析します。（※本記事の事例の調査対象デバイスはスマートフォンです。評価ポイントを絞ることでスマートフォン実機を使用しない方法を選択しましたが、UIは特に評価できる点が限定的になるので事前にチーム内で評価範囲について認識合わせを行いました。）それでは実際の手順をご紹介します。

テストの事前準備

テストの実施には3人必要

テストの実施には通常のユーザビリティテストと同様に以下の役割分担を行うため、最低３人の人員が必要です。

質問役：テストの進行・ファシリテーション、シナリオの操作を担当します
観察役：調査協力者を観察して様子を記録する、テストの時間をはかりSlackに書き込みます
記録役：調査協力者の発話をSlackに記録します

複数の調査協力者にテストを行っていただくので、役割を持ち回りで行うのも良いと思います。

用意するものやツール

シナリオ：PowerPointまたPDFで作成します。

テスト用シナリオはPowerPointなどで作成してZoomの「画面を共有」で表示させます。

モック：プロトタイピングツールInVisionで動くプロトタイプを作成します。Sketchデータを連携させると素早く作成が可能です。

InVisionでプロトタイプを作成してZoomの「画面を共有」で操作の様子を観察できます。

ここまでは通常のユーザビリティテストと変わりません。
リモートで実施するにあたって下記も用意します。

Zoom：テストのリモート会話・画面共有・録画などを行うのに使用します。（クラウドレコーディングを行う場合は有料ライセンスが必要です。）
Slack：テストの参加者（進行役・観察役・記録役＋見学者）を事前に確認し、必要な人数を集めたSlackチャンネルを作成した上でテストの記録や動画の共有を行うとやりやすいです。

リモートでのテスト実施における注意点

調査協力者依頼・募集時

調査協力者募集にあたりリモート（Zoom）で実施すること、所要時間などを明示します。調査協力者には極力テストに集中できる、周囲に人がいない場所からリモートで参加していただけるようお願いします。

スライド制作・テストフロー確認

対面で実施したテスト以上に画面に表示されたスライドを調査協力者が読みこんでしまう傾向にあります。スライドは簡潔に、字数に注意して作成します。（または字数が多いページはさらっと流します）
テストのフローを書き出し、各質問やフェーズでの所要時間を明記しておきます。本番前に予行演習を行い、所要時間の確認・シナリオやモックの課題などを抽出し、本番前に修正して精度を高めるのが望ましいです。

Zoomの設定・録画・録音

Zoomの時間設定は、テスト時間の前後30分ずつ余分に確保し、テスト前の打ち合わせやテスト後にテストの総括をしたり、今後の修正点の確認などを行うと良いです。
Zoomレコーディングは会議のホストしか録画の操作ができないので注意します。進行役が観察役などに指示して録画スイッチを入れてもらうと進行がスムーズになるので、観察役をホストに設定しておきます。

テストの実施手順

テスト前

調査協力者にZoomでシナリオやInVisionを表示・共有できるかチェックしてもらいます。
テスト実施30分前よりZoomには入室できるようにしておき、事前準備やテストの打ち合わせを実施側で行い、進行の最終確認をします。

テスト開始時

調査協力者が初対面の場合もあるため、簡単に本日のテスト実施メンバーの自己紹介を行います。
アイスブレイクではZoomの使用頻度や普段からリモートでの飲み会やイベント参加状況など、軽く場がほぐれるような会話を行います。

シナリオの表示

調査協力者
進行役が画面共有したシナリオを読みます。

進行役
シナリオをZoomで画面共有して調査協力者に行動を指示します。
PowerPointの場合「スライドショー」を選ぶと全画面になって見やすいですが、それ以外の操作ができなくなるのでモックのURLの投稿などは観察役に操作してもらうなど分担が必要です。InVisionのURLとあわせてテストシナリオ文章をZoomのチャットに投稿しておくと調査協力者が見返しやすいです。

録画開始

調査協力者に必ず録音・録画のお断りを入れます。
録画の際は説明をして了承をいただいた上でスイッチを入れます。
（例）「このテストは後々の振り返りのために録画・録音させていただきます。ご了承ください。」

了承が取れたら、進行役が観察役に指示してZoomレコーディングの録画スイッチを押してもらい、録画を開始します。
（例）「それでは録画を開始します」

表情の録画のためテスト中は調査協力者に発話をお願いし、それ以外の参加者はカメラ・マイクをOFFにします。調査協力者の表情の録画のため、テスト中は調査協力者に発話をお願いし、調査協力者以外にカメラがフォーカスしないように基本的にカメラやマイクはオフにします。（Zoomレコーディングではカメラは発言中の人しか録画されません。）

Zoomレコーディングで録画中は画面下部のアイコンは以下の表示に切り替わります。

テスト中

テスト中は調査協力者の表情やマウスカーソルの動きに注目しましょう。
写真はZoomレコーディングで録画した内容を表示しています。

調査協力者
自身のデスクトップ画面をZoomで画面共有をします。ブラウザでチャットから送られたInVisionのURLを開いて発話しながら操作します。

進行役
テスト操作時は調査協力者に画面を共有してもらいます。調査協力者が困っているようであればフォローします。

観察役
進行役の指示を受け、テスト本文とモックURLをZoomのチャットに投稿します。
Zoomで共有された画面および調査協力者の表情や行動を観察してSlackに印象などを書き込みます。シナリオのフェーズごとに経過時間をSlackに書き込みます。（記録役はテスト中忙しいので、観察役がタイムキーパーを担当します）

記録役
Zoomで共有された調査協力者の発話や行動をSlackに書き込みます。

画面共有のポイント

Zoomレコーディングでは右上にその時の発言者のカメラが写るため、下記に注意して極力調査協力者の表情を録画するようにします。

• 調査協力者にカメラ・マイクをオンにしてテスト中は発話をお願いします。
• テスト実施中は残りの参加者はカメラ・マイクをオフにします。

調査協力者が直感的に操作しているか・迷っているかを動きからも観察するため、画面のマウスカーソルの動きに注目します。

テスト終了後

お礼を言って調査協力者に先に退室していただきます。
そのままZoom上で30分程度、テスト実施側で印象やテストの総括・修正点の確認などを行い、必要なら次のテストに向けてシナリオやモックをアップデートします。(このためZoomはテスト前後合わせて１時間程度時間を追加して設定しておきます)

実施後にZoomレコーディングを共有して分析

Zoomレコーディングでクラウドレコーディングを選択した場合、録画終了後に会議のホストに録画のURLが書かれたメールが送られてきます。またはZoomのWebページのマイアカウント→「記録」から確認できます。テストの実施メンバー以外にも共有する際は、調査協力者に断りを入れておきます。テストの録画と記録を用いて行動の分析を行います。

実施してよかったこと

リモート環境でユーザビリティテストが実施できて良かったのは、ユーザビリティテストは特別な環境や設備が必ずしも必要ではなく、リモート環境で機材がPCだけでもユーザーの意見を聞くことは十分できるということです。
モックをスマホなどのデバイスで本番と同じように操作するのを間近で観察できるわけではないので、リモートとリアルはコミュニケーションの方法に違いを補う工夫はする必要がありますが、プロダクトのアップデートに活かせるレベルの情報を得ることは可能だと思いました。

今後も新しい生活でさまざまなことがさらにリモート化していくと思いますが、リモート業務での制作でも引き続きユーザーファーストのサービスやデザインを提供していきたいと思います。