# 実験振り返り ## 素材 - [実験サイト](https://koolhaas-frontend.web.app/) - [宿泊施設InvCorrUIアンケート](https://forms.gle/bm1uM8V5mykq1eCt5) ## 1.実験結果の振り返り データ分析結果を見ての,事実と考察(検定などは行っていない) - 病院タスクの場合,観点を表示するとSERP閲覧時間は長くなる ### 仮説 - 病院タスク - クリティカルな領域のため,入念に調べる - タスクにかける労力が少ない - 損失を感じさせる観点を表示するUI(InvCorrUI)による,探索行動への影響が小さい - 損失を感じさせる観点を表示するUI(InvCorrUI)を利用しても,レビュースコアに頼って意思決定をしてしまう - 病院の良し悪しを自分で判断することができないと考えられる - ホテルタスク - クリティカルな領域ではないため,病院よりは入念に調べない - タスクにかける労力が少ない - 損失を感じさせる観点を表示するUI(InvCorrUI)による,探索行動への影響が大きい - 病院タスクに比べて,ユーザは自身の観点を持っていると考える - 自身が重視する観点を持っている状態で,損失を示す観点が表示されることで,自身が重視する観点の存在に気づき,探索行動にかける労力が増える ### 結果? - 病院タスク - ○:クリティカルな領域のため,入念に調べる - セッション時間・SERP閲覧時間・ページ閲覧時間の項目にて,病院タスクの方が,ホテルタスクよりも時間をかける傾向にある. - すなわち,労力をかける=入念に調べていると言えそうである. - ✗:損失を感じさせる観点を表示するUI(InvCorrUI)による,探索行動への影響が小さい - ✗:損失を感じさせる観点を表示するUI(InvCorrUI)を利用しても,レビュースコアに頼って意思決定をしてしまう - ホテルタスク - ○:クリティカルな領域ではないため,病院よりは入念に調べない - ✗:損失を感じさせる観点を表示するUI(InvCorrUI)による,探索行動への影響が大きい ### 結果 --- - セッション時間 - 病院タスクとホテルタスク間のUIの差 - 全てのUIにて,病院タスクの場合の方が長い傾向にある - 病院というドメインの影響に依る可能性? - 病院タスク内のUIの差 - NoneUIが最もセッション時間の中央値が大きい(253.5) - InvCorrUIが2番目にセッション時間の中央値が大きい(234.25) - なぜ? - ホテルタスク内のUIの差 - BothUIが最もセッション時間の中央値が大きい(204.25) - InvCorrUIが最もセッション時間の中央値が小さい(174.25) - なぜ? --- - SERP閲覧時間 - 病院タスクとホテルタスク間のUIの差 - NoneUI以外のUIにて,病院タスクのほうが閲覧時間が長い - 病院ドメインの影響によって,かけた時間が長くなった? - 病院タスク内のUIの差 - BothUIが最もSERP閲覧時間の中央値が大きい(56.0) - NoneUIが最もSERP閲覧時間の中央値が小さい(41.5) - 病院タスクのセッション時間が最も長かったUIはNoneUIである. - それにも関わらず,NoneUIのSERP閲覧時間は最も小さい. - NoneUIは観点が表示されないため,観点が表示されているUIよりもSERP閲覧時間は短くなる傾向にある? - 情報量の少ないSERP閲覧時間は下がり,情報を得るために詳細ページを見る時間が増えていると考えられる. - これは逆に言えば,観点を表示した場合,その観点に引きづられて詳細ページを見ない傾向にある? - これはページ閲覧時間を見れば分かるはず - ホテルタスク内のUIの差 - InvCorrUIがホテルタスクの中で最も長い - 病院の場合と違うので,ホテルというドメインの影響? - 病院の場合はBothUIとNoneUIの間で,中央値が10以上開いた差があったが,ホテルの場合その2つのUIに差がない - なぜ? --- - ページ閲覧時間(中央値) - 病院タスクとホテルタスク間のUIの差 - total_duration - 全体的に病院タスクの方が,ページ閲覧時間が長い傾向にある - avg_duration - 大きな差・差の傾向は見られない  - max_duration - 病院タスク内のUIの差 - total_duration - NoneUIのページ閲覧時間が最も大きい(次に大きいCorrUIの179.50と比較して,-34.5) - やはりSERPの観点表示が無いため,詳細ページを長く読み込んでいる? - unique_pageview - NoneUIのユニークページビュー数が他のものと比較して最も大きい - 観点表示がある場合より,多くページを閲覧している? - ホテルタスク内のUIの差 - total_page_duration - UI間にて大きな差は見られないが,若干InvCorrUIのページ閲覧時間が短い傾向にある? --- - 最初に閲覧する文書を選ぶのにかけた時間 - 病院タスクとホテルタスク間のUIの差 - あまり大きな差は無いように見える - なぜ? - 病院タスク内のUIの差 - ホテルタスク内のUIの差 - NoneUI以外のUIの場合,病院の方が長い傾向にある - 病院ドメインの影響によって,SERP上に表示した観点を眺める時間が伸びた? --- - ページ閲覧数 - 病院タスクとホテルタスク間のUIの差 - 全てのUIにて病院の方が若干数多い - 病院ドメインの影響によって,クリック回数が増えた傾向 - 病院タスク内のUIの差 - NoneUIが一番多く見える - InvCorrUIが最もクリック回数が少ない - なぜ?損失回避バイアスが有効ではない?損失を感じさせた場合,逆にすぐに決断するのか? - ホテルタスク内のUIの差 - 大きな差は無いように見えるが,uniqueでない場合,BothUIが最もクリック回数が多い. --- - クリック深度 - 病院タスクとホテルタスク間のUIの差 - 病院タスク内のUIの差 - 病院タスク内で,最もクリック深度が深いのはBothUIであり,クリック深度が浅いのはInvCorrUI - ホテルタスク内のUIの差 - ホテルタスク内で,最もクリック深度が深いのは,CorrUI&NoneUIであり,クリック深度が浅いのはInvCorrUIである - なぜInvCorrUIのクリック深度が浅い傾向にあるのか? - 損失回避バイアスが狙いと逆の影響を与えている? - もっとも深く調べてほしいのに,損失回避バイアスを出すと,ユーザは星に頼ろうとする?(=>リストはレビュースコアの降順なので,深度が浅いものはレビュースコアが高い) --- - 最終決定したアイテムの評価スコア - 病院タスクとホテルタスク間のUIの差 - ホテル・病院の両方にて,UI上の大きな差がない - 病院タスク内・ホテルタスク内で,InvCorrUIの場合にレビュースコアが低くなれば,「レビュースコアの低い情報も閲覧し,最終的にそれを決定する頻度が高くなっている」と考えられそうであったが,その結果にはなっていない - 病院タスク内のUIの差 - 特に大きな差がないように見える - なぜ? - ホテルタスク内のUIの差 - 特に大きな差がないように見える - なぜ? --- - アンケート ## 2.実験協力者へのタスク説明方法の修正 実験協力者が「タスク内の情報を把握し,適切にタスクをこなせる状態」にするには,何を改善すればよいか? ### 画像と改善点  ![/start](https://i.imgur.com/2ukWWz7.png) - 実験の説明ページ(/start) - [ ] 観点表示の説明追加 - [ ] 説明画像の中が見づらいのでサイズを大きくする --- ![/tasks/xxx](https://i.imgur.com/kx9qB0e.png) - タスク内容の説明ページ(/tasks/xxx) - [ ] 「画面下部の表示について」の画像内の文字が小さい - [ ] 強調箇所を追加する ## ✅ 3.実験システムで表示する検索結果リスト 実際のサイト(caloo, じゃらん)に近づけながら,タスク間の差を無くすにはどうすればよいか? 出した結論:じゃらんとcalooの実サイトの共通項目を表示する ### 検索結果リストで表示した情報 - ホテルタスク - ホテル名 - レビュースコア - キャプション - 観点 - 病院タスク - 病院名 - レビュースコア - 住所 - 専門領域(呼吸器外科など) - 観点 ### 比較 - 完全に同じにするのは,「本家をスクショ+観点を画像に追加する」以外に実現不可能 - ![じゃらん](https://i.imgur.com/cCKLC2G.png) - ![caloo](https://i.imgur.com/dVp1C0J.png) 共通箇所 - 名前 - 画像があること - エリア - キャプション(説明) - 予約ボタン(?) ## 4. アンケート項目の再考 ### 改善点 - 〇〇の点で,観点の表示は有用でしたか?