WebAudit Blog

Napisałem parę dni temu o projekcie Comparative Usability Evaluation. W jego ramach różne zespoły robią jednocześnie analizę jednego produktu, a potem się te analizy porównuje. Teraz trochę na temat wyników badania CUE-4, z którego raporty mogliście obejrzeć.

W badaniu CUE-4 brało udział 17 zespołów, które analizowały stronę nowojorskiego hotelu. Po zebraniu ich raportów okazało się, że zgłoszono aż 340 różnych problemów użyteczności.

Co więcej – każdy zespół znalazł inne błędy. Jedynie 9 tych samych problemów było zgłoszonych przez ponad połowę zespołów, natomiast aż 205 (60%) miało charakter unikalny, co oznacza, że żaden inny zespół nie zgłosił takiego problemu.

Jednak najważniejsza sprawa wynikająca z raportu dotyczy różnych metod oceny użyteczności. Przypominam, że połowa zespołów przeprowadzała testy na użytkownikach, a połowa – analizy eksperckie.

Wniosek ten może być zaskakujący i aby uniknąć podejrzeń o złe tłumaczenie, zacytuję oryginał:

There was no practical difference between the results obtained from usability testing and expert reviews for the issues identified. It was not possible to prove the existence of either missed problems or false alarms in expert reviews.

Nie było praktycznych różnic między wynikami pochodzącymi z testów użyteczności oraz przeglądów eksperckich (bez udziału użytkowników). Nie wykazano, że przeglądy eksperckie pomijają ważne problemy, lub sygnalizują ?fałszywe alarmy?.

Inne wnioski z tego eksperymentu:

• Testy użyteczności nie są ?złotym standardem?, do którego należy przyrównywać wszystkie inne metody. Badanie pokazało, że testy ? podobnie jak inne metody ? mogą pomijać pewne problemy, nawet te krytyczne. Analizy eksperckie wykonywane przez doświadczonych specjalistów mogą być porównywalne do testów użyteczności.
• Specjaliści od użyteczności przeprowadzając badania niezależnie od siebie mogą znaleźć setki problemów, nawet przy bardzo prostym produkcie. Mimo to, wiele z tych problemów będzie poważnych lub nawet krytycznych.
• Uwaga jednak na nadwrażliwość! To zaskakujące, że stosunkowo mała strona może mieć aż tyle problemów użyteczności. Gdyby to wszystko się liczyło, kto w ogóle mógłby z takiej strony korzystać?! Zdarza się często, że autorzy raportów przesadzają. Dlatego należy się skupić na tych istotnych problemach i obowiązkowo oceniać ważność problemu.
  • Komentarz RD: w badaniu CUE-6 poza priorytetem starano się też ocenić koszt poprawienia problemu i jego wpływ na ROI. Raport nie potwierdza też tego, co jako prawda objawiona nauczane jest przez Nielsena. Przetestowanie np. 10 użytkowników nie da nam 90% wszystkich istniejących błędów. Jeśli przetestujemy następnych dziesięciu, dojdą dalsze błędy.
  • Warto też jednak zauważyć, że nie wiemy jak te błędy klasyfikowano. Może to zrobiono zbyt drobiazgowo? Może jest tak, że dwa błędy opisane jako różne dotyczą tak naprawdę tego samego – tylko opis jest inny.
    
• Nie musimy znaleźć „wszystkich” problemów. Naturalnym jest, że im dłużej badamy serwis, albo im większą liczbę użytkowników przetestujemy, tym więcej problemów będzie. Najlepiej wybrać to co najważniejsze, a pominąć rzeczy, które mogą np. denerwować niektórych użytkowników, ale nie warto ich poprawiać. Szczególnie, jeśli mamy mało czasu na raport ? lepiej się skupić na produktywności, a nie ilości. Niektóre zespoły z CUE-4 przygotowały kompletny raport w mniej niż 30 roboczogodzin (to bardzo mało).
• Fałszywe alarmy nie są problemem, choć taka fama krąży wokół analiz eksperckich. Na 340 problemów zgłoszonych przez 17 zespołów tylko kilka zostało ?oskarżonych? o to że są fałszywe tzn wymyślone. Jednak po dyskusji między zespołami stwierdzono, że wszystkie mają uzasadnienie.
  • Komentarz RD: problem może być ?fałszywy?, jeśli jest niewystarczająco i niezrozumiale opisany, szczególnie gdy źle opisany został kontekst w jakim występuje, albo jego przyczyna. Duże wtedy ryzyko, ze dojdziemy do fałszywych wniosków.
• Należy poprawić schematy klasyfikacji uwag nt. użyteczności. Czasami raport jest ?strumieniem? różnych uwag i zgłoszonych problemów. Autorom trudno nad tym zapanować, a odbiorcom trudno to czytać.

Do pobrania ze stron DialogDesign.dk: podsumowanie badania CUE-4 (PDF).