Skocz do linków, Skocz do treści

CUE-4: Czy analizy eksperckie są tak dobre jak testy?

10 marca 2008 6:18. Autor: Robert Drózd. 6 komentarzy

Napisałem parę dni temu o projekcie Comparative Usability Evaluation. W jego ramach różne zespoły robią jednocześnie analizę jednego produktu, a potem się te analizy porównuje. Teraz trochę na temat wyników badania CUE-4, z którego raporty mogliście obejrzeć.

W badaniu CUE-4 brało udział 17 zespołów, które analizowały stronę nowojorskiego hotelu. Po zebraniu ich raportów okazało się, że zgłoszono aż 340 różnych problemów użyteczności.

Co więcej – każdy zespół znalazł inne błędy. Jedynie 9 tych samych problemów było zgłoszonych przez ponad połowę zespołów, natomiast aż 205 (60%) miało charakter unikalny, co oznacza, że żaden inny zespół nie zgłosił takiego problemu.

Jednak najważniejsza sprawa wynikająca z raportu dotyczy różnych metod oceny użyteczności. Przypominam, że połowa zespołów przeprowadzała testy na użytkownikach, a połowa – analizy eksperckie.

Wniosek ten może być zaskakujący i aby uniknąć podejrzeń o złe tłumaczenie, zacytuję oryginał:

There was no practical difference between the results obtained from usability testing and expert reviews for the issues identified. It was not possible to prove the existence of either missed problems or false alarms in expert reviews.

Nie było praktycznych różnic między wynikami pochodzącymi z testów użyteczności oraz przeglądów eksperckich (bez udziału użytkowników). Nie wykazano, że przeglądy eksperckie pomijają ważne problemy, lub sygnalizują ?fałszywe alarmy?.

Inne wnioski z tego eksperymentu:

  • Testy użyteczności nie są ?złotym standardem?, do którego należy przyrównywać wszystkie inne metody. Badanie pokazało, że testy ? podobnie jak inne metody ? mogą pomijać pewne problemy, nawet te krytyczne. Analizy eksperckie wykonywane przez doświadczonych specjalistów mogą być porównywalne do testów użyteczności.
  • Specjaliści od użyteczności przeprowadzając badania niezależnie od siebie mogą znaleźć setki problemów, nawet przy bardzo prostym produkcie. Mimo to, wiele z tych problemów będzie poważnych lub nawet krytycznych.
  • Uwaga jednak na nadwrażliwość! To zaskakujące, że stosunkowo mała strona może mieć aż tyle problemów użyteczności. Gdyby to wszystko się liczyło, kto w ogóle mógłby z takiej strony korzystać?! Zdarza się często, że autorzy raportów przesadzają. Dlatego należy się skupić na tych istotnych problemach i obowiązkowo oceniać ważność problemu.
    • Komentarz RD: w badaniu CUE-6 poza priorytetem starano się też ocenić koszt poprawienia problemu i jego wpływ na ROI. Raport nie potwierdza też tego, co jako prawda objawiona nauczane jest przez Nielsena. Przetestowanie np. 10 użytkowników nie da nam 90% wszystkich istniejących błędów. Jeśli przetestujemy następnych dziesięciu, dojdą dalsze błędy.
    • Warto też jednak zauważyć, że nie wiemy jak te błędy klasyfikowano. Może to zrobiono zbyt drobiazgowo? Może jest tak, że dwa błędy opisane jako różne dotyczą tak naprawdę tego samego – tylko opis jest inny.
  • Nie musimy znaleźć „wszystkich” problemów. Naturalnym jest, że im dłużej badamy serwis, albo im większą liczbę użytkowników przetestujemy, tym więcej problemów będzie. Najlepiej wybrać to co najważniejsze, a pominąć rzeczy, które mogą np. denerwować niektórych użytkowników, ale nie warto ich poprawiać. Szczególnie, jeśli mamy mało czasu na raport ? lepiej się skupić na produktywności, a nie ilości. Niektóre zespoły z CUE-4 przygotowały kompletny raport w mniej niż 30 roboczogodzin (to bardzo mało).
  • Fałszywe alarmy nie są problemem, choć taka fama krąży wokół analiz eksperckich. Na 340 problemów zgłoszonych przez 17 zespołów tylko kilka zostało ?oskarżonych? o to że są fałszywe tzn wymyślone. Jednak po dyskusji między zespołami stwierdzono, że wszystkie mają uzasadnienie.
    • Komentarz RD: problem może być ?fałszywy?, jeśli jest niewystarczająco i niezrozumiale opisany, szczególnie gdy źle opisany został kontekst w jakim występuje, albo jego przyczyna. Duże wtedy ryzyko, ze dojdziemy do fałszywych wniosków.
  • Należy poprawić schematy klasyfikacji uwag nt. użyteczności. Czasami raport jest ?strumieniem? różnych uwag i zgłoszonych problemów. Autorom trudno nad tym zapanować, a odbiorcom trudno to czytać.

Do pobrania ze stron DialogDesign.dk: podsumowanie badania CUE-4 (PDF).

Podobne artykuły:

Być może zainteresują Cię następujące artykuły:

Zapisz się na kanał RSS bloga i dołącz do ponad 1500 czytelników RSS.

Zostań fanem WebAudit na Facebooku.

Komentarze czytelników

Śledź komentarze do tego artykułu: format RSS
  1. Bartłomiej Dymecki

    Świetny tekst Robercie :) Nie wgłębiałem się w CUE-4 aż tak mocno i nie musiałem ominąć informacje o testach eksperckich. W każdym razie to mi tylko potwierdza to, co wiem już od dłuższego czasu.

  2. Tomek Karwatka

    Bardzo ciekawe opracowanie, właśnie jestem w trakcie czytania źródła. Wydaje się, że główną przewagą w testach z użykownikami są: 1) Testowanie całego procesu i jego płynności, 2) Łatwość ustalania priorytetów. Ważne jest też co się bada. Na prostej stronie łatwo znaleźć „błędy”, na serwisie dopracowywanym od lat nie jest to tak oczywiste. Trzeba pamiętać, że celem poprawy usability nie jest poprawa usability ale polepszenie skutecznosci strony w realizowaniu celu biznesowego.

  3. Mateusz Kowalski

    Strona nie musi być ładna… Strona powinna być dochodowa.

Komentarze z innych blogów

  1. Marketing w wyszukiwarkach i Internecie - warto przeczytać

    […] CUE-4: Czy analizy eksperckie są tak dobre jak testy? – ciekawy artykuł Roberta Drózda na temat analiz eksperckich i testów użyteczności. […]

  2. Testy użyteczności - metoda czy rezultat? | Dymecki.pl

    […] Istnieją konkretniejsze dowody na to, że nie metoda jest ważna o czym można poczytać na blogu Roberta. […]

  3. Raport z UPA2010 na interaktywnie.com : UX Labs

    […] z konferencji UPA 2010 International Conference. Dowiecie się, czy wg uczestników konferencji nadal “Analiza eksperska dostarcza wyników równie niezawodnych jak testy użyteczności”, […]

Zostaw komentarz

W komentarzu można (choć nie trzeba) używać podstawowych znaczników XHTML. Komentarze zawierające w podpisie słowa kluczowe mogą zostać potraktowane jako spam i usunięte.