WebAudit Blog

Jak pisać raporty z testów użyteczności? Jak powinien wyglądać raport z analizy eksperckiej i jak opisywać znalezione problemy? Dobrze by było podejrzeć, jak to robią najlepsi specjaliści z tej dziedziny. Jest to możliwe!

Chciałbym napisać dziś o projekcie Comparative Usability Evaluation, który w Polsce jest praktycznie nieznany, a szkoda, bo można się z niego bardzo dużo nauczyć.

Sprawcą zamieszania jest Ralf Molich, szef duńskiej firmy konsultingowej Dialog Design i bliski współpracownik Jakoba Nielsena. Założenia projektu były bardzo proste:

1. Weźmy stronę internetową.
2. Weźmy kilkanaście zespołów specjalistów ds. użyteczności.
3. Poprośmy ich o przeprowadzenie oceny serwisu – i niech każdy zrobi to według własnej metody, z udziałem użytkowników lub bez nich.
4. Porównajmy raporty.

Celem sesji CUE jest ocena, na ile różni specjaliści i różne metody są w stanie dać zbliżone rezultaty. Które metody są lepsze? No i wreszcie – jak wyglądają zastosowania konkretnych metod badawczych, pozbawione upiększeń marketingowych? Chyba najwięcej się uczą uczestnicy takich spotkań, bo widzą jak na dłoni wady i zalety „swojego” podejścia.

Pierwsza sesja CUE odbyła się 10 lat temu i do tej pory przeprowadzono sześć kolejnych:

• CUE-1 – Cztery zespoły oceniły program „Task timer” dla Windows (1998)
• CUE-2 – 9 zespołów przetestowało stronę Hotmaila (1998)
• CUE-3 – 12 zespołów (z Danii) oceniło serwis www.avis.com (2001)
• CUE-4 – 17 zespołów (z całego świata) oceniło serwis www.hotelpenn.com (2003)
• CUE-5 – 13 zespołów oceniło funkcję planera w serwisie www.ikea-usa.com (2005)
• CUE-6 – 13 zespołów oceniło kilka funkcji serwisu Enterprise Rent-a-Car (2006)

Pierwsze trzy warsztaty były częściowo amatorskie, ich uczestnicy trochę z przypadku, a raporty częściowo po duńsku. Trzy ostatnie to już inna bajka i na nich warto się skupić.

CUE-4 został zorganizowany przy okazji konferencji CHI 2003 i był już w całości anglojęzyczny. Pomysł przyciągnął największe firmy i najbardziej znanych specjalistów. Wzięły w nim udział zespoły z Sun, Microsoft, Oracle, Macromedia. Byli także znani eksperci jak Steve Krug (autor „Nie każ mi myśleć”) i Carolyn Snyder (autorka książki „Paper Prototyping”). Ponadto silne reprezentacje wysłały uniwersytety.

Podobnie wyglądał skład CUE-5 i CUE-6, choć tutaj listy uczestników nie podano publicznie.

Zwykle połowa raportów powstaje w wyniku testów na użytkownikach, a połowa – analiz eksperckich. Przy czym skala badań się różni. Czasami jest trzech badanych, czasami trzynastu. Podobnie w przypadku ekspertów: zwykle kilku, ale zdarzyły się też raporty przygotowane przez jedną osobę.

Po tym wstępie zapraszam do … lektury! Tak, bowiem większość raportów, które przygotowali uczestnicy CUE dostępna jest do ściągnięcia na stronie projektu.

Możemy sami się przekonać, jak wygląda praca najlepszych specjalistów z tej branży. Polecam.

• Strona projektu
• Raporty z CUE-4 (PDF, 3 MB)
• Raporty z CUE-6 (PDF, 8 MB)

Kilka spraw, które mogą być pomocne:

• Raportów z CUE-5 niestety nie udostępniono publicznie.
• Raporty są w pełni anonimowe. Dlatego nie dowiemy się, za którym stoi Krug, a za którym Oracle. Mamy za to Team A, Team B, Team C itd. Są to informacje dostępne tylko dla uczestników, być może też w jakiejś opcji płatnej.
• Na stronie są też częściowe analizy i wnioski z warsztatów – niestety tylko CUE-4. O wnioskach napiszę wkrótce, bo mogą być one lekko szokujące. :-)
• Zbiory raportów z CUE-4 i 6 mają po 350 stron, nie warto tego czytać w całości, ale skupiać się na tym co nas zainteresuje. Na co warto zwracać uwagę przy lekturze?
  • Struktura raportów – które raporty czyta się łatwiej?
  • Stosowana metodyka – niektórzy zdradzają nawet liczbę osobogodzin!
  • Opisy testów i wywiadów – jak szczegółowe?
  • Tabelki z wyliczonymi problemami – jak opisywane są błędy?
  • W jaki sposób autorzy formułują rekomendacje?
  • Spartański wygląd raportów to chyba efekt wymuszonej standaryzacji i nie warto się tym przejmować.

Ciekaw jestem Waszej opinii na temat raportów CUE oraz ich przydatności do nauki badania użyteczności.