Skocz do linków, Skocz do treści

Comparative Usability Evaluation – jak to robią najlepsi?

3 marca 2008 0:13. Autor: Robert Drózd. Bez komentarzy »

Jak pisać raporty z testów użyteczności? Jak powinien wyglądać raport z analizy eksperckiej i jak opisywać znalezione problemy? Dobrze by było podejrzeć, jak to robią najlepsi specjaliści z tej dziedziny. Jest to możliwe!

Chciałbym napisać dziś o projekcie Comparative Usability Evaluation, który w Polsce jest praktycznie nieznany, a szkoda, bo można się z niego bardzo dużo nauczyć.

Sprawcą zamieszania jest Ralf Molich, szef duńskiej firmy konsultingowej Dialog Design i bliski współpracownik Jakoba Nielsena. Założenia projektu były bardzo proste:

  1. Weźmy stronę internetową.
  2. Weźmy kilkanaście zespołów specjalistów ds. użyteczności.
  3. Poprośmy ich o przeprowadzenie oceny serwisu – i niech każdy zrobi to według własnej metody, z udziałem użytkowników lub bez nich.
  4. Porównajmy raporty.

Celem sesji CUE jest ocena, na ile różni specjaliści i różne metody są w stanie dać zbliżone rezultaty. Które metody są lepsze? No i wreszcie – jak wyglądają zastosowania konkretnych metod badawczych, pozbawione upiększeń marketingowych? Chyba najwięcej się uczą uczestnicy takich spotkań, bo widzą jak na dłoni wady i zalety „swojego” podejścia.

Pierwsza sesja CUE odbyła się 10 lat temu i do tej pory przeprowadzono sześć kolejnych:

  • CUE-1 – Cztery zespoły oceniły program „Task timer” dla Windows (1998)
  • CUE-2 – 9 zespołów przetestowało stronę Hotmaila (1998)
  • CUE-3 – 12 zespołów (z Danii) oceniło serwis www.avis.com (2001)
  • CUE-4 – 17 zespołów (z całego świata) oceniło serwis www.hotelpenn.com (2003)
  • CUE-5 – 13 zespołów oceniło funkcję planera w serwisie www.ikea-usa.com (2005)
  • CUE-6 – 13 zespołów oceniło kilka funkcji serwisu Enterprise Rent-a-Car (2006)

Pierwsze trzy warsztaty były częściowo amatorskie, ich uczestnicy trochę z przypadku, a raporty częściowo po duńsku. Trzy ostatnie to już inna bajka i na nich warto się skupić.

CUE-4 został zorganizowany przy okazji konferencji CHI 2003 i był już w całości anglojęzyczny. Pomysł przyciągnął największe firmy i najbardziej znanych specjalistów. Wzięły w nim udział zespoły z Sun, Microsoft, Oracle, Macromedia. Byli także znani eksperci jak Steve Krug (autor „Nie każ mi myśleć”) i Carolyn Snyder (autorka książki „Paper Prototyping”). Ponadto silne reprezentacje wysłały uniwersytety.

Podobnie wyglądał skład CUE-5 i CUE-6, choć tutaj listy uczestników nie podano publicznie.

Zwykle połowa raportów powstaje w wyniku testów na użytkownikach, a połowa – analiz eksperckich. Przy czym skala badań się różni. Czasami jest trzech badanych, czasami trzynastu. Podobnie w przypadku ekspertów: zwykle kilku, ale zdarzyły się też raporty przygotowane przez jedną osobę.

Po tym wstępie zapraszam do … lektury! Tak, bowiem większość raportów, które przygotowali uczestnicy CUE dostępna jest do ściągnięcia na stronie projektu.

Możemy sami się przekonać, jak wygląda praca najlepszych specjalistów z tej branży. Polecam.

Kilka spraw, które mogą być pomocne:

  • Raportów z CUE-5 niestety nie udostępniono publicznie.
  • Raporty są w pełni anonimowe. Dlatego nie dowiemy się, za którym stoi Krug, a za którym Oracle. Mamy za to Team A, Team B, Team C itd. Są to informacje dostępne tylko dla uczestników, być może też w jakiejś opcji płatnej.
  • Na stronie są też częściowe analizy i wnioski z warsztatów – niestety tylko CUE-4. O wnioskach napiszę wkrótce, bo mogą być one lekko szokujące. :-)
  • Zbiory raportów z CUE-4 i 6 mają po 350 stron, nie warto tego czytać w całości, ale skupiać się na tym co nas zainteresuje. Na co warto zwracać uwagę przy lekturze?
    • Struktura raportów – które raporty czyta się łatwiej?
    • Stosowana metodyka – niektórzy zdradzają nawet liczbę osobogodzin!
    • Opisy testów i wywiadów – jak szczegółowe?
    • Tabelki z wyliczonymi problemami – jak opisywane są błędy?
    • W jaki sposób autorzy formułują rekomendacje?
    • Spartański wygląd raportów to chyba efekt wymuszonej standaryzacji i nie warto się tym przejmować.

Ciekaw jestem Waszej opinii na temat raportów CUE oraz ich przydatności do nauki badania użyteczności.

Podobne artykuły:

Być może zainteresują Cię następujące artykuły:

Zapisz się na kanał RSS bloga i dołącz do ponad 1500 czytelników RSS.

Zostań fanem WebAudit na Facebooku.

Brak komentarzy (na razie)

Śledź komentarze do tego artykułu: format RSS

Zostaw komentarz

W komentarzu można (choć nie trzeba) używać podstawowych znaczników XHTML. Komentarze zawierające w podpisie słowa kluczowe mogą zostać potraktowane jako spam i usunięte.