WebAudit Blog

Spędziłem w ostatni piątek pięć godzin na konferencji Neuro-Usability Workshop zorganizowanej w warszawskim hotelu Kyriad Prestige. Ze wszystkich ostatnich spotkań na temat użyteczności miała ona szansę być najbardziej udanym. A czy była? O tym za chwilę.

(zdjęcia i film nagrane komórką, autorstwa ^ndemi i zaczerpnięte z Blipa)

Spotkanie miało konkretny cel – promować wspólną inicjatywę dwóch firm, Neuralia i Yuux, które wkroczyły na polski rynek badań użyteczności. Zwykle gdy mówi się o niej w kontekście PR-owym, mamy orędzia dla narodu głoszące, jaka ta użyteczność jest wspaniała. Wystarczy obejrzeć jedno takie orędzie, aby mieć pojęcie o wszystkich.

Tymczasem organizatorzy, postanowili rozpocząć odmiennie i bardzo ambitnie. Po pierwsze, temat warsztatów (tak, warsztatów!) nie był taki „podstawowy”. Po drugie, jako jedni z pierwszych w Europie samodzielnie przeprowadzili badania z wykorzystaniem różnych zaawansowanych metod i postanowili podzielić się ich wynikami.

Trzeba to docenić. Inne firmy w tej branży prezentując się na konferencjach opowiadają o badaniach na 5 osobach, które miały wykonać 20 scenariuszy w 30 minut. Tutaj mieliśmy badanie na osobach sześćdziesięciu, gdzie nie trzeba było uciekać od pytań o istotność statystyczną.

A cóż to za neuro-określenia?

Cytując stronę Neuralii (skopiowaną swoją drogą na Wikipedię) :

Neuromarketing to wykorzystanie narzędzi pomiarowych stosowanych w naukowych badaniach psychofizjologicznych oraz wiedzy o zachowaniach człowieka, w procesie optymalizacji bodźców marketingowych.

Co ma to wspólnego z użytecznością? Te narzędzia można wykorzystać także przy klasycznych badaniach użyteczności. Przykłady:

• badanie galwanicznej reakcji skóry (GSR)
• badanie ekspresji mięśni twarzy (EMG)
• badanie fal mózgowych

To ostatnie poprzez opis procedury – peeling – żel – elektrody na głowę budziło chyba największe zainteresowanie publiki. :-)

Badacze wykorzystują też klasyczne już niemal technologie eyetrackingowe.

Poza tym posłuchaliśmy o wielu metodach, które wprawdzie są… ale ich stosowanie do badań byłoby zbyt kosztowne i nieuzasadnione.

Po co stosować neuronauki? Podstawowy powód: aby poznać co użytkownik naprawdę czuje podczas interakcji z produktem. Twarz dla postronnego obserwatora może pozostać kamienna, ale precyzyjne narzędzia będą w stanie zarejestrować nagłe zdziwienie czy irytację.

Wstęp do wstępu do wstępu do wstępu

Zanim jednak zobaczyliśmy jak te narzędzia wypadają w praktyce,  posłuchaliśmy długiego wstępu. Zdecydowanie za długiego.

Najpierw ogólnie o neuronaukach i podanych wyżej metodach. Muszę podkreślić, że zabawnie i wciągająco. To myślę, konieczny wstęp dla laików.

Potem kolejna ciekawa prezentacja Wiesława Bartkowskiego z SWPS poświęcona użyteczności, ale na wyższym poziomie niż np. miało to miejsce na spotkaniu Making Waves. Prelegent skupił się na określeniu przydatności, zaletach i wadach różnych podejść do badań.

Bardzo cenna uwaga, z którą się zgadzam: często zaawansowane testy nie mają po prostu racji bytu. Nielsen twierdzi („takie rozne sumy z sufitu, jak to u Nielsena”), że pięć badanych osób trafi na 90% problemów użyteczności – ale czy to będą na pewno najważniejsze problemy? I czy tych samych błędów nie znajdą eksperci?

Bartkowski dzielił się doświadczeniem jednej z chyba australijskich uczelni – gdy zaczęli robić badania dla biznesu, stwierdzili że nie mają czego pokazać studentom, bo wiele z nich nie spełniało rygorów metodologicznych.

Potem przerwa, na której stwierdzamy, że wstępy nie były złe (choć niektórzy narzekali), ale może teraz jakieś konkrety. Po przerwie konkretów nie było.

Kolejny wstęp do tego jak użyteczność i marketing zyskają po wprowadzeniu tam nauki: „nowa era wielowymiarowych badan” itd. Nie było to nudne, polecam np. odtworzony wtedy film o focusach w erze jaskiniowców. :-)

Wreszcie wyniki

Ale gdzie te konkrety? Mija trzecia godzina konferencji, wreszcie będzie o badaniu. Okazało się, że wnioski z badania otrzymali dzień wcześniej, czyli pewnie prezentacja była robiona na ostatnią chwilę. I to niestety było widać.

Badanie przeprowadzono na Merlinie i Empiku. Badanie preferencji wobec marki, test użyteczności na kilku zadaniach oraz kwestionariusz System Usability Scale, o którym niestety nie było chyba ani słowa, a szkoda, bo to bardzo proste, podobno skuteczne, a niedoceniane narzędzie.

Badanie preferencji wobec obu marek przeprowadzono przed i po badaniu. Różnic statystycznie istotnych nie było, a w każdym przypadku wygrywał, co nas trochę zdziwiło – Empik. Pojawiły się od razu z sali uwagi metodologiczne – że porównywanie marek o zupełnie innych tradycjach nie ma sensu, że nie wiadomo jakie było doświadczenie badanych studentów z każdą z marek (do Empiku pewnie chodzą poczytać książki) itd. Pomijam to.

Fragment tego wystąpienia, niestety dość słabo słyszalny:

Potem test użyteczności. Zadający znacznie więcej pytań niż odpowiedzi.

Dowiedzieliśmy się na przykład, że w Merlinie przypadało 0,15 błędu na zadanie, a w Empiku 0,26 błędu. Rozumiem to tak, że w każdym zadaniu błąd popełniała co szósta osoba w Merlinie i co czwarta w Empiku. To są bardzo dobre wyniki, tak dobre, że każą pytać o definicję błędu – a było to według prowadzących zejście z przewidywanej ścieżki realizacji zadania. Moim zdaniem taka definicja pomija wiele sytuacji, które też wpływają na użyteczność, przecież nie zawsze trzeba źle kliknąć, można np. zastanawiać się przez dwie minuty o co właściwie chodzi.

I tym dziwniejsza była inna statystyka – w Merlinie czas wykonania zadań był przeciętnie o 1/2 dłuższy niż w Empiku. Coś tu jest nie w porządku. Prelegent wyjaśniał, że nawet jeśli w zadaniach nie popełniano błędów, to dużo czasu zajmowało czytanie stron i wyszukiwanie informacji.

Wnioski z badania były następujące:

Za mało? Niejasne? Owszem.

Neurobalonik?

Gdy podczas prezentacji wyników doszliśmy – wreszcie! – do technik neuronaukowych, na sali rozpętała się burza. Okazało się, że z szumnych zapowiedzi niewiele pozostało.

Po pierwsze – obejrzeliśmy standardowe obrazki z eyetrackingu.

Po drugie – bardzo proste interpretacje napięcia trzech mięśni twarzy. Bardzo proste – jeśli na wykresie użytkownicy unosili brwi, znaczy że coś ich zdziwiło lub zirytowało. Wahania napięcia innego mięśnia świadczyć ma o zadowoleniu z wypełniania zadania.

Te interpretacje zostały mocno podważone przez obecnych na sali marketingowców i psychologów. Wniosek, co do którego byliśmy na pokonferencyjnym obiedzie – nie będą przydatne badania, które mówią dokładnie to samo, co jesteśmy w stanie stwierdzić obserwując mimikę na nagraniach z testów.

Po trzecie – a po trzecie, żadnych innych badań nie pokazano. Czy te elektrody do czegoś się przydały? Nie wiadomo.

Podziwiam zresztą szczerość prowadzących, którzy w odpowiedzi na pytanie z sali stwierdzili, że nie wiedzą czy te badania mogą się przyczynić do poprawy sprzedaży. Same badania rzeczywiście nie, wniosków z nich wielu też nie było.

Gorzej, że w zasadzie trudno było zrozumieć, co miało być celem badania. Jedna z osób prowadzących mówiła – jeśli dobrze pamiętam – że porównanie zmiany postawy wobec tych obu marek po interakcji z serwisami. Ale założenie, że pojedyncza sesja zmieni postawę (co jak wyżej podałem nie potwierdziło się) samo w sobie jest dyskusyjne. No, ale jeśli chcemy badać takie rzeczy, po co te wszystkie neuronarzędzia?

Być może jestem zbyt sceptyczny. Ale w prezentacji wyników po prostu zbyt mało pokazano. Prezentujący mówili np. o wykonywaniu jakiegoś zadania np. „złożenie zamówienia” i reakcjach psychofizjologicznych podczas tego zadania, ale samego zadania nie pokazali, choćby w postaci screenshotów. To też odnosi się do wspomnianych wyżej pomiarów. Jeśli zadanie trwa na przykład dwie minuty, musiało się sporo dziać podczas tego zadania, o czym nie wiemy.

Konferencja byłaby o wiele bardziej udana, gdyby po krótkim wstępie (1-1,5 godziny), od razu przystąpiono do przedstawiania wyników badań. I część teorii pokazano od razu na przykładach. Wtedy byłby też czas na dyskusję, która rozgorzała bardzo mocno i została wygaszona przez prowadzących, bo kończyła się właśnie 4 godzina spotkania. Wtedy zgodnie z nazwą byłyby to rzeczywiście warsztaty, uczestnicy dowiedzieliby się więcej od prowadzących – i na odwrót. :-)

Podsumowanie

Nie żałuję poświęconego czasu. Dowiedziałem się paru ciekawych rzeczy, z dziedziny która częściowo była dla mnie obca. Ale pozostało uczucie niedosytu. Na pytanie, czy przedstawione metody będą w najbliższym czasie przydatne w poprawie użyteczności konferencja odpowiedzi nie dała.

Gratuluję też podjęcia innowacyjnej tematyki i mam nadzieję, że obie firmy zdobędą więcej doświadczeń, za rok zaprezentują już znacznie bardziej przekonujące rezultaty. Trzymam kciuki. Dziękuję Pawłowi Haltofowi za przesłanie zaproszenia.