WebAudit Blog

Od niedawna mamy na polskim rynku dwie książki poświęcone testom A/B. Jedna raczej słaba, druga bardzo dobra. Z tego artykułu dowiesz się, którą warto kupić.

Krótko o testach A/B

Czym są testy A/B? W największym skrócie – jest to forma optymalizacji naszych serwisów:

1. Pokazujemy użytkownikom różne wersje pojedynczych elementów (np. nagłówków, grafik) albo wręcz całych stron.
2. Mierzymy konwersję dla różnych wersji i widzimy, które spisują się najlepiej.
3. Wykorzystanie prostych zasad statystycznych mówi nam, w którym momencie warto zaufać wynikom.

Testy wchodzą tam, gdzie nie wystarczy „zwykła” intuicja marketingowa. Często po prostu nie jesteśmy w stanie określić, co zadziała lepiej. Musimy postawić hipotezę i sprawdzić ją w teście.

Proste testy można wykonywać ręcznie z użyciem istniejących statystyk (np. Analytics). Do poważniejszych konieczne jest narzędzie, jak choćby darmowy Google Website Optimizer, który ułatwia tworzenie testów i załatwia też za nas dbanie o statystyki.

Strona docelowa. Optymalizacja, testy, konwersja

„Strona docelowa” to książka autorstwa Tima Asha, która wyszła w lipcu 2009 nakładem Helionu. Oryginalna wersja z 2008 nosi tytuł „Landing Page Optimization: The Definitive Guide to Testing and Tuning for Conversions”.

Wybraliśmy ją do omawiania na ostatnim Klubie Użytecznej Książki.

I co zabawne. Większość osób, która głosowała za książką …nie przyszła. Zacytuję koleżankę: „ta książka to koszmar”.

Niestety muszę się zgodzić. Oryginał angielski kupiłem ponad rok temu i … nie byłem w stanie się zmusić aby przejść dalej niż przez jedną czwartą. Teraz przed spotkaniem wreszcie się zmusiłem. I nie było warto.

Przez pierwsze kilka rozdziałów autor wyjaśnia zupełne podstawy marketingu oraz użyteczności, czasami odwoła się do jakiejś teorii (np. wzorce zachowania Myersa-Briggsa), ale chyba tylko po to, aby pokazać swoją erudycję. Cały rozdział poświęcony jest znanej formule AIDA (Attention – Interest – Desire – Action) i da się wyłowić parę ciekawych stwierdzeń („Zainteresowanie użytkownika jest jak motyl przysiadający na krótką chwilę na kwiatku” – no, ciekawych jak dla kogo), ale wszystko podlane niesamowitą ilością wody. Książka mogłaby być 3x krótsza, bez utraty wartości merytorycznej.

Brakuje przykładów. Książka jest do bólu teoretyczna i znajduje się w niej zaledwie kilka studiów przypadku. Chyba najważniejszy dylemat: czyli co konkretnie testować autor „załatwił” w przeciągu trzech stron.  Przy okazji udzielając rad bardzo dziwnych, np. że elementem testowym powinno być możliwość unikania błędów użyteczności. Błędy użyteczności należy usuwać, a nie testować czy większe prawdopodobieństwo błędu przyniesie niższą konwersję.

Boląca teoretyczność książki wynika z przyjętego założenia. Autor nie skupia się na szczegółowym rozwiązaniu technicznym (dopiero na końcu jest dodatek poświęcony Optimizerowi), a próbuje opisać ogólne zasady, które będą pasowały wszędzie. Jednak mniej więcej od połowy książki coraz częściej przewija się nazwa SiteTuners.com, które to narzędzie jest … własnością firmy autora. Kryptoreklama w kiepskim wydaniu.

Żeby nie być jednostronnym: jeśli ktoś nie miał zupełnie do czynienia z badaniami ilościowymi, statystyką, książka ma dwa (chyba najmocniejsze) rozdziały, w których wyjaśnia podstawy testów statystycznych, doboru próby i ostrzega przed błędami. Popularnym błędem jest według autora np. „test” sekwencyjny – najpierw puszczamy przez tydzień jedną wersję, potem przez tydzień drugą i porównujemy konwersje. Autor twierdzi, że wyniki są bardzo wrażliwe na wszystkie zewnętrzne zdarzenia, które mogą zmienić zachowanie użytkowników. Nie zgadzam się z tym tak do końca, jeśli np. widzimy że źródła ruchu i jego charakterystyka przez dwa kolejne tygodnie się nie zmieniła, możemy ufać wynikom takiego testu.

Przede wszystkim nie wiadomo dla kogo jest ta książka. Zawodowcy się wynudzą, a początkujący – no, bardzo początkujący myślę, że mogą się czegoś nauczyć. Ale największy problem polega na tym, że z książki nie można się dowiedzieć wiele o optymalizacji strony docelowej i nie da się z niej w zasadzie skorzystać gdy siedzimy i tworzymy testy.

Google Website Optimizer. Przewodnik

Przewodnik po Optimizerze ukazał się również nakładem Helionu w styczniu 2010. Jest to tłumaczenie pozycji „Always Be Testing: The Complete Guide to Google Website Optimizer” czwórki autorów (Bryan Eisenberg, John Quarto-von Tivadar, Brett Crosby, Lisa T. David).

Powiedziałbym, że w porównaniu z powyższą – niebo a ziemia.

Autorzy przyjęli dwa założenia:

1. Testy trzeba jakoś przeprowadzać, a że popularnym narzędziem jest Google Website Optimizer, to książka poświęcona jest przede wszystkim jemu. Inna sprawa, że w edycji angielskiej, którą mam, część się już zdezaktualizowała – np. inne są kody, które wklejamy na strony. Ale kody są nieistotne, bo te i tak pobierzemy przy zakładaniu testu. Liczy się myślenie, którego uczą.
2. Największa zaleta w stosunku do książki Asha. To co tam zajęło 3 strony, tutaj ma 120 stron. Część „Co testować”, złożona z krótkich rozdziałów przedstawiających różne elementy (np. znajdowalność, unikalna propozycja wartości, kategoryzacja, layout, prezentacja produktów). Co chwilę niemal znajdziemy pomysły, co może warto przetestować u nas.

Książka poza tym uczy nas interpretować wykresy Optimizera, jak stawiać hipotezy zerową i alternatywną, jak założyć test i jak go wpleść w cały proces optymalizacji serwisu. 300 stron (w wersji polskiej 400…) bardzo potrzebnej wiedzy.

I na tym bym skończył. Jest to pozycja mocno polecana dla każdego, kto myśli o podniesieniu skuteczności swojego serwisu, a szczególnie jeśli coś sprzedaje. Samo wymyślanie  przypadków testowych oraz w obserwacja różnych wariantów „uczy i bawi”. Jeśli test planowany jest zespołowo, można się np. podzielić i kibicować swoim wariantom. :-)

Gdzie można kupić:

• Wersja polska – Helion. Dziś mają w promocji.
  Kupując przez ten link wspierasz tego bloga i przyczyniasz się do tego, że zarobione z prowizji kwoty wydam na kolejne książki w Helionie. Chyba mnie tam już znają.
• Wersja angielska – Amazon. Do mojego egzemplarza dołączony był kupon na kampanię Adwords o wartości $25. Jeśli ktoś wykorzysta, przy czym $5 trzeba wydać jako kaucję przy założeniu konta,  zakup książki częściowo się zwraca. :-)