Skocz do linków, Skocz do treści

Dwie książki o testach A/B po polsku. Którą wybrać?

20 stycznia 2010 21:52. Autor: Robert Drózd. Komentarze (8) »

Strona docelowa czy Przewodnik po Google Website Optimizer?

Od niedawna mamy na polskim rynku dwie książki poświęcone testom A/B. Jedna raczej słaba, druga bardzo dobra. Z tego artykułu dowiesz się, którą warto kupić.

Krótko o testach A/B

Czym są testy A/B? W największym skrócie – jest to forma optymalizacji naszych serwisów:

  1. Pokazujemy użytkownikom różne wersje pojedynczych elementów (np. nagłówków, grafik) albo wręcz całych stron.
  2. Mierzymy konwersję dla różnych wersji i widzimy, które spisują się najlepiej.
  3. Wykorzystanie prostych zasad statystycznych mówi nam, w którym momencie warto zaufać wynikom.

Testy wchodzą tam, gdzie nie wystarczy „zwykła” intuicja marketingowa. Często po prostu nie jesteśmy w stanie określić, co zadziała lepiej. Musimy postawić hipotezę i sprawdzić ją w teście.

Proste testy można wykonywać ręcznie z użyciem istniejących statystyk (np. Analytics). Do poważniejszych konieczne jest narzędzie, jak choćby darmowy Google Website Optimizer, który ułatwia tworzenie testów i załatwia też za nas dbanie o statystyki.

Strona docelowa. Optymalizacja, testy, konwersja

„Strona docelowa” to książka autorstwa Tima Asha, która wyszła w lipcu 2009 nakładem Helionu. Oryginalna wersja z 2008 nosi tytuł „Landing Page Optimization: The Definitive Guide to Testing and Tuning for Conversions”.

Wybraliśmy ją do omawiania na ostatnim Klubie Użytecznej Książki.

I co zabawne. Większość osób, która głosowała za książką …nie przyszła. Zacytuję koleżankę: „ta książka to koszmar”.

Niestety muszę się zgodzić. Oryginał angielski kupiłem ponad rok temu i … nie byłem w stanie się zmusić aby przejść dalej niż przez jedną czwartą. Teraz przed spotkaniem wreszcie się zmusiłem. I nie było warto.

Przez pierwsze kilka rozdziałów autor wyjaśnia zupełne podstawy marketingu oraz użyteczności, czasami odwoła się do jakiejś teorii (np. wzorce zachowania Myersa-Briggsa), ale chyba tylko po to, aby pokazać swoją erudycję. Cały rozdział poświęcony jest znanej formule AIDA (Attention – Interest – Desire – Action) i da się wyłowić parę ciekawych stwierdzeń („Zainteresowanie użytkownika jest jak motyl przysiadający na krótką chwilę na kwiatku” – no, ciekawych jak dla kogo), ale wszystko podlane niesamowitą ilością wody. Książka mogłaby być 3x krótsza, bez utraty wartości merytorycznej.

Brakuje przykładów. Książka jest do bólu teoretyczna i znajduje się w niej zaledwie kilka studiów przypadku. Chyba najważniejszy dylemat: czyli co konkretnie testować autor „załatwił” w przeciągu trzech stron.  Przy okazji udzielając rad bardzo dziwnych, np. że elementem testowym powinno być możliwość unikania błędów użyteczności. Błędy użyteczności należy usuwać, a nie testować czy większe prawdopodobieństwo błędu przyniesie niższą konwersję.

Boląca teoretyczność książki wynika z przyjętego założenia. Autor nie skupia się na szczegółowym rozwiązaniu technicznym (dopiero na końcu jest dodatek poświęcony Optimizerowi), a próbuje opisać ogólne zasady, które będą pasowały wszędzie. Jednak mniej więcej od połowy książki coraz częściej przewija się nazwa SiteTuners.com, które to narzędzie jest … własnością firmy autora. Kryptoreklama w kiepskim wydaniu.

Żeby nie być jednostronnym: jeśli ktoś nie miał zupełnie do czynienia z badaniami ilościowymi, statystyką, książka ma dwa (chyba najmocniejsze) rozdziały, w których wyjaśnia podstawy testów statystycznych, doboru próby i ostrzega przed błędami. Popularnym błędem jest według autora np. „test” sekwencyjny – najpierw puszczamy przez tydzień jedną wersję, potem przez tydzień drugą i porównujemy konwersje. Autor twierdzi, że wyniki są bardzo wrażliwe na wszystkie zewnętrzne zdarzenia, które mogą zmienić zachowanie użytkowników. Nie zgadzam się z tym tak do końca, jeśli np. widzimy że źródła ruchu i jego charakterystyka przez dwa kolejne tygodnie się nie zmieniła, możemy ufać wynikom takiego testu.

Przede wszystkim nie wiadomo dla kogo jest ta książka. Zawodowcy się wynudzą, a początkujący – no, bardzo początkujący myślę, że mogą się czegoś nauczyć. Ale największy problem polega na tym, że z książki nie można się dowiedzieć wiele o optymalizacji strony docelowej i nie da się z niej w zasadzie skorzystać gdy siedzimy i tworzymy testy.

Google Website Optimizer. Przewodnik

Przewodnik po Optimizerze ukazał się również nakładem Helionu w styczniu 2010. Jest to tłumaczenie pozycji „Always Be Testing: The Complete Guide to Google Website Optimizer” czwórki autorów (Bryan Eisenberg, John Quarto-von Tivadar, Brett Crosby, Lisa T. David).

Powiedziałbym, że w porównaniu z powyższą – niebo a ziemia.

Autorzy przyjęli dwa założenia:

    1. Testy trzeba jakoś przeprowadzać, a że popularnym narzędziem jest Google Website Optimizer, to książka poświęcona jest przede wszystkim jemu. Inna sprawa, że w edycji angielskiej, którą mam, część się już zdezaktualizowała – np. inne są kody, które wklejamy na strony. Ale kody są nieistotne, bo te i tak pobierzemy przy zakładaniu testu. Liczy się myślenie, którego uczą.
    2. Największa zaleta w stosunku do książki Asha. To co tam zajęło 3 strony, tutaj ma 120 stron. Część „Co testować”, złożona z krótkich rozdziałów przedstawiających różne elementy (np. znajdowalność, unikalna propozycja wartości, kategoryzacja, layout, prezentacja produktów). Co chwilę niemal znajdziemy pomysły, co może warto przetestować u nas.

      Książka poza tym uczy nas interpretować wykresy Optimizera, jak stawiać hipotezy zerową i alternatywną, jak założyć test i jak go wpleść w cały proces optymalizacji serwisu. 300 stron (w wersji polskiej 400…) bardzo potrzebnej wiedzy.

      I na tym bym skończył. Jest to pozycja mocno polecana dla każdego, kto myśli o podniesieniu skuteczności swojego serwisu, a szczególnie jeśli coś sprzedaje. Samo wymyślanie  przypadków testowych oraz w obserwacja różnych wariantów „uczy i bawi”. Jeśli test planowany jest zespołowo, można się np. podzielić i kibicować swoim wariantom. :-)

      Gdzie można kupić:

      • Wersja polska – Helion. Dziś mają w promocji.
        Kupując przez ten link wspierasz tego bloga i przyczyniasz się do tego, że zarobione z prowizji kwoty wydam na kolejne książki w Helionie. Chyba mnie tam już znają.
      • Wersja angielska – Amazon. Do mojego egzemplarza dołączony był kupon na kampanię Adwords o wartości $25. Jeśli ktoś wykorzysta, przy czym $5 trzeba wydać jako kaucję przy założeniu konta,  zakup książki częściowo się zwraca. :-)

      Podobne artykuły:

      Być może zainteresują Cię następujące artykuły:

      Zapisz się na kanał RSS bloga i dołącz do ponad 1500 czytelników RSS.

      Zostań fanem WebAudit na Facebooku.

      Komentarze czytelników

      Śledź komentarze do tego artykułu: format RSS
      1. Bartłomiej Kozieł

        No niestety muszę się zgodzić, pierwsza książka kosztowała mnie zdrowie. O optymalizacji strony docelowej nie dowiedziałem się nic a reszta to oczywiste oczywistości. Treści tego typu jest w książce krocie: „Spraw, by odwiedzający poczuł się doceniony. […] Przedstawienie tych informacji w odpowiedni sposób da odwiedzającemu poczucie, że jest mądrzejszy, ma większy wpływ na swoją sytuację i może liczyć na zrozumienie.” To było tyle jak zrobić, że użytkownik poczuł się doceniony… Muszę się przyznać, że sam głosowałem na tę książkę i się nie pojawiłem, ale niestety zima zaskoczyła kolejarzy, a kolejarze mnie…

      2. Krzysiek Dróżdż

        Dzięki za poradę. Książka już zamówiona :-)

      3. Aga Szostek

        Można spróbować uniknąć tzw. order effect w testach A/B (czyli wpływu wyniku testu pierwszego na test drugi) poprzez odwrócenie testu (czyli A/B/B/A). Pewnie, że nie jest to idealne rozwiązanie z punktu widzenia psychologii, ale i test użyteczności nie jest eksperymentem a jakościowo-ilościową oceną wrażenia, jakie dany projekt robi na użytkowniku:) I w przeciwieństwie do testów psychologicznych, które odbywają się w warunkach kontrolowanych, gdzie łatwo jest zmienić kolejność testu, tzw. field studies nakładają ograniczenia na możliwości przeprowadzenia takiego testu, z którymi trzeba się pogodzić i po prostu opisać te ograniczenia w wynikach.

      4. Mariusz Gąsiewski

        Niektóre elementy z tej pierwszej książki wydały mi się dość ciekawe, zwłaszcza te części statystyczne. Niestety ta kryptoreklama autorskiego narzędzia faktycznie znacznie obniżyły wartość pozycji.

      5. Itzen

        Od niedawna dostępna jest jest kolejna książka o testach A/B w języku polskim: Testy A/B. Od kliknięcia do klienta. Książka może być dobra na start.

      6. Robert Drózd

        Potwierdzam, jestem w trakcie i wydaje mi się, że to najlepsza jak dotąd pozycja po polsku.

      7. Paweł Kania

        Helion udostępnia jeden rozdział do wglądu: „Ucz się na porażkach – Jak się cieszyć, że jednak A wygrało z B”. Napisany dość zwięźle i konkretnie (z podsumowaniem na końcu rozdziału, do którego zawsze można wracać). Cała książka jest w podobnym stylu więc warto się zainteresować.

      Komentarze z innych blogów

      1. Podsumowanie roku 2010 – rok User Experience? : WebAudit Blog

        […] Dwie książki o testach A/B po polsku. Którą wybrać? […]

      Zostaw komentarz

      W komentarzu można (choć nie trzeba) używać podstawowych znaczników XHTML. Komentarze zawierające w podpisie słowa kluczowe mogą zostać potraktowane jako spam i usunięte.