A/B Testing

Ten skill uczy podstaw projektowania eksperymentów dla zespołów produktowych i specjalistów growth marketingu. Prowadzi przez uporządkowane tworzenie hipotez, obliczanie wielkości próby, wybór wskaźników głównych, dodatkowych i ochronnych oraz rygorystyczną statystycznie interpretację wyników. Obejmuje wybór rodzaju badania: warianty A/B, testy wielowymiarowe i testy z podziałem adresów URL. Pokazuje też, jak unikać typowych błędów, takich jak sprawdzanie wyników przed osiągnięciem istotności statystycznej czy zmiana warunków w trakcie testu.

Najważniejsze funkcje

• Twórz testowalne hipotezy za pomocą uporządkowanych metod
• Obliczaj wymaganą wielkość próby zapewniającą wiarygodność statystyczną
• Projektuj warianty izolujące jedną istotną zmianę
• Wybieraj wskaźniki powiązane z wynikiem biznesowym
• Interpretuj wyniki przy użyciu przedziałów ufności i wartości p
• Twórz podręcznik eksperymentów do wielokrotnego wykorzystania

Poza pojedynczymi testami skill pomaga zbudować program ciągłych eksperymentów. Obejmuje generowanie hipotez z wielu źródeł, takich jak analityka, badania klientów i analiza konkurencji, ustalanie priorytetów za pomocą punktacji ICE oraz śledzenie tempa eksperymentów. Zespoły prowadzące systematyczne eksperymenty z czasem kumulują wiedzę, przekształcając pojedyncze sukcesy w sprawdzone wzorce możliwe do zastosowania w całym produkcie. Skill zawiera szablony, listy kontrolne i praktyczne wskazówki dotyczące wdrożenia testów po stronie klienta i serwera.