Zakładasz test A/B kampanii reklamowej, dzielisz budżet na dwa warianty kreacji i po dwóch dniach jeden z nich wyraźnie prowadzi w koszcie konwersji. Pokusa, żeby od razu wyłączyć gorszy wariant i przelać cały budżet na zwycięzcę, jest ogromna, ale w tym momencie dane najczęściej jeszcze nic nie mówią. Test A/B kampanii reklamowej staje się wiarygodny dopiero wtedy, gdy zbierze wystarczająco dużo czasu i konwersji, żeby odróżnić prawdziwą różnicę od zwykłego szumu. Poniżej pokazujemy, jak rozpoznać ten moment i jak to policzyć samodzielnie, zamiast zgadywać na oko.
Dlaczego wczesny wynik testu A/B tak łatwo oszukuje
Przy małej liczbie konwersji różnica między wariantami potrafi być ogromna czysto losowo. Jeśli wariant A zebrał 4 konwersje, a wariant B 7, to statystycznie to wciąż za mało danych, żeby cokolwiek stwierdzić, mimo że procentowo B wygląda o 75 procent lepiej. Do tego dochodzi rytm tygodnia: inne osoby klikają w reklamy w poniedziałek rano, a inne w sobotni wieczór, więc test uruchomiony od środy do piątku ma zniekształcony obraz zanim jeszcze zbierze pełny tydzień. Dopiero po przejściu całego cyklu tygodniowego widać, czy przewaga jednego wariantu się utrzymuje, czy była tylko efektem tego, kto akurat scrollował feed danego dnia.
Drugi problem to zmienność samej platformy w pierwszych dniach emisji. System dopiero uczy się, komu pokazywać każdy wariant, więc koszty w pierwszych 48-72 godzinach bywają wyższe i mniej stabilne niż później. Czytanie wyniku testu w tej fazie to trochę jak ocenianie maratończyka po pierwszym kilometrze.
Ile trwa wiarygodny test A/B kampanii reklamowej
Konkretne liczby różnią się między platformami, ale kierunek jest ten sam: dłużej niż intuicja podpowiada. W narzędziu do testów A/B w Menedżerze reklam Meta można ustawić harmonogram od 1 do 30 dni, jednak sama platforma rekomenduje przynajmniej około 7 dni jako minimum dające sensowne wyniki, właśnie ze względu na różnice między dniami tygodnia. Google Ads w dokumentacji eksperymentów radzi wprost, żeby dać testowi 2-3 tygodnie na zebranie danych, a jeśli po tym czasie wynik wciąż jest nierozstrzygnięty, zwiększyć budżet albo wydłużyć test, zamiast zamykać go przedwcześnie.
To oznacza w praktyce, że test kreacji czy grupy odbiorców uruchomiony w piątek nie powinien być oceniany w poniedziałek. Jeśli w międzyczasie planujesz też zmienić strategię ustalania stawek, zrób to po zamknięciu testu, nie w jego trakcie, bo zmiana strategii licytacji resetuje fazę uczenia się i zaburza porównanie wariantów od nowa.
Jak policzyć, czy różnica jest istotna statystycznie
Nie trzeba mieć statystyka na etacie, żeby zgrubnie ocenić wiarygodność testu. Wystarczy porównać różnicę między wariantami z przybliżonym błędem statystycznym.
Przykład: załóżmy, że oba warianty kreacji dostały po 5000 kliknięć w kampanii kierowanej na konwersje. Wariant A zebrał 100 konwersji, czyli współczynnik konwersji 2,0 procent. Wariant B zebrał 130 konwersji, czyli 2,6 procent. Różnica to 0,6 punktu procentowego. Przybliżony błąd standardowy dla takiej próby liczy się ze wzoru pierwiastek z [p1×(1-p1)/n1 + p2×(1-p2)/n2], co dla tych liczb daje około 0,3 punktu procentowego. Dzieląc różnicę przez błąd standardowy (0,6 / 0,3), wychodzi wartość około 2,0. Google Ads uznaje wynik za istotny statystycznie, gdy przekracza on próg 95-procentowego przedziału ufności w dwustronnym teście istotności, co odpowiada w przybliżeniu wartości 1,96 - w naszym przykładzie próg jest przekroczony, więc różnica najprawdopodobniej jest realna, a nie przypadkowa.
Gdyby te same 30 dodatkowych konwersji pojawiło się przy próbie 500 kliknięć zamiast 5000, błąd standardowy byłby kilkukrotnie większy, a wynik ten sam procentowo mógłby się okazać czystym szumem. Dlatego wielkość próby liczy się tak samo jak sama różnica w wynikach. Przy okazji warto przeliczyć różnicę też na koszt pozyskania konwersji, bo 0,6 punktu procentowego konwersji przekłada się bezpośrednio na CPA i to ta liczba trafia ostatecznie do rozliczenia budżetu.
Kiedy test jest gotowy do odczytu
Poniższa tabela to praktyczny checklist przed podjęciem decyzji o wyłączeniu wariantu.
| Sygnał | Próg orientacyjny | Co to oznacza w praktyce |
|---|---|---|
| Czas trwania testu | min. 7 dni (Meta), 2-3 tygodnie (Google Ads) | Krótszy okres nie obejmuje pełnego cyklu tygodniowego |
| Konwersje na wariant | co najmniej ok. 100 | Poniżej tej liczby traktuj wynik jako wskazówkę, nie dowód |
| Różnica wyników vs błąd standardowy | powyżej ok. 1,96 (odpowiednik 95% ufności) | Dopiero wtedy różnica jest prawdopodobnie realna |
| Zmiany w trakcie testu | brak zmian budżetu, kreacji, grupy odbiorców | Każda zmiana zeruje porównywalność wariantów |
| Nakładanie się odbiorców | warianty kierowane do rozłącznych grup | Nakładające się grupy zaniżają realną różnicę |
Najczęstsze błędy przy czytaniu testów A/B kampanii
Najkosztowniejszy błąd to wcześniejsze zamknięcie testu, bo jeden wariant ładnie wygląda po dwóch dniach. Drugi w kolejności to testowanie kilku zmiennych naraz, na przykład nowej kreacji i nowej grupy odbiorców jednocześnie, przez co po zakończeniu testu nie wiadomo, co właściwie zadecydowało o wyniku. Trzeci to zmiana budżetu w trakcie trwania testu, co u części platform resetuje fazę uczenia się i unieważnia dotychczas zebrane dane.
Zanim uznasz test za rozstrzygnięty, warto też zestawić wynik z resztą kontekstu kampanii w regularnym raportowaniu efektywności, a nie tylko w panelu testu A/B, bo ten sam wariant może wygrywać na CPA i jednocześnie przegrywać na jakości leadów widocznej dopiero w dalszym lejku. Jeśli po zamknięciu testu okaże się, że zwycięski wariant faktycznie poprawia ROAS, dopiero wtedy warto przelać na niego cały budżet skalowania, a nie zaraz po pierwszym korzystnym odczycie.
Test A/B kampanii reklamowej to narzędzie do podejmowania decyzji, nie do potwierdzania tego, co i tak już chciałeś zrobić. Im więcej czasu i konwersji zbierze przed odczytem, tym mniejsze ryzyko, że zamkniesz go na podstawie przypadku, a nie realnej przewagi jednego z wariantów.