Insights · Data
Ostatnie kliknięcie nagradza tego, kto i tak już był. Inkrementalność mierzy, ile reklama naprawdę dodaje. Uczciwszy sposób decydowania o budżecie.
Przez lata za każdym raportem reklamowym stało niejawne pytanie: któremu kanałowi przypisać tę sprzedaż? Atrybucja ostatniego kliknięcia odpowiada pewnie, ale odpowiada na pytanie rachunkowe, nie przyczynowe. Wiedza o tym, kto dotknął klienta jako ostatni, nic nie mówi o tym, co stałoby się bez tego kontaktu. To różnica między zarejestrowaniem zdarzenia a jego wyjaśnieniem.
Wiele nagradzanych kliknięć pochodzi od osób, które i tak by kupiły. Wyszukiwanie nazwy marki, reklama retargetingowa wyświetlona komuś z pełnym koszykiem, e-mail do kogoś, kto już podjął decyzję — to wszystko liczy się jako wygenerowany przychód, choć często jest to jedynie przychód przechwycony. Budżet rośnie dokładnie tam, gdzie konwersja była już przesądzona.
Inkrementalność odwraca perspektywę. Nie pyta, kto przyniósł sprzedaż, lecz ile dodatkowych sprzedaży istnieje dlatego, że zainwestowaliśmy. To pytanie kontrfaktyczne: co stałoby się bez reklamy? Nie można tego bezpośrednio zaobserwować, dlatego musi zostać skonstruowane przez projekt pomiaru, a nie odczytane z panelu.
Lift to różnica między wynikami osób eksponowanych na reklamę a wynikami porównywalnej grupy, która nie była eksponowana. To netto dodana wartość, oczyszczona z tego, co i tak by się wydarzyło.
Bez punktu odniesienia nie ma inkrementalności, jest tylko korelacja. Kontrola to zbiór osób lub obszarów celowo nieeksponowanych, służący jako lustro tego, co kampania osiągnęłaby bez działania.
Część sprzedaży i tak następuje: lojalni klienci, spontaniczny popyt, polecenia. Mylenie tej bazy z zasługą kampanii to najdroższy błąd, bo prowadzi do płacenia za wyniki niezależne od wydatków.
Każde dodatkowe euro przynosi mniej niż poprzednie. Pierwsze ekspozycje chwytają żywy popyt, ostatnie gonią za osobami już przekonanymi lub obojętnymi. Inkrementalność mierzona na różnych poziomach wydatków pokazuje, gdzie krzywa się spłaszcza.
Zaczyna się od weryfikowalnego twierdzenia: ta kampania generuje sprzedaż, która bez niej by nie istniała. Wybiera się jedną metrykę wyniku i z góry decyduje, co będzie dowodem — przed zobaczeniem jakichkolwiek danych.
Dzieli się odbiorców lub terytorium na dwie porównywalne grupy: jedna widzi kampanię, druga nie. Przydział powinien być losowy lub — tam gdzie to niemożliwe — oparty na obszarach jak najbardziej podobnych pod względem historycznego zachowania.
Podczas testu unika się zmiany cen, ofert i innych kanałów w grupach, bo inaczej wynik mierzy szum zamiast efektu. Dyscyplina nienaruszania czegokolwiek jest warta więcej niż jakiekolwiek statystyczne udoskonalenie.
Po zakończeniu okresu porównuje się wyniki obu grup. Odstęp — a nie suma eksponowanych — to lift. Ocenia się też, jak solidny jest ten odstęp, czy może wynika z przypadku.
Sama liczba nie wystarcza: staje się kosztem na inkrementalną konwersję i jest porównywana z innymi pozycjami wydatków. Dopiero wtedy decyduje się, czy zwiększyć, ograniczyć, czy przesunąć budżet.
Czysty cykl trwa tygodnie, nie dni: różnica potrzebuje czasu, aby wyjść ponad naturalną zmienność.
Aby mieć grupę kontrolną, trzeba nie odzywać się do części potencjalnych klientów. To realny, natychmiastowy koszt wymieniany na trwałą wiedzę. Kto nie jest gotowy na tę wymianę, nie mierzy inkrementalności — jedynie dekoruje atrybucję.
Poważnego testu nie da się odczytać następnego ranka. Organizacje przyzwyczajone do codziennej optymalizacji frustruje czekanie na stabilizację sygnału. Ale decyzja podjęta na podstawie codziennego szumu kosztuje więcej niż kilka tygodni cierpliwości.
Nie wszystkiego można testować z tą samą czystością. Niektóre kanały nadają się do ostrych eksperymentów, inne trzeba szacować metodami bardziej pośrednimi i z szerszymi marginesami. Rozpoznanie, gdzie pomiar jest solidny, a gdzie jedynie orientacyjny, jest częścią uczciwości metody.
Rzeczywisty lift jest często niższy niż obiecywały raporty atrybucji. To niewygodna, ale użyteczna wiadomość: pokazuje, gdzie płacono za sprzedaż i tak zapewnioną. Metoda zwracająca tylko dobre wiadomości niczego nie mierzy.
Zaczynamy od pytania, co i tak by się stało, a dopiero potem patrzymy na liczby. Panel niepodparty projektem pomiaru to dobrze sformatowana opinia. Wolimy kilka obronnych metryk niż wiele sugestywnych.
Inkrementalność nie służy temu, by przyznawać rację temu, kto już ustalił budżet, lecz temu, by go podważać. Używamy jej do przesuwania wydatków z miejsc, gdzie przechwytuje istniejący popyt, tam, gdzie go naprawdę tworzy — nawet gdy wynik jest niewygodny dla wewnętrznych nawyków.
Lepszy jeden czysty eksperyment dotyczący ważnej decyzji niż dziesięć przybliżonych pomiarów marginalnych szczegółów. Koncentrujemy wysiłek tam, gdzie stawki budżetowe są wysokie i gdzie wynik naprawdę zmieni alokację.
Każde oszacowanie ma margines i to mówimy. Traktowanie zaszumionej liczby jako pewności prowadzi do pewnych decyzji na kruchych podstawach. Uczciwa komunikacja tego, co wiemy i czego nie, sprawia, że pomiar jest użyteczny.
Czy atrybucja ostatniego kliknięcia jest bezużyteczna?
Nie, ale odpowiada na inne pytanie. Nadaje się do rozumienia, jak klienci poruszają się wzdłuż ścieżki, nie do decydowania, ile dany kanał dodaje. Używanie jej do alokacji budżetu to jak mierzenie temperatury linijką: narzędzie działa, tylko nie do tego zadania.
Czy potrzeba ogromnego budżetu, żeby testować inkrementalność?
Potrzeba więcej dyscypliny niż skali. Prosty, ale rygorystyczny projekt z porównywalnymi grupami i z góry ustalonymi zasadami mówi więcej niż złożony aparat zbudowany na chaotycznych danych. Czystość metody liczy się bardziej niż skala.
Jak często należy powtarzać testy?
Inkrementalność nie jest stałą prawdą: zmienia się wraz z sezonem, konkurencją, nasyceniem odbiorców. Należy ją weryfikować ponownie, gdy na rynku lub w strategii zmienia się coś istotnego, a nie przy każdym tygodniowym spotkaniu.
Co jeśli test mówi, że kanał nic nie dodaje?
To dokładnie rodzaj odpowiedzi, dla której robi się test. Oznacza, że te wydatki zbierały sprzedaż, która i tak by dotarła. Właściwą reakcją nie jest bronienie kanału, lecz ograniczenie lub realokacja i ponowne sprawdzenie.