Insights · Data
Останній клік винагороджує того, хто й так уже був поруч. Інкрементальність вимірює, скільки реклама дійсно додає. Чесніший спосіб приймати бюджетні рішення.
Роками в основі кожного рекламного звіту лежало невисловлене запитання: якому каналу приписати цей продаж? Атрибуція останнього кліку відповідає впевнено, але відповідає на бухгалтерське запитання, а не на причинно-наслідкове. Знання про те, хто останнім торкнувся клієнта, нічого не говорить про те, що відбулося б без цього дотику. Це різниця між реєстрацією події та її поясненням.
Багато з нагороджуваних кліків належать людям, які б купили в будь-якому разі. Пошук за назвою бренду, ретаргетингова реклама для того, у кого вже повний кошик, лист тому, хто вже прийняв рішення — усе це зараховується як згенерований дохід, хоча найчастіше є лише перехопленим доходом. Бюджет роздмухується саме там, де конверсія була вже вирішеною.
Інкрементальність перевертає перспективу. Вона питає не хто приніс продаж, а скільки додаткових продажів існує завдяки нашим інвестиціям. Це контрфактичне запитання: що б сталося без реклами? Його не можна спостерігати безпосередньо, тому воно має будуватися через дизайн вимірювання, а не зчитуватися з дашборда.
Ліфт — це різниця між результатами людей, що зазнали впливу реклами, і результатами зіставної групи, яка не зазнала. Це чиста додана вартість, очищена від того, що сталося б саме по собі.
Без точки порівняння немає інкрементальності — є лише кореляція. Контроль — це набір людей або територій, навмисно позбавлених впливу, що слугує дзеркалом того, чого досягла б кампанія, залишившись у спокої.
Частина продажів відбувається в будь-якому разі: лояльні клієнти, спонтанний попит, сарафанне радіо. Плутати цю базу з заслугою кампанії — найдорожча помилка, бо вона означає оплату результатів, що не залежать від витрат.
Кожне додаткове євро приносить менше, ніж попереднє. Перші покази захоплюють живий попит, останні гоняться за тими, хто вже переконаний або байдужий. Інкрементальність, виміряна за різних рівнів витрат, показує, де крива вирівнюється.
Починають із перевіреного твердження: ця кампанія генерує продажі, яких без неї не було б. Обирають одну метрику результату і заздалегідь вирішують, що вважатиметься доказом — до того як побачать будь-які дані.
Аудиторію або територію ділять на дві зіставні групи: одна бачить кампанію, інша — ні. Розподіл має бути випадковим або — там де це неможливо — базуватися на районах, максимально схожих за історичною поведінкою.
Під час тесту уникають зміни цін, пропозицій та інших каналів для груп, інакше результат вимірює шум, а не ефект. Дисципліна нічого не чіпати коштує більше, ніж будь-яке статистичне вдосконалення.
Після завершення періоду порівнюють результати двох груп. Розрив — а не сумарний показник тих, хто зазнав впливу — і є ліфтом. Також оцінюють, наскільки цей розрив стійкий або пояснюється випадковістю.
Одного числа недостатньо: воно перетворюється у вартість інкрементальної конверсії та порівнюється з іншими статтями витрат. Лише на цьому етапі вирішують — збільшити, скоротити або перерозподілити бюджет.
Чистий цикл займає тижні, а не дні: розриву потрібен час, щоб вийти за межі природної мінливості.
Щоб мати контрольну групу, потрібно не звертатися до частини потенційних клієнтів. Це реальні, негайні витрати, що обмінюються на тривалі знання. Той, хто не готовий до цього обміну, не вимірює інкрементальність — він лише прикрашає атрибуцію.
Серйозний тест не можна прочитати наступного ранку. Організаціям, звиклим щодня оптимізувати, важко чекати, поки сигнал стабілізується. Але рішення, прийняте на основі щоденного шуму, коштує дорожче за кілька тижнів терпіння.
Не все можна протестувати з однаковою чистотою. Одні канали підходять для чітких експериментів, інші доводиться оцінювати більш непрямими методами з більшими похибками. Визнання того, де вимірювання надійне, а де лише орієнтовне, — частина чесності методу.
Реальний ліфт нерідко виявляється нижчим, ніж обіцяли звіти про атрибуцію. Це незручна, але корисна новина: вона показує, де платили за вже забезпечені продажі. Метод, що повертає лише добрі новини, нічого не вимірює.
Ми починаємо із запитання «що сталося б у будь-якому разі», і лише потім дивимося на цифри. Дашборд, що не спирається на дизайн вимірювання, — це добре відформатована думка. Ми надаємо перевагу кільком захищуваним метрикам перед багатьма промовистими.
Інкрементальність потрібна не для того, щоб підтвердити правоту тих, хто вже затвердив бюджет, а щоб поставити його під сумнів. Ми використовуємо її для переміщення витрат туди, де вони дійсно створюють попит, навіть якщо результат незручний для внутрішніх звичок.
Краще один чистий експеримент за значущим вибором, ніж десять приблизних вимірювань маргінальних деталей. Ми зосереджуємо зусилля там, де бюджетні ставки високі і де результат дійсно змінить розподіл.
Кожна оцінка має похибку, і ми про це говоримо. Трактувати зашумлене число як достовірність — означає приймати впевнені рішення на хиткому підґрунті. Чесне повідомлення про те, що ми знаємо і чого не знаємо, робить вимірювання придатним до використання.
Атрибуція останнього кліку марна?
Ні, але вона відповідає на інше запитання. Вона добре підходить для розуміння того, як клієнти рухаються вздовж шляху, але не для вирішення, скільки додає той чи інший канал. Використовувати її для розподілу бюджету — все одно що вимірювати температуру лінійкою: інструмент працює, тільки не для цього завдання.
Чи потрібен великий бюджет для тестування інкрементальності?
Потрібна дисципліна, а не масштаб. Простий, але строгий дизайн із зіставними групами та заздалегідь встановленими правилами говорить більше, ніж складний апарат, збудований на заплутаних даних. Чистота методу важливіша за масштаб.
Як часто потрібно повторювати тести?
Інкрементальність — не фіксована істина: вона змінюється залежно від сезону, конкуренції, насичення аудиторії. Її слід перевіряти при суттєвих змінах на ринку або в стратегії, а не на кожній щотижневій нараді.
Що, якщо тест показує, що канал нічого не додає?
Саме заради такої відповіді і проводиться тест. Це означає, що витрати збирали продажі, які в будь-якому разі б прийшли. Правильна реакція — не захищати канал, а скоротити або перерозподілити і знову перевірити.