Insights · Data
Последний клик вознаграждает того, кто и без того был рядом. Инкрементальность измеряет, сколько реально добавляет реклама. Более честный способ принимать бюджетные решения.
Годами в основе каждого рекламного отчёта лежал негласный вопрос: какому каналу приписать эту продажу? Атрибуция последнего клика отвечает уверенно, но отвечает на бухгалтерский вопрос, а не на причинно-следственный. Знание о том, кто последним коснулся клиента, ничего не говорит о том, что произошло бы без этого касания. Это разница между регистрацией события и его объяснением.
Многие из вознаграждаемых нами кликов принадлежат людям, которые купили бы в любом случае. Поиск по названию бренда, ретаргетинговое объявление для того, у кого уже полная корзина, письмо тому, кто уже принял решение — всё это засчитывается как сгенерированная выручка, хотя чаще является лишь перехваченной выручкой. Бюджет раздувается именно там, где конверсия была предрешена.
Инкрементальность переворачивает перспективу. Она спрашивает не кто принёс продажу, а сколько дополнительных продаж существует благодаря нашим инвестициям. Это контрфактический вопрос: что бы произошло без рекламы? Его нельзя наблюдать напрямую, поэтому его нужно строить через дизайн измерения, а не считывать с дашборда.
Лифт — это разница между результатами людей, подвергшихся воздействию рекламы, и результатами сопоставимой группы, которая не подвергалась. Это чистая добавленная стоимость, очищенная от того, что произошло бы само по себе.
Без точки сравнения нет инкрементальности — только корреляция. Контроль — это набор людей или территорий, намеренно не получивших воздействие, служащих зеркалом того, чего достигла бы кампания, оставаясь в покое.
Часть продаж происходит в любом случае: лояльные клиенты, спонтанный спрос, сарафанное радио. Смешивать эту базу с заслугой кампании — самая дорогостоящая ошибка, потому что она означает оплату результатов, не зависящих от расходов.
Каждый дополнительный евро приносит меньше, чем предыдущий. Первые показы захватывают живой спрос, последние гонятся за теми, кто уже убеждён или безразличен. Инкрементальность, измеренная при разных уровнях расходов, показывает, где кривая выравнивается.
Начинают с проверяемого утверждения: эта кампания генерирует продажи, которых без неё не было бы. Выбирают одну метрику результата и заранее решают, что будет считаться доказательством — до того как увидят данные.
Аудиторию или территорию делят на две сопоставимые группы: одна видит кампанию, другая — нет. Распределение должно быть случайным или — там где это невозможно — основанным на районах, максимально схожих по историческому поведению.
В ходе теста избегают изменения цен, предложений и других каналов для групп, иначе результат измеряет шум, а не эффект. Дисциплина ничего не трогать ценнее любого статистического усовершенствования.
По окончании периода сравнивают результаты двух групп. Разрыв — а не суммарный показатель подвергшихся воздействию — и есть лифт. Оценивают также, насколько этот разрыв устойчив или объясняется случайностью.
Одного числа недостаточно: оно превращается в стоимость инкрементальной конверсии и сравнивается с другими статьями расходов. Только на этом этапе решают — увеличить, сократить или перераспределить бюджет.
Чистый цикл занимает недели, а не дни: разрыву нужно время, чтобы выйти за пределы естественной изменчивости.
Чтобы иметь контрольную группу, нужно не обращаться к части потенциальных клиентов. Это реальные, немедленные издержки, которые обменивают на долгосрочное знание. Тот, кто не готов к этому обмену, не измеряет инкрементальность — он лишь украшает атрибуцию.
Серьёзный тест нельзя прочитать на следующее утро. Организациям, привыкшим оптимизировать каждый день, тяжело ждать, пока сигнал стабилизируется. Но решение, принятое на основе ежедневного шума, обходится дороже нескольких недель терпения.
Не всё можно протестировать с одинаковой чистотой. Одни каналы подходят для чётких экспериментов, другие приходится оценивать более косвенными методами с бо́льшими погрешностями. Признание того, где измерение надёжно, а где лишь ориентировочно, — часть честности метода.
Реальный лифт нередко оказывается ниже того, что обещали отчёты об атрибуции. Это неудобная, но полезная новость: она показывает, где платили за уже обеспеченные продажи. Метод, возвращающий только хорошие новости, ничего не измеряет.
Мы начинаем с вопроса «что произошло бы в любом случае», и только потом смотрим на цифры. Дашборд, не опирающийся на дизайн измерения, — это хорошо отформатированное мнение. Мы предпочитаем несколько защищаемых метрик множеству красноречивых.
Инкрементальность нужна не для того, чтобы подтвердить правоту тех, кто уже утвердил бюджет, а чтобы поставить его под сомнение. Мы используем её, чтобы перемещать расходы туда, где они действительно создают спрос, даже если результат неудобен для внутренних привычек.
Лучше один чистый эксперимент по значимому выбору, чем десять приблизительных измерений по маргинальным деталям. Мы сосредотачиваем усилия там, где бюджетные ставки высоки и где результат действительно изменит распределение.
Каждая оценка имеет погрешность, и мы об этом говорим. Трактовать зашумленное число как достоверность — значит принимать уверенные решения на хрупком основании. Честное сообщение о том, что мы знаем и чего не знаем, делает измерение пригодным для использования.
Атрибуция последнего клика бесполезна?
Нет, но она отвечает на другой вопрос. Она хорошо подходит для понимания того, как клиенты движутся по пути, но не для решения, сколько добавляет тот или иной канал. Использовать её для распределения бюджета — всё равно что измерять температуру линейкой: инструмент работает, только не для этой задачи.
Нужен ли огромный бюджет для тестирования инкрементальности?
Нужна дисциплина, а не масштаб. Простой, но строгий дизайн с сопоставимыми группами и заранее установленными правилами говорит больше, чем сложный аппарат, построенный на запутанных данных. Чистота метода важнее масштаба.
Как часто нужно повторять тесты?
Инкрементальность — не фиксированная истина: она меняется в зависимости от сезона, конкуренции, насыщения аудитории. Её следует перепроверять при существенных изменениях на рынке или в стратегии, а не на каждом еженедельном совещании.
Что, если тест показывает, что канал ничего не добавляет?
Именно ради такого ответа и проводится тест. Это означает, что расходы собирали продажи, которые в любом случае бы пришли. Правильная реакция — не защищать канал, а сократить или перераспределить и снова проверить.