Спор в канале growth-команды идёт вторую неделю. Ретаргетинг на тех, кто установил приложение без подписки, показывает ROAS 6,0. Кампания на новую аудиторию показывает 1,4. Финансовый директор предлагает перевести весь бюджет в ретаргетинг. Продакт-менеджер чувствует подвох.
Подвох в том, что ROAS и инкрементальность отвечают на разные вопросы. Первый говорит, сколько дохода система приписала кампании, второй: сколько дохода без кампании не было бы. Для ретаргетинга эти два числа могут отличаться в разы, и бюджет, перенесённый по первому числу, иногда уходит в канал, который покупает уже готовые продажи.
Что ROAS считает на самом деле
ROAS, return on ad spend, равен доходу, атрибутированному рекламе, делённому на расходы. Главное слово здесь «атрибутированный». Рекламная система или ваш инструмент атрибуции смотрит, видел ли пользователь объявление или кликал ли по нему в заданном окне до покупки, и если да, засчитывает покупку кампании. В рекламном кабинете Meta по умолчанию используется окно 7 дней после клика и 1 день после просмотра, у других платформ свои настройки.
Чего в этой логике нет: вопроса, купил бы пользователь без рекламы. Человек, который вчера дошёл до экрана оплаты, а сегодня увидел баннер и подписался, попадёт в ROAS ретаргетинга. Хотя он, скорее всего, вернулся бы сам по пуш-уведомлению или просто потому, что вспомнил.
Ситуацию усиливают алгоритмические кампании. Форматы вроде Advantage+ у Meta или Performance Max у Google оптимизируют показ под атрибутированные конверсии. Машинное обучение быстро находит людей с максимальной вероятностью покупки, и среди них много тех, кто и так был на пути к оплате. Алгоритм честно выполняет задачу, но задача поставлена так, что он находит готовых покупателей легче, чем создаёт новых.
Для продуктовой команды это особенно чувствительно. Ретаргетинг часто бьёт по тем же пользователям, с которыми уже работают онбординг, письма, пуши и экраны апгрейда внутри продукта. Атрибуция не различает, что сработало: продуктовое изменение или баннер. Если в том же месяце команда переделала экран оплаты, рост ROAS ретаргетинга может оказаться заслугой дизайнеров.
Поэтому высокий ROAS сам по себе не говорит, хороший ли канал. Он говорит, что канал часто стоит рядом с покупкой. Близость к покупке и причина покупки совпадают редко, и чем ближе аудитория к оплате, тем шире разрыв между ними.
Инкрементальность: доход, которого без рекламы не было бы
Инкрементальность измеряет причинный эффект. Её оценивают через эксперимент: аудиторию случайно делят на тестовую группу, которой показывают рекламу, и контрольную, которой не показывают. Разница в покупках между группами, приведённая к одному размеру, и есть дополнительный эффект рекламы.
Основные формулы для такого теста:
ROAS = Атрибутированный доход / Расходы на рекламу
Ожидаемые покупки теста без рекламы = Покупки контроля x (Размер теста / Размер контроля)
Инкрементальные покупки = Покупки теста - Ожидаемые покупки теста без рекламы
Lift = Инкрементальные покупки / Ожидаемые покупки теста без рекламы
iROAS = (Инкрементальные покупки x Доход на покупку) / Расходы на рекламу
Коэффициент инкрементальности = iROAS / ROAS
iROAS, incremental ROAS, читается так же, как обычный: сколько евро дохода приносит евро бюджета. Только доход в числителе теперь тот, который реклама создала, а не тот, который ей приписали. Коэффициент инкрементальности показывает, какая доля атрибутированного дохода настоящая. Значение 1 означает, что атрибуция не преувеличивает. Значение 0,2 означает, что четыре пятых приписанного дохода пришли бы и без рекламы.
Важная деталь: для решений о бюджете полезнее смотреть на iROAS относительно порога окупаемости, а не относительно других каналов. Если валовая маржа подписки 80%, канал окупается при iROAS выше 1,25. Канал с ROAS 6,0 и iROAS 0,9 теряет деньги на каждом евро, хотя в дашборде он лидер.
Инкрементальность тоже не идеальна. Эксперимент мерит эффект за время теста, обычно за 2 или 4 недели. Долгосрочные эффекты вроде узнаваемости бренда и повторных покупок через полгода в короткий тест почти не попадают, поэтому для охватных форматов тест чаще недооценивает канал.
Есть и практическое требование к самому эксперименту: контрольная группа должна быть выделена до показа рекламы и случайно. Если взять в контроль тех, кому платформа просто не успела показать объявление, группы будут отличаться не только рекламой. Пользователи, до которых алгоритм не дотянулся, обычно менее активны, и тест покажет завышенный эффект. Платформенные исследования и собственный холдаут по идентификатору пользователя эту проблему решают, сравнение «видели и не видели» по отчёту кабинета нет.
Где ROAS и инкрементальность расходятся сильнее всего
Разрыв между двумя числами зависит от того, насколько аудитория кампании и так близка к покупке. Ниже качественная карта для типичного подписочного приложения. Это ориентир для выбора, что тестировать первым, а не результат чьих-либо измерений.
| Тип кампании | Атрибутированный ROAS обычно | Риск переоценки атрибуцией | Почему |
|---|---|---|---|
| Поиск по названию бренда | Очень высокий | Высокий | Человек уже ищет вас и нашёл бы по органике |
| Ретаргетинг тех, кто дошёл до оплаты | Высокий | Высокий | Часть вернётся сама по пушу, письму или памяти |
| Ретаргетинг давно ушедших пользователей | Средний | Средний | Часть вернётся через CRM-каналы |
| Новая аудитория в соцсетях | Низкий или средний | Низкий или средний | Эти люди редко узнали бы о продукте иначе |
| Видео и охватные форматы | Низкий | Скорее недооценка | Эффект растянут во времени, окно атрибуции его не ловит |
| Небрендовый поиск по задаче | Средний | Средний | Пользователь ищет решение, и вы можете проиграть конкуренту без рекламы |
Из таблицы следует простое и дешёвое правило для очерёдности тестов: начинать с каналов, где высокий ROAS сочетается с высоким риском переоценки. Именно там решение «увеличить бюджет» чаще всего ошибочно, и именно туда обычно уходят деньги после споров вроде того, с которого начался этот разбор.
У этой карты есть предел. Для приложения с очень узкой аудиторией и дорогим продуктом брендовый поиск может оказаться вполне инкрементальным, если конкуренты покупают рекламу по вашему названию. Тогда без своей рекламы часть ищущих вас людей уходит к ним, и брендовая кампания защищает реальный доход. Карта подсказывает, где искать, а ответ даёт только тест на ваших данных. Повторять его стоит после каждой крупной смены креативов, аудиторий или цены.
Холдаут-тест на ретаргетинге: разбор с цифрами
Условный пример, цифры придуманы для иллюстрации. Аудитория ретаргетинга: 400 000 пользователей, которые установили приложение за последние 30 дней и не оформили подписку. Команда случайно отделяет 10% в контрольную группу, которой реклама не показывается. Тест длится 4 недели, бюджет 18 000 евро, доход с одной подписки за первый месяц условно 30 евро.
Результаты. В тестовой группе из 360 000 человек оформлено 7 020 подписок, конверсия 1,95%. В контрольной группе из 40 000 человек оформлено 720 подписок, конверсия 1,8%. Ожидаемые подписки теста без рекламы: 720 x 9 = 6 480. Инкрементальные подписки: 7 020 минус 6 480, итого 540. Lift: 540 / 6 480, около 8,3%.
Платформа за тот же период приписала кампании 3 600 подписок, то есть 108 000 евро дохода. ROAS: 108 000 / 18 000 = 6,0. Инкрементальный доход: 540 x 30 = 16 200 евро. iROAS: 16 200 / 18 000 = 0,9. Коэффициент инкрементальности: 0,9 / 6,0 = 0,15. Из каждых 100 приписанных подписок реклама создала около 15.
Параллельно команда провела гео-тест кампании на новую аудиторию. Её ROAS 1,4, iROAS по тесту около 1,2. Коэффициент инкрементальности 0,86: почти весь приписанный доход настоящий.
Теперь решение финансового директора выглядит иначе. Перевод бюджета из новой аудитории в ретаргетинг меняет канал с iROAS 1,2 на канал с iROAS 0,9. При марже 80% первый близок к окупаемости, второй её не достигает.
Разница конверсий 0,15 процентного пункта при контрольной группе в 40 000 человек составляет примерно две стандартные ошибки. Это на границе значимости. Вывод «ретаргетинг переоценён в разы» устойчив, а точное значение iROAS 0,9 стоит подтвердить повторным тестом или более крупной контрольной группой.
Как встроить инкрементальность в работу продуктовой команды
Мерить инкрементальность постоянно по всем каналам дорого. Каждая контрольная группа означает, что часть аудитории не видит рекламу и часть продаж, возможно, теряется. Поэтому полезно выбрать инструмент под канал и под вопрос.
Для собственных каналов продукта, пушей, писем и экранов внутри приложения, холдаут проще всего: команда сама управляет рассылкой и может держать 5% или 10% пользователей в постоянной контрольной группе. Такой постоянный холдаут даёт базовую линию, с которой потом сравнивают и рекламный ретаргетинг.
Для рекламных платформ есть встроенные исследования прироста конверсий: у Meta это Conversion Lift, у Google аналогичные исследования для поисковых и видеокампаний. Условия доступа и минимальные бюджеты у них меняются.
Когда разделить аудиторию по пользователям нельзя, работают гео-эксперименты: рекламу выключают в части регионов и сравнивают их динамику с остальными. Для анализа существуют открытые библиотеки, например GeoLift от Meta и CausalImpact от Google. Для брендового поиска самый дешёвый тест: выключить кампанию на 2 недели и посмотреть, сколько подписок перешло в органику.
Для долгосрочной картины по всем каналам сразу используют маркетинговое моделирование, MMM. Модель строится на недельных данных расходов и продаж за год-два. Открытые инструменты вроде Robyn от Meta и Meridian от Google снизили порог входа, но модели всё равно нужны данные за длинный период и человек, который умеет проверять её на здравый смысл.
Практичный ритм для небольшой продуктовой команды из трёх-пяти человек: постоянный холдаут на собственных каналах, один рекламный тест инкрементальности в квартал на канал с самым большим подозрительным ROAS и пересмотр коэффициентов после каждого теста. Коэффициент из теста можно применять к ежедневному ROAS в дашборде, пока не проведён следующий тест.
Чек-лист перед тем, как урезать или раздувать кампанию
Прежде чем менять бюджет кампании по ROAS, полезно пройти короткий список:
- известно, какое окно атрибуции стоит в отчёте и совпадает ли оно у сравниваемых каналов;
- проверено, пересекается ли аудитория кампании с пользователями, которых уже ведут пуши, письма и экраны внутри продукта;
- для канала есть хотя бы один тест инкрементальности за последние 6 месяцев или понятно, когда он будет;
- iROAS сравнивается с порогом окупаемости по валовой марже, а не с ROAS других каналов;
- учтено, что тест мерит короткий эффект, и для охватных форматов результат скорее занижен;
- значимость результата теста проверена, а не прочитана из одного числа lift;
- продуктовые изменения за период теста записаны, чтобы не приписать их эффект рекламе;
- решение о бюджете принимается вместе с владельцем продуктовой воронки, а не только маркетингом.
Если три пункта из восьми не выполнены, бюджет лучше не трогать резко. Безопаснее сдвинуть 10% или 20% и одновременно запустить тест, чем перевести половину денег по цифре, которую никто не проверял. Небольшой сдвиг сам по себе даёт данные: если доход в целом не изменился, канал, из которого ушли деньги, был менее инкрементальным, чем казалось.
Рекомендация с условиями. Принимайте решения о бюджете по iROAS, если у канала есть свежий тест инкрементальности и результат значим. Пользуйтесь ROAS для ежедневной работы со ставками и креативами внутри канала. Не сравнивайте по ROAS каналы с разной близостью к покупке, особенно ретаргетинг с привлечением новой аудитории. И если тестов пока нет, начните с того канала, где ROAS выше всего: там вероятнее всего найдутся деньги, которые реклама приписывает себе, а продукт заработал сам.