Средняя температура по больнице
Когортный анализ любят называть базовым инструментом продуктовой аналитики. В реальности его либо трогают поверхностно, либо не трогают вовсе, а вместо него смотрят на общие цифры: средний retention, средний LTV, общий churn. Такие показатели удобно ложатся в отчёт и почти ничего не объясняют.
Причина проста. Среднее сглаживает разницу между людьми, которые пришли в продукт в разное время, из разных каналов и с разной мотивацией. Один аккуратный процент вбирает в себя и тех, кто остаётся месяцами, и тех, кто ушёл на второй день, и на выходе получается число, за которым не видно ни одних, ни других. Решения после этого принимаются по картинке, а не по тому, что происходит на самом деле.
Смысл когортного анализа не в том, чтобы усложнить дашборд. Он отвечает на один честный вопрос: что случается с пользователями после того, как они пришли, и как это поведение меняется со временем.
Где ломается обратная связь
Когда метрики продукта проседают, разговор быстро уходит на конкретные релизы и конкретных людей. Вопрос, на каких данных вообще принимались решения, звучит редко. А зря: обычно корень там.
Без когортного разреза команда работает вслепую. Retention падает — и непонятно, у новых пользователей или у старых. LTV растёт — неясно, за счёт кого. Есть агрегированные цифры, которые пытаются читать как поведение, хотя они его не описывают.
Дальше ломается весь контур управления, и это уже не чья-то персональная оплошность, а свойство системы. Маркетинг оптимизирует привлечение по CPA, продукт следит за общим retention, бизнес считает выручку целиком. Все три показателя могут улучшаться ровно в тот момент, когда продукт теряет ценность для новичков. Изменения внедряются, эффект оценить нечем, стратегия строится на шуме.
Ошибка, которая учит, и ошибка, которая имитирует
С первого раза когортный анализ почти ни у кого не получается, и это нормально. Ошибиться в выборе когорт, периодов или метрик на старте аналитической зрелости неизбежно. Взять слишком грубую когорту (например, разложить всех по дате регистрации, не разделяя каналы), уже лучше, чем смотреть на одну общую цифру: первый контур динамики виден даже так. Если команда замечает, что такой разрез не даёт ответов, и уточняет вопросы, ошибка работает на обучение. Когортный анализ вообще итеративен, это не разовая настройка отчёта.
Граница проходит там, где когорты перестают влиять на решения. Отчёты выходят в срок, графики обновляются, дашборд открывают на еженедельной встрече, а ни один продуктовый выбор за квартал не изменился из-за того, что показали когорты. В этот момент анализ превращается в ритуал: расходы на него остаются, отдача исчезает. Тот же признак — когда данными подтверждают заранее принятое решение, подгоняя разрез под гипотезу. И третий — когда новые когорты стабильно хуже старых, а это списывают на «сезонность» без единой проверки. Тут проблема уже не в данных, а в мышлении.
Когорты в discovery, delivery и коммуникации
Когорты по-разному включаются в три контура продуктовой работы, и порядок здесь естественный.
- В discovery они меняют сам вопрос: вместо «почему упал retention» появляется «какие когорты удерживаются хуже и почему». Становится видно, что пользователи из нового канала уходят быстрее, или что после переделки онбординга свежие когорты стали активнее. Без этого discovery опирается на интервью и интуицию, не связывая их с реальным поведением, и легко скатывается в гадание.
- В delivery они показывают, сработало ли изменение. После выхода фичи смотреть надо не на общий retention, а на тех, кто пришёл уже после релиза. Ведут себя лучше — изменение работает; хуже — проблему видно сразу, а не через квартал. Иначе delivery живёт в иллюзии прогресса: метрика растёт за счёт старожилов и маскирует деградацию продукта.
- В коммуникации они дают командам общий предметный язык. Маркетинг, продукт и бизнес начинают говорить о конкретных группах, а не о средних, и споры «у нас всё хорошо» против «у нас всё плохо» сменяются разговором о том, где именно система работает, а где нет. Меньше эмоций, больше конкретики.
Как это выглядит в цифрах. Пусть общий retention на 14-й день месяц за месяцем держится на 30% — картина спокойная. Но если разложить его по когортам, зрелые пользователи могут удерживаться на 45%, а каждая новая когорта после недавнего релиза давать уже 18%. Средние 30% просто прикрывают тот факт, что приток «тяжёлых» старых когорт какое-то время компенсирует провал у новичков. Когда старые когорты естественно истончатся, средняя рухнет, и реагировать будет поздно, хотя сигнал был отчётливо виден в когортном разрезе за несколько месяцев до того, как он вообще проступил в общей цифре.
Что выдаёт зрелость, а что её отсутствие
Зрелость видно не по наличию отчёта, а по тому, живёт ли он внутри работы. У зрелой команды когорты обновляются, сравниваются между собой и попадают в планирование и ретроспективы под конкретные гипотезы, а не строятся «на всякий случай». Незрелость — когда когортный отчёт существует отдельно: его открывают аналитики, но не используют PM и менеджеры.
Ломается когортный анализ обычно двумя способами. Первый — когорты либо не строят, продолжая верить, что средних достаточно, либо строят криво: берут не то базовое событие или смешивают в одной группе органику и платный трафик, и поведение снова усредняется до бессмысленности. Второй — их строят, но не используют, и приметы этого узнаваемы:
- Данные обновляют редко, поэтому картина запаздывает.
- Интерпретацию подгоняют под ожидания, а не читают честно.
- Ухудшение новых когорт замечают, но списывают на внешние причины.
- Когорты есть только для отчётов и ни с одним продуктовым изменением не связаны — самый тихий случай.
Формально инструмент работает, управленческой ценности ноль. И почти всегда рядом живут две фразы-маркера: «в среднем retention нормальный» — отказ смотреть в детали — и «это просто сезонность», сказанное без проверки когорт.
Кейс: канал, который убивал retention
Продукт показывал стабильный общий retention. Отчёты выглядели спокойно, команда считала, что развитие идёт нормально.
Запустили новый маркетинговый канал. Трафик вырос, регистраций стало больше, средние показатели почти не сдвинулись. Но первый же когортный разрез показал: новички из этого канала уходят заметно быстрее старых пользователей: их retention на второй неделе был вдвое ниже.
Разобрались в причине: реклама обещала сценарий, которого продукт не поддерживал, и люди разочаровывались сразу после первого опыта. Канал не стали рубить сгоряча: поменяли позиционирование и онбординг, и новые когорты выправились. Без когортного анализа проблема так и осталась бы спрятанной за средними.
Кейс: усложнённый первый платёж
Здесь продуктовая команда видела падение выручки при стабильном трафике. Активных пользователей примерно столько же, средний чек колеблется в пределах нормы: на уровне агрегатов всё походило на временную флуктуацию. Причину привычно искали в рынке и сезонности, обсуждали акции, скидки и новые тарифы, но всё это оставалось гипотезами, а ощущение, что продукт «что-то теряет», не уходило.
Когортный анализ по дате первой покупки развернул картину. Старые когорты покупали с прежней частотой, новые резко проседали уже в первые недели. Значит, дело не в продукте вообще, а в опыте новичков. Дальше нашлась и механика: за последние месяцы первый платный сценарий оброс дополнительными шагами, условиями и ограничениями: старых клиентов это почти не задевало, а новых било критично. Команда упростила первый платёж и пересобрала вокруг него коммуникацию, свежие когорты пошли лучше, выручка стабилизировалась без агрессивного маркетинга. Иначе оптимизировали бы не ту часть системы.
Как проверить себя
Полезно честно ответить на несколько вопросов.
- Смотрим ли мы когорты регулярно, а не раз в год, и понимаем ли, какое базовое событие лежит в их основе.
- Разделяем ли пользователей по времени прихода и каналу, и видим ли разницу между старыми и новыми когортами, а не только средние.
- Проверяем ли эффект фич именно на новичках и отслеживаем ли ухудшение свежих когорт, вместо того чтобы прятать его за общей цифрой.
- Связаны ли когорты с продуктовыми гипотезами и приоритетами, не оправдываем ли мы проблемы «внешними факторами» без проверки, и меняются ли реальные решения после того, как мы посмотрели на разрез.
Если отчёт есть, а решения прежние, инструмент не работает.
Стоит различать когорты и обычную сегментацию. Сегментация показывает разницу между группами в одной точке времени, когорты — изменение поведения группы во времени; в идеале их используют вместе. Временные когорты (по регистрации, первой покупке, первому запуску) — не единственный вариант: полезны разрезы по каналу, тарифу, региону, типу поведения, лишь бы когорта отвечала на конкретный вопрос, потому что универсальных когорт не бывает. Анализируют по ним retention, активность, конверсию, выручку, LTV — всё, что связано с ценностью, а не vanity-показатели. На ранней стадии данные шумные, но даже простое деление по неделям прихода спасает от того, чтобы принять рост трафика за рост ценности.
Часто когорты игнорируют именно потому, что они разрушают удобные иллюзии и требуют работы: корректных данных, интерпретации, обсуждения. Но это и есть их смысл. Когортный анализ — не продвинутая техника для аналитиков, а базовый способ продуктового мышления: он показывает реальное поведение вместо сглаженной картинки, вскрывает то, что средние прячут, и даёт управлять развитием осознанно. Реальность он не упрощает, а делает её управляемой.