Заметила, что несколько сайтов, которыми я пользуюсь, сделали редизайн из интерфейса “нулевых” на модный современный. Причем когда я говорю про интерфейс нулевых, это прям реально так, в комменты закину пример. Однако новые модные интерфейсы в обоих сайтах работают плохо, например не открывается новая вкладка, не работает отмена заказа, выполненные заказы одновременно висят в отмененных и не только.
Я не знаю, как у них проходило A/B тестирование новых интерфейсов и проходило ли, но по опыту могу предположить, что тут есть сразу две ловушки.
Ловушка #1. Дата-дривен подход всегда
Масштабный редизайн почти всегда приводит к падению метрик в моменте, как минимум из-за эффекта новизны. Пользователи уже смирились с интерфейсом нулевых, как-то этим пользуются, он работает. В новом дизайне кнопки могут быть расположены чуть по другому, их сложнее найти (они стали круглыми 🤓), в результате конверсии в моменте могут упасть.
В таком случае следуя data-driven подходу раскатывать на всех новый дизайн никто не будет, в результате мы все еще живем со старыми дизайнами. Самый яркий пример – Amazon, его дизайн очень перегружен, на мой взгляд смотрится плохо. Скорее всего при этом он очень конверсионный и имеет некоторый локальный оптимум, из-за чего все другие изменения конвертят хуже, A/B тесты на редизайн проигрывают. Только так я могу объяснить настолько тяжелый дизайн карточки товара на амазоне.
Однако нужно учитывать, что чаще всего старый дизайн это жуткий легаси код, на старых фреймворках, даже возможно на языке Perl, что в любом случае сложно поддерживать, а новый дизайн избавляет от техдолга. Из этого следует вторая ловушка.
Ловушка #2. Раскатить A/B на всех, несмотря на падение метрик
В какой-то момент на уровне всего продукта может быть принято решение все равно раскатывать новый интерфейс, потому что он производительнее, поддерживаемее, даже несмотря на падение метрик по A/B.
И с одной стороны да, так как иначе можно застрять в локальном оптимуме старого интерфейса и только по данным никогда оттуда не выбраться, но с другой стороны нужно быть очень осторожным. Потому что эффект новизны и производительный код это прекрасно, но на самом деле в новом интерфейсе могут скрываться баги и другие объективные причины, которые и привели к падению конверсий.
Мой опыт как пользователя: я арендую VDS, где сайт был как раз с интерфейсом нулевых. В течение последнего месяца сделали модный редизайн, в результате я не могла сегодня оплатить несколькими способами, еще и висит старый сервер, за который деньги не списывались, но он оплачен 😎 (в комментах).
В остальном все работает, хотя от интерфейса есть очень клодовый вайб с этими скругленными окошечками. Но это ладно, проблемы с оплатой могли быть не связаны с редизайном, а остальные свои задачи я в общем-то решила.
Куда хуже оказался другой сайт, где я не могла нормально записаться к врачу, так как не работал функционал открытия в новой вкладке. Именно в принципе не было возможности открыть, даже если нажать правой кнопкой. В итоге пришлось открыть самостоятельно несколько копий сайта и создать вкладки вручную. Вот тут мне кажется уже продуктовую задачу очень сильно усложнили и потребовалось вдвое больше сил, чтобы все-таки сравнить разные варианты и выбрать оптимальный.
Не знаю, катили ли в обоих случаях редизайн интерфейса через A/B, потому что если да, то я почти уверена, что падение метрик было, но все равно решили избавляться от техдолга.
А что делать?
Мораль у меня такая: всего нужно в меру, не стоит упарываться в дата-дривен и закрывать глаза на продуктовый подход, однако совсем игнорировать данные и катить тесты с падением метрик во имя избавления от техдолга тоже не вариант.
Чтобы не попасть в ловушку номер 2 неплохо проанализировать детально, почему метрики упали, и сделать следующую итерацию с исправлением найденных проблем. Чтобы не попасть в ловушку номер 1 достаточно простого советского... не быть амазоном, потому что у нас я нигде не видела такого подхода.
Ну если серьезно, есть способы минимизировать эффект новизны при анализе A/B, поэтому необязательно все же раскатывать против данных, веря в эффект новизны и только чтобы избежать судьбы амазона)
А вы сталкивались с подобным? Как думаете, это эффект A/B или дело просто в скорости и срочности раскаток?
#analytics #AB_tests