A/B testlash
Qaysi biri yaxshiroq ishlashini aniqlash uchun ikkita variantni (A va B) solishtirish usuli. Yetkazib berishda menyu dizayni, narxlash, aksiyalar va bildirishnoma matnlarini sinab ko'rish uchun qo'llaniladi.
Что можно проверять в доставке
A/B-тест делит трафик на две части и показывает им разные варианты, чтобы разница в результате объяснялась изменением, а не сезоном. В доставке осмысленно тестировать немногое: порог бесплатной доставки, состав допродажи в корзине, порядок категорий в меню, формулировку и глубину промокода, текст push-уведомления. Всё, что меняет операционку — время доставки, зоны, состав блюд, — тестировать так нельзя: там нельзя разделить аудиторию честно.
Почему большинство тестов бессмысленны
Две причины. Первая — размер выборки: чтобы увидеть разницу в конверсии на два процентных пункта, нужны тысячи наблюдений в каждой группе, а не двести. При меньшем объёме вы измеряете случайность. Вторая — метрика: тест на конверсию корзины, который поднял конверсию и уронил чек, выглядит победой и является проигрышем. Метрику надо выбирать до запуска и считать вклад, а не процент.
Как это устроено в Delever
В Delever видны заказы, средний чек и выручка в разрезе каналов, точек и датам — это измерительная база для сравнения. Инструменты, которые меняют: порог бесплатной доставки и тарифы по зонам, модификаторы и наборы в меню, промокоды с ограничениями, рассылки по сегментам. Практичный способ при небольшом потоке — последовательное сравнение: две недели один вариант, две недели другой, в сопоставимые периоды без акций.
Частые ошибки
Первая — останавливать тест, как только появилась разница: на малых числах она появляется и исчезает сама. Вторая — тестировать два изменения одновременно и не понимать, какое сработало. Третья — считать конверсию, а не вклад. Четвёртая — сравнивать несопоставимые периоды: неделю с акцией против недели без неё.