A/B Testing
A method of comparing two variants (A and B) to determine which performs better. In delivery, used for testing menu design, pricing, promotions, and notification copy. Requires statistically significant sample sizes.
Что можно проверять в доставке
A/B-тест делит трафик на две части и показывает им разные варианты, чтобы разница в результате объяснялась изменением, а не сезоном. В доставке осмысленно тестировать немногое: порог бесплатной доставки, состав допродажи в корзине, порядок категорий в меню, формулировку и глубину промокода, текст push-уведомления. Всё, что меняет операционку — время доставки, зоны, состав блюд, — тестировать так нельзя: там нельзя разделить аудиторию честно.
Почему большинство тестов бессмысленны
Две причины. Первая — размер выборки: чтобы увидеть разницу в конверсии на два процентных пункта, нужны тысячи наблюдений в каждой группе, а не двести. При меньшем объёме вы измеряете случайность. Вторая — метрика: тест на конверсию корзины, который поднял конверсию и уронил чек, выглядит победой и является проигрышем. Метрику надо выбирать до запуска и считать вклад, а не процент.
Как это устроено в Delever
В Delever видны заказы, средний чек и выручка в разрезе каналов, точек и датам — это измерительная база для сравнения. Инструменты, которые меняют: порог бесплатной доставки и тарифы по зонам, модификаторы и наборы в меню, промокоды с ограничениями, рассылки по сегментам. Практичный способ при небольшом потоке — последовательное сравнение: две недели один вариант, две недели другой, в сопоставимые периоды без акций.
Частые ошибки
Первая — останавливать тест, как только появилась разница: на малых числах она появляется и исчезает сама. Вторая — тестировать два изменения одновременно и не понимать, какое сработало. Третья — считать конверсию, а не вклад. Четвёртая — сравнивать несопоставимые периоды: неделю с акцией против недели без неё.