Что такое A/B тест, как его проводить и интерпретировать данные

Это руководство для маркетологов, руководителей и предпринимателей. Аналитикам и дата-саентистам не читать!

Что такое A/B-тестирование?

Начнем с базы. Представь, что у тебя два варианта посадочной страницы: A и B. Ты не знаешь, какая из них круче, поэтому половину трафика ведёшь на страницу A, половину на B. А после ты сравниваешь показатели. Вуаля – ты знаешь, какой вариант приносит больше денег!

Как провести A/B-тестирование без искажения данных

Золотое правило: одно изменение — один тест. Не пытайся протестировать сразу много, иначе не поймешь, что именно работает. Например, “новая форма оплаты” и “новый оффер на баннере” — 2 разных теста.

Исключение, когда изменений слишком много. Если полностью обновили лендинг, тестировать каждый блок отдельно уже нереально. Да простят меня дата-саентисты, другого выхода нет, тестируем целиком.

Не тестируй мелочи. Выбирать цвет кнопки с помощью A/В теста — преступление. Проверяй только сильные и важные гипотезы, иначе не хватит ни времени, ни ресурсов.

Как составить дизайн A/B теста?

Не забывай о расчетах. Сначала определи, сколько времени тебе понадобится для теста и сколько данных нужно собрать.

Хорошими помощниками будут готовые калькуляторы. Можешь использовать от Mindbox или Яндекс Директ.

Чтобы составить план теста, нужно прикинуть:

• насколько сильно (по твоим ощущениям) вырастет целевая метрика, например, конверсия,
• сколько трафика сейчас идет на страницу

На выходе калькулятор подскажет, сколько времени нужно проводить тест, чтобы статзначимо получить достоверный результат. Чем меньше у тебя трафика и чем меньше изменения влияют на метрики, тем дольше нужно проводить A/B тест.

Зачастую в небольших компаниях нужны годы, чтобы получить статзначимый результат. Не можешь получить результат A/B теста за месяц-два? Отложи, пока не появятся более сильные гипотезы и не сможешь покупать больше трафика.

Как технически провести A/B-тестирование

Посмотри ещё раз на блок-схему выше. Сердце теста в маршрутизаторе, который перенаправляет пользователей. Ниже 3 варианта его исполнения.

Вариант 1. Отвратительный.

Вести часть трафика на одну страницу, а часть — на другую. Многие так делают, но получают результаты, «притянутые за уши».

Чем плохо: Сравнивать трафик с разных каналов – верный путь к ошибке! Они привлекают разную аудиторию, и ты можешь не заметить искажения данных. Два объявления, даже в одном канале на одну ЦА часто дают разный эффект.

Представь: два объявления, ты тестируешь два варианта лендинга. Одно объявление приводит более «горячую» аудиторию, другое – менее. Вариант A показывает конверсию 5%, вариант B – 3%.

Кажется, вариант A – победитель? Нет!

Мы не можем исключать, что, варианту A просто «повезло» с качеством аудитории. Вот и попали в тупик неверных данных.

Вариант 2. Плоховатый, но быстрый.

Использовать сервисы JavaScript редиректа. Кажется, вот оно – решение: загружаешь страницу, сервис перенаправляет часть трафика на B версию, и вуаля, ты – король A/B-тестов. Но не тут-то было.

Чем плохо:

• У пользователя медленный интернет? Слабое устройство? Он сначала увидит A-версию, а потом его перекинет на B. Прощай, точность.
• Аналитика в шоке! Системы не понимают, где A, а где B, и записывают пользователей в обе группы. Каша из данных обеспечена.

Вариант 3. Хороший.

Перенаправлять пользователей до загрузки страницы, на уровне сервера. Пользователь сразу видит нужную версию, никаких искажений данных. Но придется помучить разработку. Если твои гипотезы достаточно сильны, трафик измеряется сотнями тысяч, а калькуляторы показывают срок теста 1-2 месяца, не поленись, двигайся по 3 варианту, не мирись со вторым. Опереться на неверные данные проще простого.

Как подводить итог

Запомни: недостаточно смотреть на отдельные метрики, нужен комплексный подход.

Представь: ты тестируешь новый дизайн кнопки «Заказать», количество кликов увеличивается на 10%, при этом продажи не меняются. Скорее всего, новая кнопка привлекает внимание нецелевой аудитории. Плюс лишняя работа у отдела продаж и минус деньги.

Смотри на сквозные метрики! Вплоть до выручки. В идеале до LTV. Хотя до такого уровня дзен умеют считать единицы.

Как считать погрешность

Вариант 1. Воспользоваться уже знакомыми калькуляторами из пункта выше.

Вариант 2. Посчитать по формуле:

Ваглядит сложно. Но давай разберемся.

Вариант 3. Провести A/A/B-тестирование. или A/A тестирование

Как работает:

• Две группы аудитории получают одинаковую старую версию, а третья – новую.
• Результат считается статистически значимым, когда показатели в двух «А» группах сравняются.
• Если делать просто A/A тест, то ты получишь ориентир, при каком объеме данных у тебя получается статзначимый результат.

Чудеса проведения тестов

Не забывай про эффект новизны. Представь: ты внедряешь новую “фишку” в версии B. Конверсия сначала растет, но затем выравнивается и становится одинаковой в обеих версиях.

Почему? Аудитория «потрогала» новую фишку, привыкла к ней и стала пользоваться продуктом как раньше. Классика для тех, у кого много постоянной аудитории.

Что делать?

• Определить объем аудитории для времени «выравнивания» и само время.
• Заложить его в дизайн A/B-теста.

Вариант проще — поставить задачу аналитику, составить формулу для расчета этого «выравнивания». Они точно любят такие задачки!

Заключение

A/B-тестирование – достаточно ограниченный инструмент, который требует много сил, времени и денег. Попасть в ловушку искажения данных проще некуда, но если разобраться и действовать грамотно, перед тобой откроется мир высокой конверсии и продаж.

Используй его с умом, и твой бизнес станет непобедимым!