Думаю сейчас только ленивый не знает, что такое А/Б-тесты и как их использовать. Мы замеряем показатели разных заголовков, креативов, разных сайтов и делаем соответствующие выводы, что работает, а что нет.

Но так ли все просто и прозрачно на самом деле? Действительно ли А/Б тесты всегда дают 100% верные результаты?

Увы, но нет. Существует такое понятие, как «ложноположительный результат».

Допустим, вы решили провести тест заголовков в рекламной кампании Я.Директа. Есть гипотеза, проверяем её, сливая трафик на 2 объявления с разными заголовками — со временем видим, что первый заголовок дает лучше показатели, чем второй. Значит, используем только первый.

А спустя неделю мы видим, что конверсий по итогам больше не стало. Хотя был тест, который дал результаты.

Суть в том, что результат был ложноположительным. Это явление известно, как «статистическая ошибка первого типа» и «ошибочное отклонение верной нулевой гипотезы».

И самое крутое: примерно в 80% случаев результаты обычно ложноположительные.

Причины ложноположительных результатов А/В-тестирования бывают разными, но сегодня не об этом. Что делать-то в таком случае?

Альтернатива в виде AAB-теста.

AAB-тест — это когда трафик разделен на 3 части: первая и вторая часть трафика направляются на одинаковые рекламные кампании/креативы/ сайты, а третья часть идет на версию с изменениями.

Зачем это делать? Что за джедайские фокусы?

Все просто. Если провести простой тест: запустить в схожих условиях 2 одинаковые рекламы — то результаты могут быть кардинально разными, конверсия может различаться вплоть до 5 и больше процентов. Со временем показатели обеих реклам могут сравняться, а могут так и продолжить давать разные результаты.

И это большая проблема, ведь если одна и та же реклама имеет разные показатели, то как можно что-то оптимизировать? Вот именно, никак.

Поэтому, чтобы иметь опору для тестирования, мы можем сперва слить трафик на 2 одинаковые рекламные кампании (А/А-тест), а потом слить на старую и новую кампанию (А/В-тест). Либо, чтобы не терять время льем трафик сразу на 3 кампании (ААВ-тест).

Это может звучать немного дико и непонятно, поэтому вот схемка для наглядности:

Как это работает на практике.

Как только появилась гипотеза и желание провести тестирование — не спешите по-старинке делать только два варианта А и В.

1) Делаем равные условия для 3х рекламных кампаний А,А и В.

  • одинаковый источник трафика;
  • одинаковый трафик (чтобы не было, что первая кампания А принимает новый трафик, а вторая А откручивает старый);
  • одинаковое ГЕО;
  • и т.д.

2) Льём трафик и смотрим статистику;

3) Как только результаты по кампаниям А сравнялись (не раньше!) — смотрим на результаты кампании В и делаем выводы.

Этот способ тестирования дает несколько важных преимуществ:

  • Точность теста. Ведь с В мы работаем, когда уже убедились, что А гарантировано дает единый результат.
  • При анализе статистик кампаний А легко можно увидеть какие факторы повлияли на изменения. И это очень сильный плюс.
  • Получаем значительно больше статистики для последующих оптимизаций и изменений рекламе.

Конечно, ААВ-тест занимает больше времени, но точность результатов позволит с лихвой компенсировать потраченное время и деньги очень хорошей конверсией.

Тестируйте правильно, оптимизируйте по-муксимуму и наливайте в сочный профит, дорогие вебмастера! Всем аппрува!

Зарабатывай вместе с Traffic Light CPA.

Статья взята с ресурсов CPA-сети Traffic Light CPA 

Источник статьи