При AB-тесте сравнивается эффективность двух элементов по заданному параметру, различия между вариантами A и B при этом отличается не более 1 параметра, что важно для точного определения параметра влияющего на эффективность.
Например, если тестируется объявление в Яндекс.Директ, то в качестве параметра могут быть:
Неправильно сравнивать два абсолютно разных элемента, т.к. становится невозможным точно вычислить факторы, повлиявшие на изменение поведения пользователей.
Для проведения исследования, на разные элементы (страница, баннер, объявление) в равных долях направляются посетители (при этом сами они о тестировании не догадываются) и при достижении статистически значимого количества посетителей, производится замер показателей с целью определения "выигрышного" варианта страницы.
В зависимости от того какой элемент тестируется - могут быть выбраны разные метрики оценки эффективности:
Конверсия, Показатель отказов, Глубина просмотра, Время нахождения на сайте - для тестирования страниц
CTR - для тестирования объявлений и баннеров.
