А/В тестирование сайта постепенно входит в «моду» Рунета и все большее количество специалистов начинают применять его для оптимизации сайтов. Вместе с тем, все еще немногие аналитики готовы публично обсуждать проблемы и перспективы этого направления веб-аналитики. Ощущается некий информационный вакуум по вопросу А/В тестирования.

Не секрет, что А/В тестирование является одним из самых действенных методов веб-аналитики, использование которого позволяет относительно быстро добиться позитивных результатов в оптимизации сайтов. В качестве подтверждения этого тезиса отмечу, что в тех странах, где веб-аналитика является достаточно распространенным направлением деятельности, А/В тестирование занимает второе место по популярности среди других методов оптимизации сайтов.

Востребованность А/В тестирования объясняется следующими причинами:

Во-первых, с помощью этого инструмента проще проверять эффективность внесенных на сайте изменений. Т.е. вам не нужно иметь много знаний об особенностях восприятия информации посетителями — вы просто меняете элементы сайта один за другим, как конструктор.

Во-вторых, сам процесс А/В тестирования намного легче, чем многопараметрические проверки сайта, которые чаще всего советуют проводить западные авторы популярных книг по анализу сайтов.

Как показывает практика, если вы уже устранили на сайте наиболее критические проблемы и добились существенного роста конверсии, то можно не спеша проводить многопараметрические проверки, добиваясь дальнейшего роста коэффициента конверсии в среднесрочной перспективе. В свою очередь А/В тестирование помогает решать ключевые проблемы здесь и сейчас, что подчас важнее долгосрочного эффекта.

В-третьих, отдавая предпочтение А/В тестированию вы уменьшаете риск, что где-то ошибетесь и начнете оптимизировать те элементы, которые по-вашему мнению в этом нуждаются, а на самом деле вполне нормально работают. Обычно это распространенная ошибка начинающих аналитиков, которые стараются оптимизировать на сайте «все и вся» с помощью многопараметрических проверок, не придерживаясь определенной методологии.

Однако не бросайте все сразу, чтобы немедленно приступить к А/В тестированию. Как и любая другая методика, она имеет свои «подводные камни».

Обратите внимание на следующее:

1. Когда вы принимаете решение применить А/В к оптимизации сразу нескольких ключевых страниц сайта, то запаситесь терпением — процесс не такой уж быстрый, как вам бы наверное этого хотелось. Многое зависит от двух факторов:
   • а) качества входящего трафика: чем больше трафик, тем быстрее можно отследить реакцию посетителей на вносимые изменения, и отдачу от оптимизационных мероприятий;
   • б) степени сложности решаемой проблемы. Ведь на сайте есть очевидные проблемы, видимые невооруженным взглядом, а есть и скрытые, которые можно зафиксировать с помощью длительного наблюдения за поведением посетителей. Например кнопка, которая визуально сливается с фоном — это явная проблема. Ее исправление не требует много времени. А выяснение, почему небольшой блок мотивирующего текста игнорируется посетителями — это требует более значительных усилий и времени.
   • Решение проблемы: выделите и тестируйте в первую очередь те элементы сайта, которые наиболее негативно влияют на ключевые показатели эффективности сайта.
2. Когда вы проводите А/В тестирование с помощью программы Website Optimizer, вы не получите детализированных данных о том, как именно посетители взаимодействуют с измененными элементами сайта. Помните, что просто видоизменить тот или иной элемент недостаточно — важно знать реакцию посетителей. Т.е. помог ли видоизмененный элемент скорректировать поведение посетителей в нужном вам ракурсе.

Решение проблемы: параллельно с Website Optimizer используйте систему веб-аналитики, которая позволяет визуализировать поведение посетителей на сайте. Поэтому когда Website Optimizer показывает, что измененный элемент не работает, с помощью системы веб-аналитики вы можете увидеть, почему это происходит.

Есть еще одно обстоятельство, на которое почти никто не обращает внимание. Когда вы тестируете какой-то элемент (или группу элементов), вы определяете его эффективность на той категории посетителей, которые пришли на сайт по факту. Но вы не можете предугадать, как с тестируемым элементом будут взаимодействовать другие пользователи.

Что получается: вы видоизменяете, как вам кажется, проблемный элемент и показываете новую его вариацию части посетителей. Если конверсия сайта (или ключевые показатели эффективности сайта) возрастает, вы считаете, что тестирование прошло успешно и можно оставлять «победивший» вариант.

А что делать, если посетители, не совершившие конверсионных действий с победным вариантом, могли успешно совершить его с «проигравшим» вариантом?

Этот парадокс можно разрешить очень простым способом. Не поленитесь и проведите повторное тестирование, что позволит вам убедиться, что новый элемент работает однозначно лучше его предыдущего варианта. Для этого необходимо создать новый тест, в котором «проигравший» вариант должен показываться значительно большей аудитории, нежели «победитель».

Этот эксперимент однозначно развеет всякие сомнения насчет правильности выбора — если при повторном тестировании вариант-победитель снова окажется в лидерах, значит тест проведен успешно.

Резюме

Эффективность многих методов А/В тестирования приходится проверять на практике самостоятельно, но это обстоятельство нисколько не снижает их перспективности. Культура А/В тестирования еще не совсем прижилась в Украине (хотя безусловно, положительные тенденции уже есть), поэтому те, кто использует этот метод для оптимизации сайтов, получают ощутимые преимущества уже сейчас.