Чек лист по сплит-тестированию сайта

Любой маркетолог или владелец сайта всегда нацелен на то, чтобы регулярно оптимизировать свой сайт и делать его более удобным и привлекательным для пользователя. Чтобы не попасть пальцем в небо, необходимо перед внедрением любого изменения на сайте проверять реакцию вашей аудитории. В противном случае вы можете ухудшить жизненно важные показатели для бизнеса и потерять прибыль. 

Сплит-тестирование заключается в том, что вы тестируете определенные элементы вашего сайта (кнопку, картинку, расположение элемента, цвет и тд) и отслеживаете, какой из них больше влияет на совершение целевых действий. В итоге после получения результатов, определяется “победитель” теста и этот элемент внедряется на постоянной основе. После этого выдвигается уже новая гипотеза и тестируется другой элемент сайта. 

Главная цель такого теста — это повысить конверсию, улучшить восприятие сайта и  получить максимальный доход из приходящего трафика. Как вы знаете, за любой переход пользователя в рекламе нужно платить, но ни одна рекламная платформа не гарантирует, что этот пользователь купит именно у вас. Чтобы не получать пустой трафик и не сливать деньги на рекламу, нужно постоянно работать над юзабилити сайта и оптимизацией конверсии, ведь только при таких условиях вы сможете обеспечить максимальную окупаемость вложенных средств на рекламу.

Для того чтобы ваше тестирование прошло эффективно и, в итоге, принесло значимый результат, необходимо знать некоторые тонкости и правила проведения теста. В нашем чек листе мы подробно разберем все эти моменты.

1. Выбор переменной

Конечно, первым делом вы должны понимать, что хотите изменить и что нужно протестировать. Это может быть любой элемент сайта: начиная от картинки в шапке до дизайна кнопок в меню. Главное правило — это выбрать только одну переменную. При внедрении нескольких изменений вы не сможете быть точно уверены, что именно повлекло изменение показателей. Поэтому лучше запомнить правило: один тест — одна переменная, тогда вы сможете точно понять результаты сплит-тестирования.

2. Составление четкой гипотезы

Перед тем, как запустить тест, вы должны иметь четко составленную гипотезу, которая отображает цель вашего тестирования. Например, “Если мы изменим CTA этой кнопки на “другой”, то показатель конверсии увеличится на n%”. Вы не должны просто рандомно менять размеры кнопок, ожидая, что что-то изменится — все ваши действия должны быть логически обусловлены. 

К примеру, вы замечаете, что пользователи часто используют поиск по сайту и, исходя из этого, вы решаете расширить фильтры, так как понимаете, что если пользователи прибегают к поиску, то они не могут самостоятельно найти нужный им товар. После этого вы можете посоветоваться с коллегами, клиентом для оценки идеи со стороны и подбора нужных фильтров. Когда вы четко сможете ответить на вопрос “зачем это нужно” и “как это повлияет на такой показатель”, тогда можно формулировать гипотезу и запускать тест.

3. Определение сегмента трафика

Главная сложность сплит-тестирования — это обеспечение идеально равных условий для двух вариантов теста. Нельзя забывать, что предвзятость аудитории может сильно исказить полученные данные: к примеру, зарегистрированные на сайте пользователи скорее всего являются вашими постоянными клиентами и изменение определенного элемента на сайте не будет как-то особо влиять на их действия на сайте, так как они уже настроены к вам лояльно. В таком случае, лучше проводить тестирование без учета зарегистрированных пользователей,  чтобы ваш трафик для двух вариантов был максимально однородным. 

Либо же вы можете изменить кабинет пользователя на сайте и узнать, как это повлияет на повторные покупки на сайте, проводя тест только для зарегистрированных пользователей. 

4. Разделение выборки поровну

Просто как важное замечание: показ двух вариантов теста должен быть распределен равномерно, вне зависимости от любых факторов. Так вы сможете получить более достоверные сведения.

5. Определение целевого показателя для оценки

Не всегда конверсия будет вашим целевым показателем, так как все зависит от того, какой элемент вы изменяете: если это будет изменение кнопки, то целевым действием будут переходы именно по этой кнопке, если вы изменяете карточки товара, то, соответственно, вы должны смотреть клики по карточкам. 

Вы, конечно, можете в итоге сравнивать количество конверсии по каждому варианту, но должны понимать, что изменение кнопки не могло напрямую повлиять на это действие на сайте. Поэтому всегда должен быть показатель, который напрямую связан с изменяемым элементом, и на которое может повлиять минимальное количество посторонних факторов.

Примечание: иногда, изменение определенных элементов, может повысить количество конверсий, но при этом уменьшить ваш общий доход. Поэтому важно не забывать об основных бизнес-показателях (средний чек, объем продаж и тд), чтобы адекватно оценивать внесенные изменения не вредя при этом доходности вашего сайта. Клики, просмотры и другие целевые действия это, конечно же, хорошо, но если при этом вы видите большую разницу по доходу, то скорее всего, вам будет просто не выгодно внедрять такое изменение.

6. Сбор данных по целевому показателю

После определения вашего целевого показателя, вы должны убедиться в том, что он правильно отслеживается в вашей системе аналитики. 

Также, желательно сразу настроить все цели на вашем сайте, так как после теста важно проанализировать влияние измененного элемента на осуществление разных действий пользователей.

7. Определение длительности теста

Четких временных рамок для проведения сплит-тестирования нет, каждый подстраивает длительность теста под свои нужды. Однако нужно учитывать, что 1-2 дня не дадут вам реального результата, минимально тест нужно проводить хотя бы неделю, а лучше две.

Так же, как один из факторов — это количество трафика на вашем сайте: если количество посетителей небольшое, то вам понадобиться больше времени для получения более точных результатов тестирования.

8. Подготовка ко всем вариантам событий

Вы должны быть готовы к тому, что ни один вариант теста не даст вам нужных результатов, и продумать варианты последующих действий. Возможно, вы оставите исходный вариант, либо измените переменную другим образом и продолжите тест. Главное, чтобы вы продумали действия на любой исход тестирования.

9. Получение обратной связи

Кроме получения статистических данных, важно услышать реальное мнение вашей аудитории насчет того, как изменения на сайте влияют на их действия и восприятие информации. Лучший способ это узнать — провести опрос среди пользователей: так вы сможете услышать про возможные недоработки на сайте или даже придумать новые гипотезы для будущих сплит-тестов. В любом случае и вне зависимости от того, проводите ли вы сейчас a/b тестирование, услышать мнение вашей аудитории всегда ценно.

10. Правильный анализ результатов

Правильный анализ результатов исходит из правильного постановления цели: в начале статьи я рассказывала про то, как важно формулировать гипотезу. А вот после окончания теста важно четко ответить на эту гипотезу и сделать нужный выбор: часто специалисты начинают отвлекаться на второстепенные данные (глубина прокрутки, процент отказов, длительность нахождения на сайте) и забывают про первоначальные цели, которые были установлены. 

Всегда начинайте с оценки вашего целевого показателя — если ваша гипотеза была верна, и показатель повысился, вы можете проанализировать бизнес-показатели, чтобы с точки зрения доходности обосновать изменения на сайте и, только после этого, вы можете просмотреть другие цели и сравнить как косвенно ваше изменение повлияло на другие целевые действия на сайте.