Шаг 4. Проводим эксперимент
Ваша гипотеза может оказаться точной или совершенно неверной. Вы не узнаете этого до тех пор, пока не проведете научный эксперимент. Его результаты либо поддержат, либо опровергнут вашу гипотезу – но в любом случае вы узнаете что-то новое о том, что заставляет ваших потребителей чаще покупать и проводить на вашем сайте больше времени.
В мире CRO эксперимент обычно принимает форму сплит-теста A/B. Половина ваших посетителей видит вашу текущую страницу, а вторая половина – ее вариацию с изменениями, которые, согласно вашему прогнозу, должны улучшить RPV. Тестирующая новую вариацию группа даже не догадывается, что видит нечто иное, поскольку новая страница идеально интегрирована в основной сайт.
Однако работающие за сценой технологии тщательно следят за тем, кто именно видит ту или иную версию, как ведут себя пользователи и, что самое важное, много ли денег они платят. По прошествии некоторого времени вы сравниваете результаты, чтобы увидеть, насколько сильно предложенная вами вариация изменила их поведение и какая из тестовых групп потратила больше денег.
Шаг 5. Анализируем результат
Проводимый вами эксперимент может иметь один из трех исходов:
• новая вариация признается «победителем», а ваша изначальная гипотеза подтверждается;
• новая вариация не «побеждает», и гипотеза отвергается;
• между данными по новой вариации и прежней версии нет существенной разницы; результаты не позволяют прийти к определенным выводам.
На первый взгляд может показаться, что вам следует молиться о том, чтобы выигрывать каждый раз. Ура! Вы открываете бутылку шампанского, помещаете тестовую страницу на свой сайт и смотрите, как посетители начинают делиться с вами денежками.
На самом же деле вам следует изо всех сил избегать мышления в стиле «пан или пропал». Нужно с одинаковым вниманием относиться и к победам, и к негативным результатам. Успех в долгосрочной перспективе возникает только при следовании научному подходу. Надежда на позитивный результат означает, что вы вкладываете в ожидание нужного вам результата слишком много эмоций, а это искажает ваше видение. Каким бы ни был исход, сделайте основную ставку на возможность научиться новому и двигаться дальше.
Зачастую победа дает вам возможность создавать дальнейшие тесты вокруг той же гипотезы, что позволяет еще сильнее закрепить успех. Свою ценность имеют и тесты, которые не приводят к победе гипотезы. Обычно вы можете многому научиться на их результатах, а полученные знания позволяют вам создать новую и более успешную с финансовой точки зрения вариацию.
Шаг 6. Интерпретируем результат
Цель