Что означает A/B тестирование а также для чего этот метод нужно
сплит проверка являет из себя подход сопоставления нескольких а также разных решений страницы, интерфейса, копирайта, элемента действия, анкеты, email-сообщения, маркетингового сообщения либо другого цифрового блока. Главная функция заключается в задаче, дабы выяснить, который формат результативнее функционирует при фактической аудитории. Вместо догадок а также личных оценок используется эксперимент среди живой посетителей, при которой контрольная группа получает версию A, а тестовая — вариант B.
Подобный принцип дает возможность формировать действия по результатах данных, вместо этого без опоры на индивидуальных вкусов или нерегулярных замечаний. В аналитических источниках, среди них 1вин, часто отмечается, будто A/B эксперимент особо эффективно там, при которых небольшие изменения могут влиять в отношении реакции посетителей: переходы, регистрации, передачу анкет, длину сессии, возвращаемость, транзакции, оформления подписок либо прочие нужные действия. Подход помогает увидеть, реально ли конкретно корректировка повышает 1win эффект.
Как функционирует A/B тестирование
Принцип A/B эксперимента достаточно несложен. Вначале выбирается объект, который нужно проверить. Это имеет шанс быть заголовок, визуальный тон CTA-элемента, расположение элементов, сообщение сообщения, структура анкеты, картинка, цена, вариант предложения либо позиция важного шага. Далее готовятся не менее пары решения: исходный плюс тестовый. Вслед за этим посещения разделяется между ними на основе заранее заданным параметрам.
Одна часть пользователей остается просматривать исходную страницу, и другая получает новую. Система фиксирует данные о действиях любой группы затем анализирует метрики. В случае если решение B показывает более высокий показатель на фоне достаточном массиве данных, эту версию допустимо внедрять. Когда разницы не видно либо новая страница работает слабее, корректировка убирается. Именно в таком подходе и состоит реальная ценность эксперимента: эксперимент помогает оценивать идеи перед полного 1вин релиза.
Почему используется А/Б эксперимент
сплит эксперимент нужно с целью уменьшения неясности. В онлайн сервисах включая малая особенность имеет шанс влиять на восприятие дизайна. Одиночный headline способен оказаться понятнее другого, краткая анкета способна отправляться активнее объемной, а намного более видимая кнопка способна увеличить количество переходов. Без тестирования такие результаты обычно сохраняются предположениями.
Эксперимент позволяет развивать платформу постепенно. Взамен полной переработки всего проекта а также аппа можно оценивать конкретные блоки плюс записывать фактический результат. Такая логика снижает вероятность слабых правок, сберегает время и средства а также дает возможность собирать знания про поведении пользователей. С течением периодом проект 1 win получает не набор суждений, но систему валидированных действий.
Какого типа объекты допустимо сравнивать
Проверять допустимо почти что разный элемент, какой сказывается на действия аудитории. Как правило всего оценивают headline-блоки, разделы, обращения к переходу, тексты CTA-элементов, формы регистрации, позицию элементов, визуалы, страницы продуктов, последовательность действий, сортировки, список разделов, промоблоки, сообщения, рассылки плюс маркетинговые объявления. Важно, дабы выбранный объект оставался объединен с определенной конкретной целью.
Когда задача проявляется в увеличении заполненных обращений, логично тестировать анкету, сообщение рядом с формы, количество строк а также видимость CTA. Когда нужно увеличить объем просмотра, стоит оценивать переходы, секций подсказок, внутрисайтовые линки плюс построение раздела. Если точнее зависимость 1win между правкой а также задачей, тем полезнее итог тестирования.
Предположение в роли база теста
Каждый качественный сплит тест начинается с проверяемой идеи. Предположение формулирует, какого типа правка предлагается, почему это изменение способно сказаться по части показатель и какой именно метрика должен сдвинуться. В частности, можно допустить, что уменьшение формы регистрации сократит объем уходов, потому ведь посетителю потребуется меньший объем времени с целью выполнения шага.
Качественная формулировка не должна быть чрезмерно размытой. Формулировка наподобие «сделать страницу лучше» не помогает дает возможность зафиксировать показатель. Намного более полезный пример: «если обновить длинный текст кнопки на более сжатый а также точный, объем нажатий увеличится, потому что действие будет яснее». Эта гипотеза сразу же 1вин задает предмет эксперимента, логику и показатель.
Базовая и экспериментальная выборки
На уровне А/Б тестировании исходная аудитория видит исходный вариант, а тестовая — новый. Такое распределение нужно ради объективного сравнения. В случае если только обновить версию затем сопоставить результаты до плюс вслед за, эффект способен исказиться по причине сезонности, промо нагрузки, изменения источников трафика, событий, технических ошибок а также других сторонних причин.
Одновременный показ отличающихся версий уменьшает влияние внешних условий. Контрольная и тестовая выборки находятся на уровне близкой среде: единый и тот идентичный период, те идентичные потоки посещений, близкие девайсы а также общий окружение. Поэтому отличие по метриках с 1 win повышенной степенью вероятности связано как раз с правкой, но не столько с посторонними случайными условиями.
Какие именно критерии применяются при A/B проверках
Показатель — это число, согласно которого измеряется итог проверки. Определение показателя зависит на основе задачи теста. В случае лендинга с активной формой значимы передачи заявок, ради интернет-магазина — добавления внутрь покупку а также покупки, ради медиа — объем изучения и время чтения, ради приложения — оформления профилей, первые действия, возвращаемость и повторные 1win события.
Существенно отделять главную и вторичные критерии. Главная показывает, зачем какого результата запускается эксперимент. Дополнительные дают возможность понять вторичные последствия. В частности, правка элемента действия может усилить клики, однако снизить результативность дальнейших событий. Из-за этого разумно анализировать не лишь на стартовый шаг, но также на последующее действие: завершение формы, повторные визиты, отказы, проблемы плюс итоговую значимость результата.
Статистическая значимость
Математическая достоверность показывает, в какой степени реалистично, что наблюдаемая расхождение в паре решениями не считается является статистическим шумом. Если первый формат незначительно опережает альтернативный вслед за ряда малого числа сессий, подобный итог еще не подтверждает означает победу. При малом объеме сведений показатель может резко поменяться, после того как 1вин выборка будет объемнее.
С целью корректного заключения необходимо значительное число наблюдений. Насколько ниже планируемая дельта среди версиями, тем больше сведений нужно накопить. Если правка должна улучшить результат лишь около пару %, тесту нужно будет значительно больше срока а также трафика. Расчетная существенность позволяет не принимать поспешные решения с опорой на результатах нестабильных изменений.
Объем наблюдений плюс продолжительность проверки
Размер выборки сказывается по части точность результата. Если эксперимент видит слишком мало пользователей, выводы имеют шанс быть сомнительными. К примеру, пять дополнительных кликов в конкретной группе способны показываться словно увеличение, но в условиях значительном масштабе окажутся обычной погрешностью. Поэтому до момента запуском полезно понимать, какой объем посетителей 1 win а также конверсий необходимо с целью подтверждения идеи.
Срок проверки дополнительно сохраняет значение. Чрезмерно быстрый период проверки может не отражать различия в паре будними плюс выходными периодами, дневной по времени а также послерабочей посещаемостью, отличающимися источниками пользователей. Обычно эксперимент обязан захватывать целый период активности пользователей. При этом условии слишком затянутый период проверки равно нежелателен, когда сторонние факторы начинают заметно измениться.
Почему не стоит менять тест по ходу время работы
Распространенная из частых проблем — вносить правки в эксперимент после момента старта. Если по ходу середине эксперимента изменить сообщение, аудиторию, дизайн, условия демонстрации а также цель, наблюдения станут неоднородными. Тогда окажется сложно выяснить, какое изменение именно воздействовало по части итог. Тест потеряет корректность, при этом выводы окажутся спорными 1win.
До момента запуском необходимо определить проверяемую идею, версии, метрики, распределение аудитории и условия остановки. С момента начала правильнее не стоит менять условия без критичной основания. Когда найдена проблема на уровне конфигурации или системный дефект, лучше остановить эксперимент, устранить ошибку а также создать повторный тест, нежели пытаться объяснять некорректные показатели.
Одновременное проверка нескольких изменений
В отдельных случаях формируется желание оценить за один раз группу правок: обновленный headline, другую кнопку, упрощенную заявку и перестроенный последовательность блоков. Такой вариант способен показать итоговый эффект, но не раскроет, какой именно именно блок воздействовал на метрику. Когда новая страница победила, будет непонятно, какой элемент помогло сильнее всего.
Для корректной проверки обычно меняют единственный существенный элемент в 1вин один этап. Если требуется сопоставить многие сочетаний, задействуется мультивариантное сравнение. Оно труднее, требует значительного объема посещений а также аккуратной расшифровки. Для большинства сценариев A/B тест с одной точной гипотезой показывает гораздо более корректный плюс полезный эффект.
Варианты A/B экспериментов на уровне дизайне
На уровне дизайнах А/Б проверка нередко используется с целью повышения ясности сценариев. В частности, допустимо сравнить пару версии заявки: объемную с множеством полей плюс упрощенную с минимальным малым комплектом сведений. В случае если упрощенная заявка усиливает количество завершенных оформлений профиля без потери результативности обращений, этот вариант можно оценивать намного более эффективной.
Другой сценарий — проверка надписи CTA. Сдержанная фраза имеет шанс оказаться не такой ясной, относительно конкретное название шага. Дополнительно сравнивают расположение CTA-элементов, очередность информационных разделов, оформление 1 win подсказок, присутствие индикатора прогресса, метод отображения сбоев и объем шагов внутри сценарии. Каждый подобный элемент сказывается в отношении то самое, как легко завершить заданное событие.
А/Б тестирование на уровне материалах
На уровне содержании эксперимент помогает выяснить, какие заголовки, тексты, построения плюс типы сильнее сохраняют вовлечение. Получается сопоставлять разные первые абзацы, размер материала, логику объяснений, наличие перечней, дизайн блоков, описание плюсов либо формат раскрытия непростой темы. Вместе с этом существенно оценивать не исключительно клики, однако и следующее взаимодействие.
Headline способен повысить количество переходов, однако если контент не отвечает запросам, повысится доля быстрых выходов. Из-за этого редакционные проверки нужны чтобы учитывать ценность чтения: время чтения, скролл, перемещения в пределах ресурса, возвращения и завершение заданных событий. Сильный результат — является не просто просто захват внимания, вместо этого совпадение ожидания плюс материала.
А/Б тестирование на уровне email-кампаниях
Внутри email-кампаниях часто проверяют заголовки сообщений, подпись отправителя, стартовые фразы, время рассылки, размер письма, место CTA-элементов а также описания предложений. Одна часть получателей открывает первую вариацию сообщения, второй сегмент — тестовую. Затем рассылкой сравниваются просмотры, переходы, отписки, претензии плюс последующие реакции внутри ресурсе.
Необходимо не стоит ограничиваться метрикой просмотров письма. Заголовок email может оказаться яркой плюс захватывать интерес, при этом если она не сможет совпадает наполнению, нажатия и лояльность могут уменьшиться. Поэтому качественный email-тест анализирует полную последовательность: open-событие, переход, поведение сразу после нажатия и ответ получателей касательно письмо.
