Генерирование новых идей — неотъемлемая часть развития любого продукта. Однако не каждая идея способна повысить конверсию, увеличить аудиторию и положительно влиять на другую метрику.
Возникает вопрос: как быстро проверить идеи и гипотезы? Есть много инструментов, но один из самых популярных — А/Б-тестирование. Расскажем о нем подробнее.
Генерирование новых идей — неотъемлемая часть развития любого продукта. Однако не каждая идея способна повысить конверсию, увеличить аудиторию и положительно влиять на другую метрику.
Возникает вопрос: как быстро проверить идеи и гипотезы? Есть много инструментов, но один из самых популярных — А/Б-тестирование. Расскажем о нем подробнее.
Недавно вместе с Валерием Белокуровым, Product Analyst в Яндексе, мы проводили вебинар «Разбираемся с нуля в А/Б-тестах». Смотрите запись этого онлайн-интенсива!
Что такое АБ-тест
Рассмотрим понятие с помощью простой схемы, которая состоит из трех этапов:
аудитория;
исходная и экспериментальная страницы;
магия.
Например, есть лендинг по производству и продаже пластиковых окон, на который идет трафик с контекстной рекламы — аудитория. Владелец посмотрел вебинар и узнал, что сейчас в тренде не прямоугольные кнопки, которые установлены на сайте, а круглые. Последние увеличивают конверсию, то есть дают больше заказов.
Это лишь субъективное представление. Задача — проверить поможет ли замена прямоугольных кнопок на круглые в действительности повысить конверсию. То есть необходимо внести соответствующие правки и дать потенциальным клиентам «попробовать» измененный лендинг. Тогда удастся получить объективные данные об изменении конверсии — на основе сравнения исходной и экспериментальной страниц.
Оценивать можно как всю аудиторию, так и отдельную ее часть. Второй вариант более предпочтительный, так негативный результат минимально скажется на объеме заказов. Поэтому опытные аналитики проводят тестирование на 5–10% аудитории.
Для этого нужно создать вторую версию лендинга с круглыми кнопками и на нее направить 5–10% трафика с контекстной рекламы. Потенциальные клиенты смогут поработать с обновленной версией и оценить ее.
Следующий блок — магия. На этом этапе анализируют поведение пользователей и на основе полученных данных принимают решение. Например, раньше конверсия была 3–5%, а после замены кнопок увеличилась до 8–10%. Тогда весь трафик с контекстной рекламы переводят на новую версию лендинга и радуются увеличению прибыли.
Выбор системы аналитики зависит от ключевой метрики. В случае с лендингом по пластиковым окнам допускается применение Яндекс.Метрики — это популярный инструмент, который используют во многих тестах.
Таким образом, A/B-тесты — сравнение исходной версии сайта, приложения и т. п. и новой с помощью группы пользователей, оценка изменения ключевых метрик и принятие конечного решения о внесении изменений.
Кому и для чего нужны АБ-тесты
А/Б-тесты нужны всем — продакт-менеджерам, маркетологам, продуктовым дизайнерам, веб-мастерам и другим IT-специалистам. Этот инструмент необходим тем, кто хочет улучшить свой продукт, сделать его удобнее и полезнее для целевой аудитории.
А/Б-тестирование необходимо, чтобы получить объективную информацию о возможных способах улучшения текущей версии продукта. Но это не всегда история про успешные тестирования и постоянный рост. Важно думать, как не сделать проект хуже. И А/Б-тесты помогают с этим как нельзя лучше.
Объективные данные позволяют быстрее продвигаться на рынке. Ведь пользователи лучше знают, что им нужно здесь и сейчас. В развитии продукта нельзя опираться только на субъективное мнение и собственные взгляды. Это сильно его затормозит.
Тогда придут конкуренты, которые охотно используют этот аналитический инструмент и стремительно развиваются. Они могут переманить значительную часть вашей аудитории или вовсе вытеснить вас с рынка. Поэтому в нынешних реалиях А/Б-тестирование необходимо проектам, сайтам, приложениям и другим продуктам как воздух.
Когда нужны АБ-тесты
А/Б-тестирование проводят, когда:
нужно получить объективное мнение о качестве изменений;
достаточно пользователей и данных;
достаточно времени и ресурсов для дизайна и проведения теста;
А/Б-тест — оптимальный вариант, чтобы принять решение на основе необходимых сведений.
Не стоит проводить тестирование, если у вас мало пользователей и недостаточно данных. Например, вы только создали лендинг по продаже пластиковых окон и «крутите» контекстную рекламу на минимальном бюджете, поэтому количество посетителей маленькое.
Проводить тесты в этом случае не совсем правильно, так как можно упустить какие-то важные изменения из-за низкой чувствительности метрик или отсутствия необходимого количества данных. Так придется «держать» тестирование несколько месяцев, но тогда сама суть применения инструмента потеряет смысл. Ведь его основная задача — предоставить объективные данные, на основе которых в кратчайшие сроки будет принято решение.
Интересные факты
А/Б-тестирование существует уже много лет. Инструмент еще в начале 20 века применял математик Вильям Госсет при производстве пива Guinness. Для создания продукции он использовал разные виды ячменя, чтобы определить наиболее удачное сочетание, которое понравится потребителю.
Еще один пример — тестирование 41 оттенка синего в поисковой выдачи Google в начале 2000-х годов. Так специалисты компании вывели гипотезу: существует оттенок синего, который воспринимается человеческим глазом лучше остальных, что может повысить кликабельность.
Как провести АБ-тест за 6 шагов
Шаг 1. Поставьте цель
Цель тестирования должна совпадать с глобальной целью компании. Продолжим рассматривать пример из начала статьи про компанию, занимающуюся производством и продажей пластиковых окон. Основная цель — увеличить объемы продаж с помощью лендинга, на который «льется» трафик с контекстной рекламы.
Тестируйте идеи, которые гипотетически повлияют на увеличение заказов с лендинга. В нашем случае — замена прямоугольных кнопок на круглые. Не проверяйте гипотезы, которые изначально не согласуются с глобальной целью компании.
А/Б-тестирование — работа всей команды, которая требует времени и ресурсов. И если неверно задать ориентир — потратите средства впустую.
Шаг 2. Выберите метрику
Выбор метрики очень важен для успешного проведения A/Б-теста. Под ней понимают ключевые показатели бизнеса: объем продаж, выручка, чистая прибыль, количество посетителей, конверсия, число отказов и другие. Часто метрику сравнивают с термометром — она показывает, насколько хорошо пользователям, много ли компания зарабатывает и т. д.
При тестировании лендинга по производству и продаже пластиковых окон ключевой метрикой будет количество заказов. То есть будем считать оплаченные заказы клиентов, которые пришли с сайта.
Желательно выбирать одну метрику, но в некоторых случаях можно рассматривать и несколько показателей в качестве дополнительных. Главное — не переборщить!
Если в рамках одного теста отслеживать десяток метрик, его эффективность существенно снизится. На примере с продажей пластиковых окон в качестве дополнительных показателей можно будет отслеживать средний чек и чистую прибыль.
Шаг 3. Определитесь с гипотезами
Выбираем гипотезу по схеме «если что-то, то что-то». Вторая часть должна совпадать с основной метрикой, выбранной в рамках тестирования. Например, «если заменить прямоугольные кнопки на круглые, то конверсия лендинга увеличится с 3–5% до 8–10%».
Для правильной оценки результатов выделяют два типа гипотез:
Нулевая. Изменения ни к чему не приведут, конверсия остается прежней. Задача — опровергнуть гипотезу.
Альтернативная. Изменения приведут к повышению конверсии до 8–10%.
Если изменений нет, значит, сработала нулевая гипотеза и вносить изменения бессмысленно. Если конверсия повысилась, сработала альтернативная гипотеза и следует масштабировать правки на всю аудиторию. При негативном эффекте нужно откатить все изменения и подумать, как повысить ключевую метрику.
Шаг 4. Определитесь с дизайном
Один из самых важных шагов. С одной стороны, он больше технический, с другой, все зависит от текущей команды и возможностей для проведения тестирования.
Например, в «Яндексе» работает автоматическая система, которая перед проведением А/Б-тестирования разбирает пользователей на группы и определяет объем выборки. Выборка — количество людей в каждой группе, необходимое, чтобы получить данные в нужном объеме и принять объективное решение.
Перед проектированием дизайна теста ответьте на несколько вопросов:
какие пользователи участвуют — новые, старые, все или какой-то конкретный сегмент;
как разбиваем на группы — например, по городам или районам;
какой объем выборки;
какая продолжительность тестирования;
какой допустимый уровень значимости — как правило, 90–95%.
Не все понимают, как определить объем выборки. В этом случае стоит руководствоваться собственным опытом: определите масштабы ожидаемых изменений и на основе этого выберите необходимую аудиторию для проверки гипотезы.
Вернемся к примеру лендинга по продаже пластиковых окон. Так как мы льем трафик с контекстной рекламы, будем рассматривать новых пользователей — 10% от общего объема, не разбивая их на группы. В среднем за сутки лендинг посещает 100 человек. Проводить тестирование будем в течение месяца и тогда новую версию сайта посмотрят 300 потенциальных клиентов — 10%. Такого объема выборки хватит, чтобы принять взвешенное решение.
Шаг 5. Проведите эксперимент
Запустите тестирование и… ждите! Расслабьтесь и наблюдайте за результатами. Проверяйте, чтобы ничего не сломалось и обе группы «чувствовали себя хорошо».
Иногда на начальных этапах можно увидеть подтверждение альтернативной гипотезы. И в этом случае новички допускают ошибку — прекращают тестирование раньше намеченного срока.
Да, сначала изменения могут положительно повлиять на ключевую метрику, но уже в конце эксперимента можно выявить отсутствие эффекта или отрицательный результат. Поэтому ждите строго до конца запланированного периода.
Шаг 6. Проанализируйте результаты
Тестирование окончено, данные получены. Их анализируют для понимания: есть ли разница и не случайна ли она. На основе анализа принимают решение — зафиксировать внесенные правки на всю аудиторию или откатить все до первоначальной версии.
В приведенном выше примере в результате получили 27 заказов с лендинга с круглыми кнопками. То есть показатель конверсии достиг 9%.
Роль аналитика в А/Б-тестировании
Решение по результатам А/Б-теста принимают на основе статистики. Поэтому без опытного аналитика здесь не обойтись. Его задача — собрать полученные данные и провести анализ.
Важно учитывать возможные ошибки.
Ошибка I рода — видим эффект там, где его нет. Например, проводили А/А-тест — две одинаковые версии продукта показывали двум группам пользователей и обнаружили какие-то изменения, хотя на самом деле их нет.
Ошибка II рода — не видим эффект там, где он есть. Например, проводили А/Б-тест и из-за недостатка чувствительности метрики не обнаружили очевидные изменения.
Также в обязанности аналитика входит расчет статистической значимости. При создании дизайна тестирования мы определили допустимый уровень значимости — 95%. И если результат эксперимента ниже этого порога, вероятнее всего, полученные изменения не связаны с изменением продукта.
Много лет назад вероятность рассчитывали вручную по формулам, но сегодня есть автоматизированные инструменты, которые упрощают работу аналитика. Например, калькулятор A/B-тестирования от Яндекса.
Указав данные, вы получите необходимые расчеты и рекомендации по внедрению нововведений. В случае с нашим примером, когда конверсия с 4% увеличилась до 9%, аналитический анализ предоставил рекомендацию по масштабированию новой версии лендинга на всю аудиторию.
Такой калькулятор подходит для анализа результатов любых тестов, связанных с конверсией.
Частые ошибки в А/Б тестах
Проводя первые тестирования, специалисты зачастую допускают типичные ошибки. Предлагаем рассмотреть наиболее распространенные.
Множественное сравнение. Если смотрим на 10 разных метрик по результатам теста, вероятность ошибки возрастает, так как при принятии статистического решения возможна ошибка первого рода. Перед проведением тестирования мы определяем, что вероятность увидеть ошибку там, где ее нет — 5%. Если рассматривать 10 метрик, то вероятность поднимется до 40%. 1 – (1 – 0,05)**10 = 0.4.
Проблема подглядывания — ранняя остановка теста. Если принять финальное решение до окончания срока тестирования, возрастет вероятность ошибки первого рода.
Также стоит учитывать, что статистическая значимость не всегда равна практической. Например, проверка новой версии приложения на ограниченной аудитории показала статистическую значимость, но реальных и ощутимых изменений метрики нет. В таком случае принимаем решение доработать новую версию и запустить новое тестирование.
A/Б-тесты — отличный инструмент для проверки новых идей и гипотез. Он предполагает «выкат» обновлений на определенную часть аудитории и отслеживание изменений ключевых метрик. На основе тестирования и анализа изменения метрик принимают объективное решение о дальнейших действиях по изменению продукта.
Не забывайте, что данный инструмент — не волшебная палочка. В большинстве случаев он помогает не ошибиться, а не найти новую точку роста. Больше 50% тестов заканчиваются отсутствием статистической значимости и отказом от внесения предложенных правок.
Углубиться в A/Б-тестирование и освоить востребованную профессию вы можете с помощью нашего курса «Профессия Аналитик».
