Любой развивающийся продукт так или по-иному сталкивается с проблемами или задачами, которые можно решить несколькими путями. И правильность решения можно проверить лишь с помощью эксперимента и сравнения результатов всех предложенных вариантов решения. А/В-тестирование проводится для проверки изменений интерфейсов сайтов. В чем его суть? Доли аудитории показывается оригинальная страница, части – страница с изменениями. Система А/В-тестирования собирает данные по конверсии со всех вариантов страниц, по итогам подсчитывает статистическую достоверность различия конверсии. В итоге А/В-тест показывает нам эффективный вариант, который можно внедрить. Пуще всего гипотезы для тестов появляются из:. поиска путей для оптимизации отдельных шагов воронки конверсии;. Анализа итогов исследований пользовательского опыта;. Споров продуктовой команды о развитии продукта или отдельного функционала;. Отзывов и обращений пользователей о неудобстве продукта;. Розыска путей получения корректных данных, вводимых пользователями на сайте. Возможны и другие варианты обоснования проведения А/В-тестов. Так, при запуске новой версии продукта мы захотим убедиться, что обновления пошли на пользу, и она не проигрывает старой. Часто забывают еще одну значительную задачу А/В-тестов – возможность заранее проверить эффективность предложенного варианта и оценить рентабельность внесения изменений на военный версии сайта или подготовки необходимого контента. Например, что чем больше качественного и релевантного контента будет на карточке товара в интернет-магазине, тем вяще его будут добавлять в корзину и потенциально покупать. Но возможно, что производство и актуализация такого контента будет стоить вяще, чем это принесет профита компании. По сути, A/B-тестирование – это единственный вариант убедиться в том, какие изменения точно нужно вводить. Но и он не лишен различных подводных камней. Из-за широкого выбора систем может возникнуть проблема с выбором оптимальной. А переходить поочередно по нескольким системам – потеря времени и остановка в развитии продукта. Из-за этого может возникнуть ощущение, что приступить проводить тесты – сложная задача и требует много свободного времени. Попробовав раз, вы поймете, что этот инструмент попросту необходим для проверки всех изменений до момента внедрения. В сети можно найти большое количество статей о сравнении систем А/В-тестирования. Но они или написаны давным-давно и утратили актуальность, или подготовлены одной из систем и могут быть не совсем объективны. В этом материале хочется поделиться своим экспериментом в выборе системы проведения А/В-тестов. При этом у нас нет цели сравнить несравнимое или найти маловостребованные особенности систем и настаивать на их нужды. Скорее это будет сравнение и выбор на основе опыта использования разных систем на большом количестве проектов. Надеемся, что наш эксперимент поможет выбрать систему, которая решит ваши задачи. Применив наработанное знание о своем продукте, после серии А/В-тестов вы получите немало конверсионный и удобный пользователям интерфейс. Возможно, вы решите попробовать новую для вас систему А/В-тестирования и не будете тратить пора на поиски той, которая подойдет именно вам. Что важно для выбора системыОсновываясь на своем опыте, мы выделили несколько ключевых критериев, на какие стоит обратить пристальное внимание при выборе. Возможности запуска тестов1. Наличие всех возможных типов тестов: А/В/N и MVT для проверки локальных гипотез, Split (редирект) – для сравнения новоиспеченной и старой версии сайта. На текущий момент все системы позволяют запускать все варианты тестов, и это не самый критичный пункт в сравнении. Скорее, удивительным может показаться отсутствие или ограничения в использовании какого-либо типа тестов. Возможность и легкость тестирования набора страниц. Зачастую необходимо протестировать изменения или итого каталога интернет-магазина, или одного элемента (например, стоимости) на всех страницах воронки конверсии. Виды таргетингов для запуска тестов: как базовые возможности облика URL страниц с учетом get параметров/utm метки/типы устройств, так и более точечные – вида значения js переменной/значение cookie. Обыкновенно в тесте вносятся изменения для всех, кто зашел на страницу. Но при тестировании специфического функционала не для всех пользователей, например, начисления баллов программы лояльности, сгодится весь набор возможных таргетингов для отделения необходимой аудитории. WYSIWYG редактор и возможность изменения JS/CSS. С одной сторонки, надежнее сверстать новую версию страницы, настроить редиректы и полностью подготовить новую страницу на сайте. С иной – быстрая проверка несложных изменений приоритетнее, поскольку позволяет в перспективе запустить безостановочный конвейер тестирования и непрерывного увеличения конверсии. Техническая составляющая2. Размещение системы на сайте с использованием Google Tag Manager. Возможно, излишний пункт, но мы свыклись использовать GTM и стараемся использовать его возможности по максимуму для объединения всех трекеров в одном месте. Возможность интеграции с системами веб-аналитики для получения добавочных срезов данных. По нашему опыту, бывают тесты, которые по-разному влияют на различные сегменты аудитории. Так, при показе прогноза погоды на калькуляторе страхования выезжающих за рубеж, взрослые пользователи могут конвертироваться лучше оригинала страницы;. Молодые – навыворот. Смотря на агрегированные данные по всем сегментам в совокупности, может получиться, что различий в конверсии нет. Но просматривая результаты в различных срезах, можно найти положительный результат и внедрить его для релевантной аудитории. Подведение результатов тестов3. Возможность задать несколько показателей для подведения итогов тестирования. Например, если в интернет-магазине переводить всех зашедших пользователей в раздел товаров со скидкой, то, скорее итого, конверсия в заказы увеличится. Но средний чек при этом упадет. В такого рода тестах удобно иметь возможность при подведении итогов проверить все критичные показатели эффективности в одном отчете. Удобство и простота настройки отслеживания показателей для подведения итогов тестирования. Адекватное тестирование начинается с определения KPI, который необходимо улучшить. И только после этого стоит начинать розыск гипотез тестирования и непосредственно тест. Поэтому важно, чтобы отслеживание необходимых KPI в системе тестирования было спокойно реализовано. Дополнительные инструменты для анализа. Часть систем имеет встроенные карты кликов, опросы или иной функционал, какой может пригодиться как для анализа результатов проводимых тестов, так и для дополнительных исследований. Стоимость использования системы4. Бесплатная или платная система. Вящая часть систем являются платными и тарифицируются в зависимости от ежемесячного количества тестируемых пользователей. Поскольку А/В-тестирование само по себе не монетизируется, а лишь позволяет проверить и высчитать возможную монетизацию, хочется, чтобы использование системы ничего не стоило. Кроме того, большая часть систем не имеют отечественных офисов, что возбуждает сложности при оплате в валюте и обмене документами. Нельзя сказать, что обозначенный список включает в себя все возможные критерии сравнения. Скорее это необходимый минимум, какой стоит ожидать от системы А/В-тестирования. Сравнение систем А/В-тестированияМы подготовили таблицу, где свели результаты сравнения по отмеченным в предыдущем разделе критериям и приписали каждой системе баллы для подсчета итогового результата. В зависимости от конкретного проекта вес критериев может быть различным. Но для простоты сравнения в статье мы позволили себе переместить все в цифры. Если система отвечает критерию, присваиваем ей 1 балл, не отвечает – 0 баллов. Если система отвечает критерию и имеет добавочный плюс по критерию, присваиваем 1,5 балла. Подсчитываем проставленные системам баллы и получаем итог:. Visual Website Optimizer: 11 баллов. Система покрывает все базовые надобности проведения А/В-тестирования и имеет дополнительный функционал для анализа данных. Система платная, но тарифы достаточно гибкие, и стоимость ниже иных систем. Основные плюсы системы:. Дополнительные инструменты анализа (карты кликов, скроллинга, видеозаписи посещений и т. д.). Основные минусы:. Система платная (от $49 / месяц за 10 000 пользователей);. Нужда размещения кода без GTM и отдельные трекеры дохода. Если в вашем проекте нет привязки к аналитическим системам Google, то вам подойдет VWO. А если по каким-то винам у вас нет возможности использовать Яндекс. Метрику, то VWO предоставит вам дополнительные возможности по поиску идей для тестов. Google Optimize: 10 баллов. Система покрывает все базовые надобности проведения А/В тестирования. Отлично подойдет тем, кто уже активно использует аналитические системы Google: систему можно запустить сквозь GTM и использовать показатели Google Analytics в виде целей тестирования Optimize. Основные плюсы системы:. Бесплатная, с небольшими ограничениями (так, не более пяти активных тестов одновременно);. Простой запуск системы через GTM и полная интеграция с GA (как с отчетами, так и с конверсиями для подсчета в тестах);. Возможность таргетировать тест по этим в dataLayer GTM. Основные минусы:. Сложность с тестированием набора страниц: максимально удобен лишь для тестирования изменений одного и того же блока на различных страницах. Optimizely: 9 баллов. Система покрывает все базовые потребности проведения А/В–тестирования. Основной минус – рослая стоимость (от $2 тыс. в месяц). И кроме этого, у системы нет службы поддержки в России, поэтому начать работу с этой системой непросто: зачастую представителей компании доводится уговаривать поработать с вами. Основные плюсы системы:. Простота и удобство тестирования последовательности страниц – под них выделен отдельный тип тестов. Основные минусы:. Нужда размещения кода без GTM и отдельные трекеры дохода;. Платная, с индивидуальными ценами. Convert: 10 баллов. Система покрывает все базовые надобности проведения А/В-тестирования. Достаточно сбалансирована по своим возможностям. Основные плюсы системы:. Система платная (от $449 / месяц за 800 000 пользователей). Основные минусы:. Нужда размещения кода без GTM и отдельные трекеры дохода. Google Analytics: 3 балла. Система устарела и по своим возможностям уступает любой иной системе А/В-тестирования. В планах Google – полностью заменить тесты Google Analytics на Google Optimize. nОсновные плюсы системы:. Возможность использования этих GA; бесплатная. Основные минусы:. Все остальное. В своей работе мы остановили выбор на Google Optimize. Основные причины: во-первых, мы используем тяни стек аналитических систем Google, во-вторых, система имеет бесплатную версию. Visual Website Optimizer имеет ряд плюсов, особенно в соседнем функционале для анализа данных. Но его прямые аналоги есть в Яндекс. Метрике и платить за это не стоит. Что думают о разных системах А/В-тестирования в миреЛюбой проблема сравнения возможностей не может быть однозначным и объективным. Мы поделились своим опытом, возможно, в иной ситуации значительными будут другие факторы, и лучшим выбором будет система, которая нам не подошла. В любом случае выбор за вами. Для сравнения можете посмотреть G2 Crowd A/B Testing Software quadrant и отзывы пользователей о различных системах. Однако будьте внимательны, в этом сравнении участвуют не лишь системы А/В-тестирования, но и системы персонализации контента. Источник: seonews.ru.