Длительное время необходимое на выпуск новой версии мобильного приложения сильно усложняет задачи экспериментировать, пробовать что-то новое или оптимизировать ряд заранее неизвестных переменных в вашем приложении (например, баланс в игре). В отличии от веба, где изменения выкатываются в считанные секунды, в случае с мобильными приложениями вам необходимо пройти длительный цикл от сабмита в стор, до момента пока ваши ваши пользователи обновяться до новой версии.
Описанную проблему решает возможность А/Б тестирования в вашем мобильном приложении. Для А/Б тестирования существуют специальные сервисы (Swrve, Arise и другие), но они стоят немалых денег и требуют времени для добавления их SDK, настройки и изучения.
Я хочу рассказать о простом способе, как можно реализовать А/Б тестирование в вашем мобильном приложении (а заодно и возможность настраивать ваше приложение под определенные группы пользователей), всего за несколько часов без денежных затрат и необходимости вкручивать сторонние SDK.
Что вам потребуется для реализации А/Б тестирования в мобильном приложении
- гибкая система аналитики внутри приложения (Mixpanel, Kissmetriks)
- четкий список переменных, с которыми вы хотите экспериментировать (цвета кнопок, количество результатов поиска на одной странице, переменные баланса в игре)
- специальный xml файл на сервере, в котором будут храниться настройки А/Б теста
- пару часов вашего времени
Клиент
Теперь необходимо реализовать следующую логику на клиенте:
- каждому новому пользователю присваивается случайное число от 0 до 9
- каждому новому пользователю присваивается номер дня (уникальное значение для каждого дня), когда он пришел в приложение
- после присваивания этих значений приложение должно обратиться на сервер и проверить есть ли для полученной пары значений (случайное число и день) специальные настройки
- если настройки есть, то установить их, если нет (или нет интернета), то использовать дефолтные
Осталось настроить систему нашей мобильной аналитики, чтобы для каждого пользователя к каждому его ивенту дополнительно передавались два параметра: день прихода в приложение и его случайное число (в Mixpanel это реализуется через глобальные параметры).
Сервер
Теперь пришло время создать xml файл на сервере, к которому будет обращаться приложение.
В этом файле мы для конкретных групп пользователей (группа пользователей определяется днем прихода в приложение и случайным числом) задаем специальные настройки приложения.
Теперь мы можем проводить эксперименты на небольшой части аудитории и при необходимости раскатывать их на всех наших пользователей. Результаты мы моментально видим в нашей системе статистики (Mixpanel, например, работает в real time). Важно: не забудьте перед принятием решений на основе полученных данных, проверить статистическую значимость полученных результатов.
При желании описанный подход можно углубить. Например, вы можете передавать и другие переменные при обращении на сервер (источник трафика, операционную систему, страну пользователя) и настраивать отдельные эксперименты для каждой из групп пользователей.
Если вам понравился описанный способ реализации А/Б тестирования в мобильном приложении, то расскажите о нем друзьям с помощью социальных сетей. Спасибо.