Атака на АБ-тест: рецепт 'R'+t(101)+'es46'
АБ-тестирование — один из самых сильных и полезных инструментов управления продуктом, который позволяет оценить эффективность тех или иных решений на экономические показатели в интернет-бизнеса. За пять лет работы мы провели огромное количество АБ-тестов, и поэтому отлично знаем, насколько сложно провести эксперименты правильно и какие ошибки повторяются постоянно.
Несколько месяцев назад один из наших конкурентов начал делать странное – предлагать нашим клиентам сравнение своей системы рекомендаций с Retail Rocket через АБ-тесты в формате «пари» с обязательством заплатить 100 000 рублей в случае проигрыша.
Подобные истории для нас не редкость — за время существования компании нашу систему сравнивали практически со всеми существующими рекомендательными системами в России и за рубежом, и мы всегда показывали отличные результаты (ни в одном тесте мы не проиграли по эффективности).
Первый тест с Rees не заставил себя ждать, но в ходе его проведения мы столкнулись с довольно странными результатами, которые вылились в серьезное исследование. То, что мы обнаружили в итоге, удивило нас так сильно, что мы хотим поделиться деталями этого исследования и вынести его результаты на суд IT-сообщества и индустрии электронной коммерции в России.
Читать дальше →
Несколько месяцев назад один из наших конкурентов начал делать странное – предлагать нашим клиентам сравнение своей системы рекомендаций с Retail Rocket через АБ-тесты в формате «пари» с обязательством заплатить 100 000 рублей в случае проигрыша.
Подобные истории для нас не редкость — за время существования компании нашу систему сравнивали практически со всеми существующими рекомендательными системами в России и за рубежом, и мы всегда показывали отличные результаты (ни в одном тесте мы не проиграли по эффективности).
Первый тест с Rees не заставил себя ждать, но в ходе его проведения мы столкнулись с довольно странными результатами, которые вылились в серьезное исследование. То, что мы обнаружили в итоге, удивило нас так сильно, что мы хотим поделиться деталями этого исследования и вынести его результаты на суд IT-сообщества и индустрии электронной коммерции в России.
Читать дальше →
Источник: Хабрахабр
Похожие новости
- bit kogan: Как перестроить модель роста России
- Ожидание VS Реальность: топ-менеджеры хотят больше, чем им предлагают работодатели
- Больше половины маркетологов прогнозируют рост востребованности брендформанса в 2025 году
- Как узнать, что пишут о компании: пять шагов и один полезный совет
- Пирс 5 ex Landor: Эволюция типографики в пространстве бренда
- Кристина Свечинская: как юная россиянка стала звездой киберпреступного мира
- 7 типичных ошибок CISO
- Аттестация без паники: как мы проверяли защищенную систему электронного правительства
- Июньский «В тренде VM»: уязвимости в Windows, Apache HTTP Server, веб-интерфейсах MDaemon и Zimbra, архиваторе 7-Zip
- Как выстраивать HR-коммуникацию и что для этого нужно: делимся инсайтами, показываем успешные кейсы