🅰️🅱️ Улучшаем A/B тесты, ч.1
Если вы уже прошли какой-то курс статистики, и имеете некоторый опыт в A/B тестировании, эта статья для вас
📍В ней аналитик из команды ценообразования Авито рассказывает:
> Как сделать результаты A/B тестов более интерпретируемыми
(Строить доверительные интервалы и использовать относительные метрики: не +10М руб, pvalue = 0.01, а +20±10% (10М руб.))
> Как провалидировать, что вы можете использовать критерий на ваших данных
(Генерируем большое количество А/А тестов и прогоняем на них наш критерий)
> Как вытаскивать инсайты из серых метрик
> Как работать с выбросами в А/В тестах
(не стоит использовать критерий Манна-Уитни, логарифмирование метрики и удаление топ n% пользователей с максимальной метрикой в тесте и контроле)
🙂 Если что-то из этого вас заинтересовало, читайте статью – там автор подробно рассказывает об этом, приводя примеры реализации методов на Python
Наберем 50 (100?) пальцев вверх на этом посте? 👍
Если вы уже прошли какой-то курс статистики, и имеете некоторый опыт в A/B тестировании, эта статья для вас
📍В ней аналитик из команды ценообразования Авито рассказывает:
> Как сделать результаты A/B тестов более интерпретируемыми
> Как провалидировать, что вы можете использовать критерий на ваших данных
> Как вытаскивать инсайты из серых метрик
> Как работать с выбросами в А/В тестах
🙂 Если что-то из этого вас заинтересовало, читайте статью – там автор подробно рассказывает об этом, приводя примеры реализации методов на Python
Наберем 50 (100?) пальцев вверх на этом посте? 👍