… А дело в том, что я, видимо, не так распределил контрольные и тестовые группы.
Всем привет, я снова вернулся с A/B тестами, но хочется более структурно разобрать все нюансы и тонкости. Запускаю пилотный пост, если все понравится, буду продолжать выпускать.
Кажется, что знание этого, поможет вам устроиться на позицию продуктового аналитика. Кто это такой и вообще чем они занимаются, расскажу в следующем посте.
Начнём с вводных:
Теория вероятностей и математическая статистика.
- Закон больших чисел
- Понимание того, что случайные события можно свести к системе.
- Различные виды распределений. Что за распределение, его особенности, про это будет следующий пост.
- Математика: мода, медиана, математическое ожидание, дисперсия.
Мода - самое часто встречающееся число в выборке
Медиана - середина интервала после упорядочивания элементов по возрастанию
Математическое ожидание - среднее в генеральной совокупности
Дисперсия - средний показатель отклонения значения от среднего.
Вообще, какая основная задача A/B тестов? Это растить продукт за счёт проведения экспериментов с различными вариантами страницы, приложения и так далее. Понятно, что просто внедрить новую фичу в наш продукт не получится, поскольку это затратно по средствам и мы не понимаем, как пользователи могут отреагировать на данное нововведение. Таким образом, нам нужно на основе наших данных свести среднее значение метрики к среднему.
Как мы это можем сделать?
⁃ Доверительные интервалы.
⁃ Бесконечно симулировать эксперименты, чтобы в конечном счете получить среднее значение.
⁃ Использовать непараметрические методы при сравнении.
Что нужно для А/Б теста?
Сформулированная гипотеза
Нулевая гипотеза - то, что у нас есть в базисе. Например, что, после изменения показатели метрики не изменятся.
Альтернативная гипотеза - то, что мы хотим проверить. После изменения показатели метрики изменятся.
Размер выборки - один из важных показателей, который определяет сколько людей необходимо для получения статистически значимого результата.
Понятно, что теория вероятностей и статистика имеет какую-то математическую ошибку, поэтому будем изначально закладывать при проведении эксперимента.
Ошибка первого рода - вероятность отклонить верную нулевую гипотезу (обычно 5%).
Ошибка второго рода - вероятность не
отклонить неверную нулевую гипотезу (обычно 20%).
Как запомнить? Вот, представьте, вы пришли со вспоротым животом в поликлинику, а, вместо того, чтобы прооперировать вас, врачи сказали, что все хорошо, можете идти домой (ошибка первого рода, мы отклонили верную нулевую гипотезу). Представьте, что вы пришли в больницу, узнать свой диагноз, а врачи там считают, что разрезать всех, а после, зашивать, это норма (ошибка второго рода, мы приняли неверную нулевую гипотезу) 🤔
О какой же метрике все это время идёт речь? Тот таргет, который мы проверяем. Это может быть CTR, показатель конверсии, средний чек и другое 🎯
Изучаемая метрика - после результатов проведения мы будем опираться либо на усреднённые данные этой метрики в каждой из групп, либо на другое, обобщающее число в выборке 💻
Время проведения - очень важная метрика, поскольку при первичном проведении, захочется увидеть статистически значимый результат, например, у нас все выполнилось, среднее во B группе, больше, чем среднее в A группе, поэтому останавливаем проведение ⏳
Минимальный ожидаемый эффект - прирост по метрике, который мы хотим получить при формулировании гипотезы 📈
Пример формулирования гипотезы: Изменение системы выдачи на сайте позволит увеличить показатель конверсии на 20%. Нулевая гипотеза: Ничего не изменится, средние в двух группах равны. Альтернативная гипотеза: Средние в двух группах не равны 😊
Друзья, я хочу выкатить исчерпывающие посты по A/B тестам, возможно, без ML. Поэтому, если у вас есть какие-то идеи про что написать, с чем вы сталкиваетесь на работе, пишите, буду рад почитать, оформим как рабочий кейс. Здесь главное, больше практики что ли 🏋️♀️
Всем привет, я снова вернулся с A/B тестами, но хочется более структурно разобрать все нюансы и тонкости. Запускаю пилотный пост, если все понравится, буду продолжать выпускать.
Кажется, что знание этого, поможет вам устроиться на позицию продуктового аналитика. Кто это такой и вообще чем они занимаются, расскажу в следующем посте.
Начнём с вводных:
Теория вероятностей и математическая статистика.
- Закон больших чисел
- Понимание того, что случайные события можно свести к системе.
- Различные виды распределений. Что за распределение, его особенности, про это будет следующий пост.
- Математика: мода, медиана, математическое ожидание, дисперсия.
Мода - самое часто встречающееся число в выборке
Медиана - середина интервала после упорядочивания элементов по возрастанию
Математическое ожидание - среднее в генеральной совокупности
Дисперсия - средний показатель отклонения значения от среднего.
Вообще, какая основная задача A/B тестов? Это растить продукт за счёт проведения экспериментов с различными вариантами страницы, приложения и так далее. Понятно, что просто внедрить новую фичу в наш продукт не получится, поскольку это затратно по средствам и мы не понимаем, как пользователи могут отреагировать на данное нововведение. Таким образом, нам нужно на основе наших данных свести среднее значение метрики к среднему.
Как мы это можем сделать?
⁃ Доверительные интервалы.
⁃ Бесконечно симулировать эксперименты, чтобы в конечном счете получить среднее значение.
⁃ Использовать непараметрические методы при сравнении.
Что нужно для А/Б теста?
Сформулированная гипотеза
Нулевая гипотеза - то, что у нас есть в базисе. Например, что, после изменения показатели метрики не изменятся.
Альтернативная гипотеза - то, что мы хотим проверить. После изменения показатели метрики изменятся.
Размер выборки - один из важных показателей, который определяет сколько людей необходимо для получения статистически значимого результата.
Понятно, что теория вероятностей и статистика имеет какую-то математическую ошибку, поэтому будем изначально закладывать при проведении эксперимента.
Ошибка первого рода - вероятность отклонить верную нулевую гипотезу (обычно 5%).
Ошибка второго рода - вероятность не
отклонить неверную нулевую гипотезу (обычно 20%).
Как запомнить? Вот, представьте, вы пришли со вспоротым животом в поликлинику, а, вместо того, чтобы прооперировать вас, врачи сказали, что все хорошо, можете идти домой (ошибка первого рода, мы отклонили верную нулевую гипотезу). Представьте, что вы пришли в больницу, узнать свой диагноз, а врачи там считают, что разрезать всех, а после, зашивать, это норма (ошибка второго рода, мы приняли неверную нулевую гипотезу) 🤔
О какой же метрике все это время идёт речь? Тот таргет, который мы проверяем. Это может быть CTR, показатель конверсии, средний чек и другое 🎯
Изучаемая метрика - после результатов проведения мы будем опираться либо на усреднённые данные этой метрики в каждой из групп, либо на другое, обобщающее число в выборке 💻
Время проведения - очень важная метрика, поскольку при первичном проведении, захочется увидеть статистически значимый результат, например, у нас все выполнилось, среднее во B группе, больше, чем среднее в A группе, поэтому останавливаем проведение ⏳
Минимальный ожидаемый эффект - прирост по метрике, который мы хотим получить при формулировании гипотезы 📈
Пример формулирования гипотезы: Изменение системы выдачи на сайте позволит увеличить показатель конверсии на 20%. Нулевая гипотеза: Ничего не изменится, средние в двух группах равны. Альтернативная гипотеза: Средние в двух группах не равны 😊
Друзья, я хочу выкатить исчерпывающие посты по A/B тестам, возможно, без ML. Поэтому, если у вас есть какие-то идеи про что написать, с чем вы сталкиваетесь на работе, пишите, буду рад почитать, оформим как рабочий кейс. Здесь главное, больше практики что ли 🏋️♀️