Заскуль питона (Data Science)

1️⃣ Первая часть материалов по A/B тестам



Лягушонок вернулся, чтобы поделиться с вами полезными материалами 🚶



Время постов про A/B тесты настало, пора погрузиться что ли с ног до головы, просматривая занимательные статьи, лекции и видосики. Так, в прошлых постах упоминалось про вводные моменты, но не было материалов по A/B в таком количестве, чтобы можно было сделать какие-то выжимки, но админ постарался этот момент решить 🗒



Здесь должна быть интеграция по типу:



🔥 мои кореша из карпов.курсес 🔥



Про проблемы подглядывания 😳

Мы всегда хотим, чтобы наше значение p-value было меньше ошибки первого рода, поэтому если по ходу эксперимента мы будем сидеть и смотреть за своими наблюдениями по дням, увидим стат. значимость и решим отключить A/B тест, склонившись в пользу тестовой группы, мы будем не правы.

link



Как и зачем оценивать размер выборки?

Освежить в памяти про мат. стат, понять, какие ошибки могут возникнуть при интерпретации результатов при A/B тесте

link



A/B тесты с метриками-отношениями и при чём здесь внутрипользовательские корреляции

На примере CTR показывается то, как мерить результаты экспериментов на примере t-test, Poisson bootstrap. Основные нюансы с метриками, показателями на примере Python.

link



Никита Маршалкин: А/Б тесты сложнее, чем кажется | Интервью

Тут деловой человек из 📱 рассказывает про то, как проводят A/B тесты, системы сплитования, проверку гипотез и много всего.

link



😀 Как же без моей любимой Яшки 😀



A/B тесты как способ развития продукта ☀️

Лекция про A/B, здесь можно глянуть основные метрики, как оценивать статистическую значимость.

link



Как провести A/B-тестирование: 6 простых шагов ✋

Вводная по A/B тестам в виде короткой статьи, новичкам будет полезно.

link



Эффективное А Б тестирование - Виталий Полшков

Опять про Ratio-метрики (как CTR), ошибку дисбаланса классов при A/B, на основе которой мы можем принимать неправильные решения.

link



Как повысить чувствительность метрик - Илья Кацев

Доклад про то, как работает перевзвешивание в Яндексе, размножение списков, домножение на корень...

link



Советую подписаться на каналы 😀 по разработке, школы менеджеров, они лежат в открытом доступе и требуют вашего внимания

link_1

link_2



Друзья, стоит также упомянуть и про Experiment Fest (expf), с которыми сотрудничают 🔥, там очень много митов с разными компаниями, можно много для себя чего найти

link



Если вам такой формат постов зашел, жмакайте на реакции и вторая часть материалов не заставит себя долго ждать 🚶‍♂️