я обучала одну модель

Прикладываю все ссылки, использованные мной, чтобы заботать a/b тесты за полтора дня:



1. Вообще что это такое

2. Очень подробно про t-test, критерий Манна-Уитни и бутстрап (включая ограничения и преимущества каждого из подходов)

3. Отдельно про бутстрап и перестановочные тесты + тестрование стат гипотез бутстрапом

4. Огромный гайдлайн от VK Tech – тут есть и про a/a тесты, что важно, и описание state of the art подходов и статистических тестов, также есть более продвинутые штуки вроде пуассоновского бутстрапа, чтобы не семплить на огромных выборках, симуляция данных, и вообще прикольно

Есть еще интервью с чуваком из ВК, где он все это более гуманитарно объясняет без матеши

5. Про minimum detectable effect (MDE) + как именно его считать и в чем математический смысл

6. Объяснение связи MDE, мощности критерия и уровня значимости (с графиками)

7. Про t-test, дисперсионный анализ и анализ таблиц сопряженности





Зачем-то еще перед интервью ботала DBSCAN и другие методы кластеризации и градиентный бустинг