Bias-variance tradeoff: Спрашивают на каждом собесе, применяют в реальности единицы
Без технических подробностей и некоторых допущений, ошибка модели раскладывается так:
Ошибка = Bias^2 + Variance + sigma^2
Bias - как точно мы попадаем в среднем в истину
Variance - Как сильно колеблется наша предсказания функция относительно истинной
Sigma^2 - Неснижаемая дисперсия данных
И мы можем за счёт регуляризации снижать Variance за счёт роста Bias, и наоборот. Прекрасная теоретическая выкладка, но что с этим в реальности-то делать? 🤔
Давайте сначала посмотрим на простом примере, какая тут ситуация с Bias и Variance
UPD: Ценителям очень точных определений лучше посмотреть на них по ссылке в посте:) Текстом я писал определения с некоторыми допущениями для более широкой аудитории
Без технических подробностей и некоторых допущений, ошибка модели раскладывается так:
Ошибка = Bias^2 + Variance + sigma^2
Bias - как точно мы попадаем в среднем в истину
Variance - Как сильно колеблется наша предсказания функция относительно истинной
Sigma^2 - Неснижаемая дисперсия данных
И мы можем за счёт регуляризации снижать Variance за счёт роста Bias, и наоборот. Прекрасная теоретическая выкладка, но что с этим в реальности-то делать? 🤔
Давайте сначала посмотрим на простом примере, какая тут ситуация с Bias и Variance
UPD: Ценителям очень точных определений лучше посмотреть на них по ссылке в посте:) Текстом я писал определения с некоторыми допущениями для более широкой аудитории