Библиотека собеса по Data Science | вопросы с собеседований

🎯 Отличный момент, чтобы поговорить про смещение (bias) и разброс (variance)



Разложение ошибки модели на смещение и разброс называется bias-variance decomposition. Bias показывает, насколько предсказания алгоритма систематически отклоняются относительно истинных значений. Variance характеризует разброс предсказаний в зависимости от обучающей выборки.



В целом, смещение говорит о том, насколько близкие к истинным значения выдаёт модель, а разброс — насколько она чувствительна к изменениям в обучающей выборке.



Есть такое понятие как trade-off (компромисс) между bias и variance. Идея состоит в том, чтобы найти баланс, при котором модель достаточно сложна, чтобы выдавать приближённые к реальным ответы (низкий bias), но также имеет способности к обобщению, чтобы работать хорошо на новых данных (низкий variance).



Если модель недообучена, она не сможет уловить сложные закономерности в данных (высокий bias), но будет более стабильно работать на новых данных (низкий variance). Если модель переобучена, она будет отлично работать на тренировочных данных (низкий bias), но плохо на новых (высокий variance).