Для чего используют batch normalization?
Это метод, который нормализует входы нейросети. На специальном слое batch normalization текущий батч (пакет данных) приводится к нулевому среднему и единичной дисперсии.
Это позволяет:
⚫ быстрее обучаться, так как все числа получаются одного порядка;
⚫ улучшить сходимость нейросети;
⚫ сделать сеть менее чувствительной к выбору начальных значений весов;
⚫ даже бороться с переобучением.
Стоит отметить, что до сих пор идут дискуссии о причинах эффективной работы batch normalization.
#junior
#middle
Это метод, который нормализует входы нейросети. На специальном слое batch normalization текущий батч (пакет данных) приводится к нулевому среднему и единичной дисперсии.
Это позволяет:
⚫ быстрее обучаться, так как все числа получаются одного порядка;
⚫ улучшить сходимость нейросети;
⚫ сделать сеть менее чувствительной к выбору начальных значений весов;
⚫ даже бороться с переобучением.
Стоит отметить, что до сих пор идут дискуссии о причинах эффективной работы batch normalization.
#junior
#middle