Sharpness-Aware Minimization
Продолжаем серию постов про оптимизаторы и способы обучения нейронных сетей.
В новой статье рассказываем про свежий подход, который улучшает обобщающую способность нейросетей. Особенно при шумных данных.
При таком подходе не просто ищут минимальное значение функции потерь, но и накладывают условие на “ровность” окружающего ландшафта.
Из статьи вы узнаете:
- почему ландшафт вокруг локального минимума может влиять на метрики
- как можно штрафовать за «неровность»
- и как апроксимировать эти вычисления на практике
Читайте нашу новую статью и знакомьтесь с SAM: https://deepschool-pro.notion.site/Sharpness-Aware-Minimization-53ada454f1d64b66ba3bf3465e67df30?pvs=4.
Продолжаем серию постов про оптимизаторы и способы обучения нейронных сетей.
В новой статье рассказываем про свежий подход, который улучшает обобщающую способность нейросетей. Особенно при шумных данных.
При таком подходе не просто ищут минимальное значение функции потерь, но и накладывают условие на “ровность” окружающего ландшафта.
Из статьи вы узнаете:
- почему ландшафт вокруг локального минимума может влиять на метрики
- как можно штрафовать за «неровность»
- и как апроксимировать эти вычисления на практике
Читайте нашу новую статью и знакомьтесь с SAM: https://deepschool-pro.notion.site/Sharpness-Aware-Minimization-53ada454f1d64b66ba3bf3465e67df30?pvs=4.