Гессиан
Наверняка вы слышали про “методы второго порядка” — когда используют вторые производные функции потерь для более быстрого поиска оптимума. Важный элемент этих методов — гессиан. Он и является второй производной по параметрам модели.
Главная проблема гессиана — его долго считать. И ученые придумали различные методы для его аппроксимации с целью экономии вычислений. А недавно появились и алгоритмы оптимизации, которые используют эти аппроксимации для более быстрой сходимости моделей.
Если подзабыли теорию, не страшно, мы напомним ее в нашей новой статье, а также:
- напомним о методе Ньютона
- объясним как работает Sophia — свежий оптимизатор, использующий методы второго порядка
- и покажем на примерах преимущество этих методов
Читайте нашу статью, чтобы лучше разобраться в методах второго порядка: https://deepschool-pro.notion.site/a4b4e52621b447e5beb33de13986a469?pvs=4
Наверняка вы слышали про “методы второго порядка” — когда используют вторые производные функции потерь для более быстрого поиска оптимума. Важный элемент этих методов — гессиан. Он и является второй производной по параметрам модели.
Главная проблема гессиана — его долго считать. И ученые придумали различные методы для его аппроксимации с целью экономии вычислений. А недавно появились и алгоритмы оптимизации, которые используют эти аппроксимации для более быстрой сходимости моделей.
Если подзабыли теорию, не страшно, мы напомним ее в нашей новой статье, а также:
- напомним о методе Ньютона
- объясним как работает Sophia — свежий оптимизатор, использующий методы второго порядка
- и покажем на примерах преимущество этих методов
Читайте нашу статью, чтобы лучше разобраться в методах второго порядка: https://deepschool-pro.notion.site/a4b4e52621b447e5beb33de13986a469?pvs=4