♾ Google AI опубликовал библиотеку для создания бесконечно широких нейросетей
Благодаря библиотеке Neural Tangents станет возможным проверить теорию, согласно которой увеличение ширины нейросети приводит более стабильному поведению модели. Такие нейросети могут использоваться для исследования границ возможностей глубокого обучения и как самостоятельные архитектуры.
Neural Tangents позволяет создавать нейросети как бесконечной, так и конечной ширины. Примером использования Neural Tangents является новый подход к ансамблированию моделей. Обычно исследователи усредняют предсказания разных моделей в ансамбле, но их обучение требует больших вычислительных мощностей. Для бесконечно широких нейросетей ансамбль можно описать как гауссовский процесс, где среднее и дисперсия будут считаться во время обучения.
🔗Источник: https://neurohive.io/ru/novosti/neural-tangents-biblioteka-dlya-obucheniya-beskonechno-shirokih-nejrosetej/
Благодаря библиотеке Neural Tangents станет возможным проверить теорию, согласно которой увеличение ширины нейросети приводит более стабильному поведению модели. Такие нейросети могут использоваться для исследования границ возможностей глубокого обучения и как самостоятельные архитектуры.
Neural Tangents позволяет создавать нейросети как бесконечной, так и конечной ширины. Примером использования Neural Tangents является новый подход к ансамблированию моделей. Обычно исследователи усредняют предсказания разных моделей в ансамбле, но их обучение требует больших вычислительных мощностей. Для бесконечно широких нейросетей ансамбль можно описать как гауссовский процесс, где среднее и дисперсия будут считаться во время обучения.
🔗Источник: https://neurohive.io/ru/novosti/neural-tangents-biblioteka-dlya-obucheniya-beskonechno-shirokih-nejrosetej/