Жидкие нейросети. Что? Да!
ИИ-моделей становится все больше, они становятся все сложнее (читай, требовательнее к вычислительным ресурсам), поэтому исследователи ищут самые разные способы их оптимизации. Одним из таких способов может стать новый тип нейросетей — жидкие нейросети.
Что это такое
Первые упоминания жидких нейросетей (LNN) появились еще в 2018 году, но ключевым моментом стал выход работы Liquid Time-Constant Networks в 2020 году.
Ее подготовили ученые из MIT, Венского технического университета и австрийского Института науки и технологий.
Авторы определяют ключевое отличие LNN как способность обучаться в процессе работы, а не только в ходе изначальной тренировки, к этой особенности и отсылает слово «жидкий» в названии.
Чем они отличаются от других нейросетей
LNN использует текучую постоянную времени (Liquid Time Constant — LTC). LTC позволяет нейросети в зависимости от задачи с разной скоростью обрабатывать информацию. Более медленная обработка дает нейросети больше времени на «размышления», а это должно привести к более точному и детальному ответу.
Использование LTC позволяет нейросети адаптироваться к новой задаче, при этом обладая меньшим количеством нейронов, чем другие типы нейросетей. Это значит, что для работы LNN потребуется меньше вычислительных мощностей.
Один из авторов работы — Рамин Хасани — рассказывал, что при разработке концепции LNN вдохновлялся нематодами (круглыми червями). Нематоды, имея чуть больше 300 нейронов (для сравнения у кошек — 300 млн нейронов), способны выполнять сложные действия. Хасани хотел, чтобы у LNN было мало нейронов, но при этом они бы были сложнее («богаче»), чем у других типов нейросетей. Хасани также является основателем стартапа Liquid AI, который специализируется на разработке LNN.
Плюсы LNN
Помимо меньшей требовательности к ресурсам, LNN обладают еще одним важным качеством — из-за своего относительно небольшого размера, такие нейросети позволяют лучше понимать, как именно они принимают те или иные решения. Это может быть важно при использовании в уже упоминавшихся беспилотных автомобилях.
Огромные современные нейросети, которые обладают десятками миллиардов параметров, часто называют «черными ящиками», так как даже сами разработчики не понимают, как они работают. У LNN может быть всего несколько десятков тысяч параметров.
Минусы LNN
К минусам LNN можно отнести возможность обучения только на последовательной, а не на статичной информации — например, на видео, но не на изображении. Это может усложнить процесс работы с моделью.
Также LNN подвержены и распространенной среди нейросетей проблеме исчезающего градиента, при которой у нейросети падает эффективность обучения, так как она перестает реагировать на небольшие ошибки в ходе процесса.
Где можно использовать LNN
Несмотря на относительную новизну LNN, количество потенциальных способов использования таких нейросетей постоянно растет. Благодаря своим особенностям LNN в теории могут использоваться в таких разных областях, как беспилотные автомобили, роботы, тренировка спортсменов и реабилитация после травм.
В MIT уже провели эксперимент по использованию LNN в дронах. Нейросеть позволяет устройству самостоятельно перемещаться в неизвестном помещении.
ИИ-моделей становится все больше, они становятся все сложнее (читай, требовательнее к вычислительным ресурсам), поэтому исследователи ищут самые разные способы их оптимизации. Одним из таких способов может стать новый тип нейросетей — жидкие нейросети.
Что это такое
Первые упоминания жидких нейросетей (LNN) появились еще в 2018 году, но ключевым моментом стал выход работы Liquid Time-Constant Networks в 2020 году.
Ее подготовили ученые из MIT, Венского технического университета и австрийского Института науки и технологий.
Авторы определяют ключевое отличие LNN как способность обучаться в процессе работы, а не только в ходе изначальной тренировки, к этой особенности и отсылает слово «жидкий» в названии.
Чем они отличаются от других нейросетей
LNN использует текучую постоянную времени (Liquid Time Constant — LTC). LTC позволяет нейросети в зависимости от задачи с разной скоростью обрабатывать информацию. Более медленная обработка дает нейросети больше времени на «размышления», а это должно привести к более точному и детальному ответу.
Использование LTC позволяет нейросети адаптироваться к новой задаче, при этом обладая меньшим количеством нейронов, чем другие типы нейросетей. Это значит, что для работы LNN потребуется меньше вычислительных мощностей.
Один из авторов работы — Рамин Хасани — рассказывал, что при разработке концепции LNN вдохновлялся нематодами (круглыми червями). Нематоды, имея чуть больше 300 нейронов (для сравнения у кошек — 300 млн нейронов), способны выполнять сложные действия. Хасани хотел, чтобы у LNN было мало нейронов, но при этом они бы были сложнее («богаче»), чем у других типов нейросетей. Хасани также является основателем стартапа Liquid AI, который специализируется на разработке LNN.
Плюсы LNN
Помимо меньшей требовательности к ресурсам, LNN обладают еще одним важным качеством — из-за своего относительно небольшого размера, такие нейросети позволяют лучше понимать, как именно они принимают те или иные решения. Это может быть важно при использовании в уже упоминавшихся беспилотных автомобилях.
Огромные современные нейросети, которые обладают десятками миллиардов параметров, часто называют «черными ящиками», так как даже сами разработчики не понимают, как они работают. У LNN может быть всего несколько десятков тысяч параметров.
Минусы LNN
К минусам LNN можно отнести возможность обучения только на последовательной, а не на статичной информации — например, на видео, но не на изображении. Это может усложнить процесс работы с моделью.
Также LNN подвержены и распространенной среди нейросетей проблеме исчезающего градиента, при которой у нейросети падает эффективность обучения, так как она перестает реагировать на небольшие ошибки в ходе процесса.
Где можно использовать LNN
Несмотря на относительную новизну LNN, количество потенциальных способов использования таких нейросетей постоянно растет. Благодаря своим особенностям LNN в теории могут использоваться в таких разных областях, как беспилотные автомобили, роботы, тренировка спортсменов и реабилитация после травм.
В MIT уже провели эксперимент по использованию LNN в дронах. Нейросеть позволяет устройству самостоятельно перемещаться в неизвестном помещении.