Почему в 52% вакансий упоминают ускорение или конвертацию сетей
Раньше, чтобы комфортно чувствовать себя на рынке DS, было достаточно уметь обучать нейросети и знать теорему байеса.
Теперь же и навыком выката моделей в прод никого не удивишь. Но вот уметь делать этот “прод” быстрым — до сих пор редкий и востребованный навык.
И вот 3 причины, почему в вакансиях его упоминают все чаще
1️⃣ Экономия на железе
С каждым 1% ускорения/облегчения модели, вы экономите 1% стоимости вычислительных ресурсов. Логика простая: чем быстрее сеть, тем раньше GPU возьмется за новый батч, а чем меньше весов, тем больше изображений в этот батч поместится.
За счет ускорения модели, даже 1 сервис может начать экономить компании сотни долларов в день. Кстати, зачастую можно ускорить уже имеющуюся модель без потерь в точности. Например, за счет фьюзинга и конвертации или смены бэкенда.
2️⃣ Realtime обработка видео
В задачах AR/VR, нейрорендеринга, автономных роботах, контроле качества на производствах, безопасности на дорогах и других задачах анализа/синтеза видео важно принимать решения за миллисекунды.
Автопилот должен управлять машиной на скорости выше 35 метров в секунду, конвейерная лента за это время уже переместит более 100 объектов, а глаз человека будет видеть плавную картинку в VR очках или в смартфоне только при 120 fps и выше.
Все это накладывает очевидные ограничения на скорость инференса. Ведь помимо анализа изображения, системе еще и необходимо выполнить действие: сменить полосу, отбросить с ленты брак или отрисовать в очках объект — за очень короткий промежуток времени.
3️⃣ Безопасность и скорость локального использования
Если вы не слышали про GDPR, вы счастливый датасайентист. В СНГ пространстве нет столь жесткого контроля за персональными данными, как в западных странах. Но за хранение информации без разрешения или ее утечку, даже наши компании могут получить если не исполинский штраф, то общественное порицание и потерю репутации.
Чтобы не рисковать, не смущать пользователей отправкой фото на сервер, и уменьшить время ожидания, модели помещают на мобильные устройства. А перед этим их необходимо облегчить и конвертировать в нужный формат (CoreML, TFLite, NNApi, etc), стараясь не потерять точность.
А так как DL сервисов становится больше, сети встречаются на устройствах чаще, а про безопасность пользователей в последние годы все больше споров — навыки ускорения моделей становятся более востребованными.
Ставьте реакции🔥 , если вам интересна эта тема и мы познакомим вас ближе с методами ускорения сетей!
#заметки_deepschool
Раньше, чтобы комфортно чувствовать себя на рынке DS, было достаточно уметь обучать нейросети и знать теорему байеса.
Теперь же и навыком выката моделей в прод никого не удивишь. Но вот уметь делать этот “прод” быстрым — до сих пор редкий и востребованный навык.
И вот 3 причины, почему в вакансиях его упоминают все чаще
С каждым 1% ускорения/облегчения модели, вы экономите 1% стоимости вычислительных ресурсов. Логика простая: чем быстрее сеть, тем раньше GPU возьмется за новый батч, а чем меньше весов, тем больше изображений в этот батч поместится.
За счет ускорения модели, даже 1 сервис может начать экономить компании сотни долларов в день. Кстати, зачастую можно ускорить уже имеющуюся модель без потерь в точности. Например, за счет фьюзинга и конвертации или смены бэкенда.
В задачах AR/VR, нейрорендеринга, автономных роботах, контроле качества на производствах, безопасности на дорогах и других задачах анализа/синтеза видео важно принимать решения за миллисекунды.
Автопилот должен управлять машиной на скорости выше 35 метров в секунду, конвейерная лента за это время уже переместит более 100 объектов, а глаз человека будет видеть плавную картинку в VR очках или в смартфоне только при 120 fps и выше.
Все это накладывает очевидные ограничения на скорость инференса. Ведь помимо анализа изображения, системе еще и необходимо выполнить действие: сменить полосу, отбросить с ленты брак или отрисовать в очках объект — за очень короткий промежуток времени.
Если вы не слышали про GDPR, вы счастливый датасайентист. В СНГ пространстве нет столь жесткого контроля за персональными данными, как в западных странах. Но за хранение информации без разрешения или ее утечку, даже наши компании могут получить если не исполинский штраф, то общественное порицание и потерю репутации.
Чтобы не рисковать, не смущать пользователей отправкой фото на сервер, и уменьшить время ожидания, модели помещают на мобильные устройства. А перед этим их необходимо облегчить и конвертировать в нужный формат (CoreML, TFLite, NNApi, etc), стараясь не потерять точность.
А так как DL сервисов становится больше, сети встречаются на устройствах чаще, а про безопасность пользователей в последние годы все больше споров — навыки ускорения моделей становятся более востребованными.
Ставьте реакции
#заметки_deepschool