Новые процессоры для ИИ-моделей — как они работают и зачем нужны
Нейросети все чаще запускают локально на устройстве, а не в облаке, чтобы снизить задержку. Но у такого подхода есть очевидный минус — высокая загрузка устройства.
Чтобы справиться с вызовом, был придуман новый тип процессоров — к привычным CPU и GPU добавился Neural Processor Unit или NPU.
NPU появились около 6–7 лет назад, но именно с развитием нейросетей (а если конкретнее — после выхода ChatGPT) о них заговорили как о ключевом компоненте в современных устройствах.
Как устроен NPU
NPU, как правило, работает в связке с CPU и GPU. Он берет на себя задачи, связанные с ИИ: распознавание голоса, генерация изображений, работа чат-бота и т. д.
Такой чип заточен под матричные вычисления, без которых нельзя выполнить большинство алгоритмов ИИ. В основе нейросетей лежат операции с многомерными массивами данных — тензорами, которые могут быть представлены в виде матриц. Матричные вычисления позволяют параллельно обрабатывать эти массивы данных, значительно ускоряя обучение и инференс моделей ИИ. CPU менее эффективны в обработке этих вычислений из-за своей последовательной архитектуры
Важно понимать: это не замена CPU и не новая ступень эволюции процессоров, а всего лишь дополнение к существующей линейке, эффективность которой проявляется только для узкого сегмента специфичных «нейросетевых» задач.
Кто уже использует NPU
NPU появились в новейших чипах Snapdragon и X Elite от Qualcomm — они оптимизированы для работы с изображением, аудио- и текстовой информацией.
Intel под конец прошлого года представил Core Ultra — первые процессоры компании, оптимизированные для работы с ИИ. В компании называют новые системы AI PC и прогнозируют, что к 2028 году они будут занимать 80% рынка.
Свое ИИ-решение есть и у вечного конкурента Intel — AMD. Компания интегрировала NPU еще в прошлое поколение своих процессоров Ryzen 7040, а в декабре выпустила Ryzen 8040, которые в 1,5 раза быстрее предшественника.
Какие минусы у технологии
Пока встроенные коммерческие NPU довольно слабы и смогут справиться только с небольшими моделями. Можно сравнить такие чипы со встроенными видеокартами середины нулевых — для базовых задач мощности хватит, но для видеоигр или монтажа видео нужно решение посерьезнее.
С другой стороны, смартфону или ноутбуку, возможно, в ближайшее время и не потребуются мощности для запуска моделей на миллиарды параметров, а как минимум продлевать работу устройства от одного заряда аккумулятора NPU уже научились.
Нейросети все чаще запускают локально на устройстве, а не в облаке, чтобы снизить задержку. Но у такого подхода есть очевидный минус — высокая загрузка устройства.
Чтобы справиться с вызовом, был придуман новый тип процессоров — к привычным CPU и GPU добавился Neural Processor Unit или NPU.
NPU появились около 6–7 лет назад, но именно с развитием нейросетей (а если конкретнее — после выхода ChatGPT) о них заговорили как о ключевом компоненте в современных устройствах.
Как устроен NPU
NPU, как правило, работает в связке с CPU и GPU. Он берет на себя задачи, связанные с ИИ: распознавание голоса, генерация изображений, работа чат-бота и т. д.
Такой чип заточен под матричные вычисления, без которых нельзя выполнить большинство алгоритмов ИИ. В основе нейросетей лежат операции с многомерными массивами данных — тензорами, которые могут быть представлены в виде матриц. Матричные вычисления позволяют параллельно обрабатывать эти массивы данных, значительно ускоряя обучение и инференс моделей ИИ. CPU менее эффективны в обработке этих вычислений из-за своей последовательной архитектуры
Важно понимать: это не замена CPU и не новая ступень эволюции процессоров, а всего лишь дополнение к существующей линейке, эффективность которой проявляется только для узкого сегмента специфичных «нейросетевых» задач.
Кто уже использует NPU
NPU появились в новейших чипах Snapdragon и X Elite от Qualcomm — они оптимизированы для работы с изображением, аудио- и текстовой информацией.
Intel под конец прошлого года представил Core Ultra — первые процессоры компании, оптимизированные для работы с ИИ. В компании называют новые системы AI PC и прогнозируют, что к 2028 году они будут занимать 80% рынка.
Свое ИИ-решение есть и у вечного конкурента Intel — AMD. Компания интегрировала NPU еще в прошлое поколение своих процессоров Ryzen 7040, а в декабре выпустила Ryzen 8040, которые в 1,5 раза быстрее предшественника.
Какие минусы у технологии
Пока встроенные коммерческие NPU довольно слабы и смогут справиться только с небольшими моделями. Можно сравнить такие чипы со встроенными видеокартами середины нулевых — для базовых задач мощности хватит, но для видеоигр или монтажа видео нужно решение посерьезнее.
С другой стороны, смартфону или ноутбуку, возможно, в ближайшее время и не потребуются мощности для запуска моделей на миллиарды параметров, а как минимум продлевать работу устройства от одного заряда аккумулятора NPU уже научились.