Разработать и обучить нейросеть — только часть дела. Ещё нужно сделать так, чтобы она эффективно работала на конкретном устройстве: CPU, GPU или специализированном AI-акселераторе. Для этого существуют тензорные компиляторы, которые ускоряют исполнение нейросети за счёт оптимизации и перевода моделей глубокого обучения в исполняемый формат под определённое устройство.
О том, как можно разработать такой компилятор и какие open source технологии для этого подойдут, рассказал эксперт YADRO по разработке ПО искусственного интеллекта Владислав Виноградов. Гибридный подход, который описан в статье, позволяет использовать автоматическую генерацию кода для значительной части операций. Это экономит время команды и позволяет сосредоточиться на оптимизации самых сложных операций, таких как свёртка или матричные умножения.
Из текста вы узнаете:
Читать статью
#программы #инструменты #ML