А вот и видео про NXP!
В целом я приятно удивлён. Если бы ещё не tflite а инференс на пайторче кто-нибудь поддержал.
Пару вещей которые не вошли в видео и хотел бы добавить.
1) Я попробовал достаточно много LLM сеток но ничего не завелось
2) Но я нашёл один доклад где человек из NXP таки запустил Tiny LLAMA. Так что в теории может и можно повозиться. Но не из коробки.
https://youtu.be/dRCjpvwYpQk
В целом я приятно удивлён. Если бы ещё не tflite а инференс на пайторче кто-нибудь поддержал.
Пару вещей которые не вошли в видео и хотел бы добавить.
1) Я попробовал достаточно много LLM сеток но ничего не завелось
2) Но я нашёл один доклад где человек из NXP таки запустил Tiny LLAMA. Так что в теории может и можно повозиться. Но не из коробки.
https://youtu.be/dRCjpvwYpQk