Arce-Agent, локальная языковая модель основанная на Qwen2-7B c нативной поддержкой вызова функций.
Разработчики заявляют, что эта модель может потягаться по качеству с более крупными аналогами, но при этом, в силу своей величины (всего 7B параметров), она может быть запущенна на большом диапазоне устройств.
Основная фишка модели - поддержка вызова функций, что позволяет легко внедрять ее в различные API
Модель хорошо показывает себя в двух режимах:
Инструментальный маршрутизатор: может анализировать запросы и направлять их в соответствующие инструменты.
Автономный чат-агент: способен вести человекоподобные беседы и самостоятельно выполнять широкий спектр задач.
Для локального запуска квантованной до Q4_K_M версии потребуется минимум 6 Гб оперативной памяти.
#новости_нейротекст
Разработчики заявляют, что эта модель может потягаться по качеству с более крупными аналогами, но при этом, в силу своей величины (всего 7B параметров), она может быть запущенна на большом диапазоне устройств.
Основная фишка модели - поддержка вызова функций, что позволяет легко внедрять ее в различные API
Модель хорошо показывает себя в двух режимах:
Инструментальный маршрутизатор: может анализировать запросы и направлять их в соответствующие инструменты.
Автономный чат-агент: способен вести человекоподобные беседы и самостоятельно выполнять широкий спектр задач.
Для локального запуска квантованной до Q4_K_M версии потребуется минимум 6 Гб оперативной памяти.
#новости_нейротекст