Что нужно знать о самой мощной версии Llama
Meta* выпустила самую большую версию своей языковой модели с открытым кодом — Llama 3.1 с 405 млрд параметров. Ранее пользователям стали доступны версии Llama на 7 млрд параметров и 80 млрд параметров.
Главные особенности новой модели:
— В Meta называют Llama 3.1 первой опенсорсной моделью, которая может сравниться по производительности с топовыми пропиетарными LLM от OpenAI, Google и других;
— Специально для Llama 3.1 Meta увеличили объем информации, на которой обучалась LLM, и повысили ее качество (например, использовали актуальные данные 2024 года и не только на английском языке);
— Для обучения языковой модели потребовалось 16 тыс. GPU H100 от Nvidia. Это значит, что стоимость обучения LLM составляла как минимум несколько сотен миллионов долларов;
— Файнтюнинг модели производили, в том числе с помощью синтетической информации;
— Llama 3.1 обладает увеличенным контекстным окном (объем информации, который может запоминать модель) на 128 тыс. токенов. Это значит, что модель может работать приблизительно с 50 страницами текста, помещенными в один промпт. У последней версии GPT — 4o — такое же контекстное окно;
— Meta утверждают, что (несмотря на свой размер) Llama 3.1 обойдется разработчикам вдвое дешевле при запуске на собственной инфраструктуре, чем закрытые аналоги. Компания сотрудничает с десятками компаний, которые должны представить кастомные версии LLM;
— Llama 3.1 не мультимодальная и понимает только текстовую информацию. Создание версии, которая будет понимать аудио, видео и изображения, идет полным ходом, заверяют разработчики;
— Llama 3.1 доступна для загрузки, с моделью также могут работать пользователи облачных сервисов AWS, Azure, Google Cloud. Обычные пользователи могут оценить возможности языковой модели через ИИ-помощника MetaAI, интегрированного в WhatsApp**, Instagram** и Messenger**. Скоро помощник появится и в VR-гарнитуре Quest.
*Организация, запрещенная на территории РФ
*Входят в Meta — организацию, запрещенную на территории РФ
Meta* выпустила самую большую версию своей языковой модели с открытым кодом — Llama 3.1 с 405 млрд параметров. Ранее пользователям стали доступны версии Llama на 7 млрд параметров и 80 млрд параметров.
Главные особенности новой модели:
— В Meta называют Llama 3.1 первой опенсорсной моделью, которая может сравниться по производительности с топовыми пропиетарными LLM от OpenAI, Google и других;
— Специально для Llama 3.1 Meta увеличили объем информации, на которой обучалась LLM, и повысили ее качество (например, использовали актуальные данные 2024 года и не только на английском языке);
— Для обучения языковой модели потребовалось 16 тыс. GPU H100 от Nvidia. Это значит, что стоимость обучения LLM составляла как минимум несколько сотен миллионов долларов;
— Файнтюнинг модели производили, в том числе с помощью синтетической информации;
— Llama 3.1 обладает увеличенным контекстным окном (объем информации, который может запоминать модель) на 128 тыс. токенов. Это значит, что модель может работать приблизительно с 50 страницами текста, помещенными в один промпт. У последней версии GPT — 4o — такое же контекстное окно;
— Meta утверждают, что (несмотря на свой размер) Llama 3.1 обойдется разработчикам вдвое дешевле при запуске на собственной инфраструктуре, чем закрытые аналоги. Компания сотрудничает с десятками компаний, которые должны представить кастомные версии LLM;
— Llama 3.1 не мультимодальная и понимает только текстовую информацию. Создание версии, которая будет понимать аудио, видео и изображения, идет полным ходом, заверяют разработчики;
— Llama 3.1 доступна для загрузки, с моделью также могут работать пользователи облачных сервисов AWS, Azure, Google Cloud. Обычные пользователи могут оценить возможности языковой модели через ИИ-помощника MetaAI, интегрированного в WhatsApp**, Instagram** и Messenger**. Скоро помощник появится и в VR-гарнитуре Quest.
*Организация, запрещенная на территории РФ
*Входят в Meta — организацию, запрещенную на территории РФ