​​Чудеса на миражах: действительно ли галлюцинируют большие языковые модели



Бывает, нейросеть выдает информацию, никак не связанную с запросом. Ты ей про Фому, а она тебе про Ерёму. Такой эффект называют галлюцинациями, и они считаются основной проблемой больших языковых моделей с архитектурой типа трансформер (GPT-4, LLAMA и подобные).



Но действительно ли галлюцинации — главный бич LLM? Инженер по разработке ПО искусственного интеллекта в YADRO Полина Пластова и эксперт Андрей Соколов задались этим вопросом и проверили актуальность проблемы для современных предобученных LLM в вопросно-ответном сценарии. Эксперимент на собранном ими датасете они описали в новой статье.



Из текста вы узнаете:



Какова архитектура трансформенных моделей;

Что за явление называется галлюцинированием LLM в строгом определении;

К каким результатам приведет анализ выбранного датасета на наличие галлюцинаций;

Как построить простейший пороговый алгоритм для определения галлюцинаций.



Читать



#AI #ML #нейротехнологии