Галлюцинирование нейросети???!!!
Что это за проблема и как с ней бороться?
Галлюцинациями называют ответы больших языковых моделей (LLM), которые звучат правдиво, но на самом деле являются ошибочными. Простой пример — вы спрашиваете у чат-бота, кто написал «Войну и мир», а он отвечает — Николай Гоголь (на самом деле Лев Толстой).
Основные причины галлюцинаций — недостаток знаний и принцип работы языковой модели. При обучении она учится предсказывать вероятное продолжение на основе предыдущих слов. Если модель не выучила какой-то факт, например того же автора «Войны и мир», то предскажет другое имя или другого писателя, ведь это более вероятное продолжение, чем, например, «эту книгу написала собака».
Этот феномен не изучен до конца, поэтому применяются разные способы решить проблему. Например, тщательнее отбирать данные для LLM и тем самым улучшить её претрейн. Ещё следует проверять, как данные влияют на тестовую модель, и только потом «вливать» их в основную. Также лучше использовать обучение с подкреплением, т.е. алгоритм, моделирующий обучение методом проб и ошибок.
Что это за проблема и как с ней бороться?
Галлюцинациями называют ответы больших языковых моделей (LLM), которые звучат правдиво, но на самом деле являются ошибочными. Простой пример — вы спрашиваете у чат-бота, кто написал «Войну и мир», а он отвечает — Николай Гоголь (на самом деле Лев Толстой).
Основные причины галлюцинаций — недостаток знаний и принцип работы языковой модели. При обучении она учится предсказывать вероятное продолжение на основе предыдущих слов. Если модель не выучила какой-то факт, например того же автора «Войны и мир», то предскажет другое имя или другого писателя, ведь это более вероятное продолжение, чем, например, «эту книгу написала собака».
Этот феномен не изучен до конца, поэтому применяются разные способы решить проблему. Например, тщательнее отбирать данные для LLM и тем самым улучшить её претрейн. Ещё следует проверять, как данные влияют на тестовую модель, и только потом «вливать» их в основную. Также лучше использовать обучение с подкреплением, т.е. алгоритм, моделирующий обучение методом проб и ошибок.