Слово hallucinate (с англ. «галлюцинировать») стало словом 2023 года. В контексте ИИ это означает ситуации, когда нейросеть генерирует ложную и бессмысленную информацию. Рассказываем, почему это происходит, на примере больших языковых моделей (LLM), таких как GPT-4 или Claude 2.
Большие языковые модели похожи на Т9, функцию автозаполнения в смартфонах, предсказывая следующее слово на основе предыдущих: например, после «привет» обычно идет фраза «как дела». Однако LLM более продвинуты: они обучаются на огромных объемах данных и учитывают весь контекст текста.
Хотя LLM умеют грамматически правильно строить предложения, они не осознают их смысл. Они подбирают слова, основываясь на вероятности и «случайно» выбирая самый подходящий вариант. Что происходит в это время внутри модели, мы не знаем — это «черный ящик».
Итак, LLM знают, как писать, но не понимают, о чем они пишут. Поэтому, когда ChatGPT выдает какую-то небывальщину, это означает, что LLM посчитала такой вариант сочетания слов наиболее подходящим, а не потому, что она «так думает».
Более подробное объяснение устройства LLM читайте здесь.
→ Ошибки, неточности и фейки в обучающих датасетах.
→ Неправильный контекст в запросе.
→ Недостаточная обученность или, напротив, переобучение.
Согласно исследованиям, ChatGPT выдумывает ~3% информации. Модели компании Meta ~5%. Claude 2 — 8%. Более старые — ошибаются чаще.
→ Обратная связь — уязвимые темы должен прокомментировать человек. Этим занимаются компании-разработчики.
→ Грамотно составлять запросы, давая достаточно контекста. Смотрите памятку по написанию промптов.
CEO OpenAI Сэм Альтман считает, что проблему галлюцинаций решат в ближайшие 2 года, однако также добавил: «Существует баланс между креативностью и идеальной точностью, и модели придется учиться, когда вы захотите от нее того или другого».
@hiaimedia