Чат-боты склонны "подхалимничать"
Таким термином ученые описывают поведение языковых моделей, когда они соглашаются со всем подряд. Наверняка те, кто часто использует ChatGPT, замечали, что он склонен "поддакивать" вам. Такое поведение порой доходит до абсурда и чат-бот начинает выдавать очевидно ложные факты за истину.
Причем, что интересно, чем умнее модель и чем больше у нее параметров, чем чаще она соглашается со всякой ерундой.
💻 Новости AI • Бот MidJorney
Таким термином ученые описывают поведение языковых моделей, когда они соглашаются со всем подряд. Наверняка те, кто часто использует ChatGPT, замечали, что он склонен "поддакивать" вам. Такое поведение порой доходит до абсурда и чат-бот начинает выдавать очевидно ложные факты за истину.
Причем, что интересно, чем умнее модель и чем больше у нее параметров, чем чаще она соглашается со всякой ерундой.