Какова вероятность того, что ИИ вас пранканёт ?
От 3 до 27% — в таком количестве случаев языковые модели предлагают «выдуманные» ответы, целиком или частично.
К таким выводам пришли сотрудники стартапа Vectara после проведённого исследования. Они называют этот баг «галлюцинациями» — и заявляют, что избавиться от них непросто.
Среди исследуемых моделей самый низкий показатель «галлюцинаций» выявили у Chat GPT от OpenAI, всего 3%. Показатель Claude 2 от Anthropic превысил 8%, а больше всего «галлюцинаций» выдаёт Google Palm Chat — 27%.
Почему так происходит? У авторов исследования три объяснения:
✔️ в интернете полно неправдивой информации, ИИ используют её в своих ответах,
✔️ они захватывают множество результатов поиска по запросу и суммируют их в ответе,
✔️ языковые модели полагаются на математическую вероятность, то есть угадывают, и поэтому иногда ошибаются.
Опыт OpenAI показывает, что минимизировать риски появления подобных ответов реально. Сделать это можно в том числе с помощью качественной отработки обратной связи от тестировщиков.
От 3 до 27% — в таком количестве случаев языковые модели предлагают «выдуманные» ответы, целиком или частично.
К таким выводам пришли сотрудники стартапа Vectara после проведённого исследования. Они называют этот баг «галлюцинациями» — и заявляют, что избавиться от них непросто.
Среди исследуемых моделей самый низкий показатель «галлюцинаций» выявили у Chat GPT от OpenAI, всего 3%. Показатель Claude 2 от Anthropic превысил 8%, а больше всего «галлюцинаций» выдаёт Google Palm Chat — 27%.
Почему так происходит? У авторов исследования три объяснения:
Опыт OpenAI показывает, что минимизировать риски появления подобных ответов реально. Сделать это можно в том числе с помощью качественной отработки обратной связи от тестировщиков.