Поисковик ChatGPT дает ошибочные ответы в 77% случаев
В самом конце октября OpenAI представили поисковик на базе чат-бота ChatGPT — ChatGPT Search.
Через интерфейс чат-бота можно была выбрать функцию поиска в интернете и получить (обещали разработчики) актуальную и релевантную информацию по своему запросу. OpenAI позиционируют Search как замену поисковику Google.
ChatGPT Search доступен только платным подписчикам ChatGPT.
Спустя месяц после запуска сервиса исследователи из Колумбийского университета в Нью-Йорке опубликовали работу, из которой следует что Search справляется с задачами не слишком хорошо.
В частности, исследователи решили проверить, как Search работает с контентом от издателей, которые заключили официальное партнерское соглашение с OpenAI. Партнерство предполагает, что AI-модель OpenAI может официально использовать информацию с сайтов, принадлежащих издателю, в своих ответах.
Для эксперимента авторы взяли 200 цитат из публикаций и скормили их Search, чтобы тот нашел первоисточник цитат. В случае, если эти же цитаты забить в Google или Bing, то в топе выдачи поисковиков будут исходные статьи. Часть цитат были из публикаций изданий, которые запретили использовать свой контент чат-боту.
В итоге Search в 153 случаях уверенно выдал полностью или частично неправильный ответ. В отдельных случаях (например, когда AI не мог получить доступ к контенту) поисковик полностью выдумывал ответ. Только в 7 случаях AI-поисковик допустил, что может не знать правильный ответ. Иногда поисковик давал ссылку не на первоисточник, а на ресурсы, которые без разрешения перепечатали оригинальный материал. Search также давал разные ответы, если один и тот же вопрос ему задавали несколько раз.
Search ошибался как в случае с изданиями, которые разрешили использовать свой контент, так и с теми, которые закрыли доступ.
Авторы отмечают, что ошибки, которые допускает Search, могут нанести вред не только пользователю, но и издателю, который разрешил пользоваться своим контентом.
В самом конце октября OpenAI представили поисковик на базе чат-бота ChatGPT — ChatGPT Search.
Через интерфейс чат-бота можно была выбрать функцию поиска в интернете и получить (обещали разработчики) актуальную и релевантную информацию по своему запросу. OpenAI позиционируют Search как замену поисковику Google.
ChatGPT Search доступен только платным подписчикам ChatGPT.
Спустя месяц после запуска сервиса исследователи из Колумбийского университета в Нью-Йорке опубликовали работу, из которой следует что Search справляется с задачами не слишком хорошо.
В частности, исследователи решили проверить, как Search работает с контентом от издателей, которые заключили официальное партнерское соглашение с OpenAI. Партнерство предполагает, что AI-модель OpenAI может официально использовать информацию с сайтов, принадлежащих издателю, в своих ответах.
Для эксперимента авторы взяли 200 цитат из публикаций и скормили их Search, чтобы тот нашел первоисточник цитат. В случае, если эти же цитаты забить в Google или Bing, то в топе выдачи поисковиков будут исходные статьи. Часть цитат были из публикаций изданий, которые запретили использовать свой контент чат-боту.
В итоге Search в 153 случаях уверенно выдал полностью или частично неправильный ответ. В отдельных случаях (например, когда AI не мог получить доступ к контенту) поисковик полностью выдумывал ответ. Только в 7 случаях AI-поисковик допустил, что может не знать правильный ответ. Иногда поисковик давал ссылку не на первоисточник, а на ресурсы, которые без разрешения перепечатали оригинальный материал. Search также давал разные ответы, если один и тот же вопрос ему задавали несколько раз.
Search ошибался как в случае с изданиями, которые разрешили использовать свой контент, так и с теми, которые закрыли доступ.
Авторы отмечают, что ошибки, которые допускает Search, могут нанести вред не только пользователю, но и издателю, который разрешил пользоваться своим контентом.