💀 Модель GPT-4 прошла тест Тьюринга



Ещё в 1950 году математик Алан Тьюринг предложил тест, который мог бы оценить способность машины успешно имитировать человека. Суть теста заключается в следующем: испытуемый общается с двумя собеседниками в текстовом формате. Один из собеседников человек, другой — машина. Если испытуемый не может верно определить, кто есть кто, то машина проходит тест Тьюринга.



🪅В свежем эксперименте авторы оценивали три модели: GPT-4, GPT-3.5 и ELIZA. Испытуемый общался с каждой из них, а также с человеком. Ему нужно было определить, кто, собственно, живой собеседник.



Предлагаем вам, поучаствовать тоже. Прочитайте диалоги со скриншотов, прикреплённых к посту. Лишь один из них — диалог с реальным человеком.



Ответ: Собеседник со скриншота B — человек. Под A скрывался GPT-4, под C — GPT-3.5, под D — ELIZA. Испытуемый ошибочно счёл A и C людьми, а B — машиной.



В целом, в 54% случаев участники эксперимента считали GPT-4 человеком.