В своей книге «Революция ИИ в медицине» доктор Кохейн вместе с независимым журналистом Кэри Голдберг и вице-президентом Microsoft по исследованиям Питером Ли подробно описали результаты эксперимента. GPT-4 добился 90% точности на экзамене на получение медицинской лицензии, превзойдя предыдущие модели GPT и даже некоторых лицензированных врачей.
GPT-4 не только преуспел в диагностике пациентов, но и переводил сложный медицинский жаргон на понятный язык, давая врачам полезные советы о том, как общаться с пациентами. Система могла обрабатывать большие объемы медицинских данных и мгновенно обобщать их содержимое.
Однако исследователи отметили, что GPT-4 ограничен в своих способностях к мышлению и рассуждениям и сильно зависит от шаблонов. Несмотря на то, что она правильно диагностировала редкое заболевание при представлении реальных данных, система не всегда надежна и может делать ошибки, иногда настаивая на своей правоте, даже когда она неверна.
Чтобы решить эту проблему, авторы предлагают провести несколько сеансов с GPT-4, чтобы система могла просмотреть и проверить свою собственную работу или поручить специалисту проверить ее результаты. Хотя потенциал GPT-4 в области медицины огромен, обеспечение его безопасности и надежности остается сложной задачей.