Исследование, проводимое Колумбийским университетом, показало, что такие крупные языковые модели, как ChatGPT-4, не способны надежно извлекать информацию из медицинских записей.
В статье, опубликованной в JAMA Network Open, анализировалась способность ChatGPT-4 определить, пользовались ли пациенты шлемами во время аварий на скутерах и велосипедах.
В рамках исследования, охватывающего 54,569 обращений в отделения неотложной помощи с 2019 по 2022 годы, ChatGPT-4 не смог адекватно заменить традиционные методы поиска текстовой информации о шлемах.
Модель демонстрировала удовлетворительные результаты лишь в случае наличия всех текстов, задействованных в поиске, и испытывала трудности с интерпретацией отрицательных конструкций, например «без шлема».
Несмотря на потенциал LLM в анализе медицинских записей, текущий уровень технологии ограничивает их надежность.
Исследователи подчеркивают, что ChatGPT-4 пока не может стабильно справляться с этой задачей, вызывая потребность в более эффективных инструментах для извлечения данных из клинических записей.
@sip_ai | @sip_ai_bot