ИИ научился читать мысли по данным томографии
В будущем он поможет парализованным пациентам коммуницировать с окружающими.
Ученые из Техасского университета в Остине опубликовали в журнале Nature Neuroscience статью о методах работы их нового изобретения — «семантического декодера». Это аналогичная ChatGPT нейросеть, которая использует языковую модель для анализа снимков МРТ и «расшифровки» мыслей пациентов. В отличие от аналогов, ей не требуются данные об активности нейронов, то есть испытуемым не нужно имплантировать электроды в мозг.
Функциональная магнитно-резонансная томография (фМРТ) позволяет определять активность нейронов головного мозга по усилению тока крови, который необходим для снабжения их кислородом. Томограф получает снимки с высоким разрешением с частотой около десяти секунд: за это время человек успевает произнести около 20 слов. Именно поэтому для расшифровки данных ученым понадобилась крупномасштабная языковая модель-трансформер.
Авторы работы обучали нейросеть на результатах фМРТ трех добровольцев, активность мозга которых отслеживали во время чтения аудиокниг. Модель научилась определять нейронные паттерны, активирующиеся в ответ на разные последовательности слов, а не на каждое слово по отдельности, то есть реконструировала общий смысл мыслей. Точность работы «семантического декодера» была удивительно высокой, к примеру, звучащая в голове фраза «Я еще не получил водительские права» превращалась в «Она еще не начала учиться водить».
💻 Новости AI • Бот MidJorney
В будущем он поможет парализованным пациентам коммуницировать с окружающими.
Ученые из Техасского университета в Остине опубликовали в журнале Nature Neuroscience статью о методах работы их нового изобретения — «семантического декодера». Это аналогичная ChatGPT нейросеть, которая использует языковую модель для анализа снимков МРТ и «расшифровки» мыслей пациентов. В отличие от аналогов, ей не требуются данные об активности нейронов, то есть испытуемым не нужно имплантировать электроды в мозг.
Функциональная магнитно-резонансная томография (фМРТ) позволяет определять активность нейронов головного мозга по усилению тока крови, который необходим для снабжения их кислородом. Томограф получает снимки с высоким разрешением с частотой около десяти секунд: за это время человек успевает произнести около 20 слов. Именно поэтому для расшифровки данных ученым понадобилась крупномасштабная языковая модель-трансформер.
Авторы работы обучали нейросеть на результатах фМРТ трех добровольцев, активность мозга которых отслеживали во время чтения аудиокниг. Модель научилась определять нейронные паттерны, активирующиеся в ответ на разные последовательности слов, а не на каждое слово по отдельности, то есть реконструировала общий смысл мыслей. Точность работы «семантического декодера» была удивительно высокой, к примеру, звучащая в голове фраза «Я еще не получил водительские права» превращалась в «Она еще не начала учиться водить».