Я подала на вход ChatGPT тексты со словами, перемешанными случайным образом (с помощью функции shuffle из модуля random), и попросила их суммаризовать. Рис. 1 - перемешанный текст про техножрецов, рис. 2 - другой перемешанный текст по вархаммеру, рис. 3 - 5 - перемешанные абстракты наших с коллегами статей (https://aclanthology.org/2021.emnlp-main.50/ , https://arxiv.org/abs/2205.09630 , https://arxiv.org/abs/2211.17223).
Как видите, модель ничуть не смутилась и сработала в режиме Bag Of Words. Другими словами, модель просто выхватила знакомые слова из мешанины и на их основе определила тематику текста. Связи между словами она видеть не могла: они были специально разрушены.
При задании дополнительных наводящих вопросов о том, является ли текст осмысленным или нет, модель при одной формулировке вопроса начинает понимать, что слова перемешаны (рис. 6) и впоследствии (рис. 7) отказывается суммаризовать текст (правильно замечая, что смысла нет), а при другой (рис. 8) - нет.
#генерация
Как видите, модель ничуть не смутилась и сработала в режиме Bag Of Words. Другими словами, модель просто выхватила знакомые слова из мешанины и на их основе определила тематику текста. Связи между словами она видеть не могла: они были специально разрушены.
При задании дополнительных наводящих вопросов о том, является ли текст осмысленным или нет, модель при одной формулировке вопроса начинает понимать, что слова перемешаны (рис. 6) и впоследствии (рис. 7) отказывается суммаризовать текст (правильно замечая, что смысла нет), а при другой (рис. 8) - нет.
#генерация