Статья Climbing towards NLU Эмили Бендер и Александра Коллера получила премию "лучшая тематическая статья" на ACL 2020 (для справки: ACL это вам не насрано, у меня самого там статья была на воркшопе).
Их основное утверждение состоит в том, что система, обученная только на форме (сыром тексте), никогда не сможет понять смысл. Они утверждают, что для того, чтобы системы научились понимать значение, форма должна быть связана с намерением (которое находится вне языка).
Для этого они предлагают рассмотреть "тест осьминога". Вкратце, два человека А и Б живут на отдаленных островах и могут общаться только с помощью текстовых сообщений по трансокеанному кабелю. Сверхумный осьминог О слушает их разговоры. В конце концов, О отрезает от кабеля Б и начинает говорить с А. Может ли О обмануть А, или А поймет неладное? Бендер и Коллер утверждают, что О потерпит неудачу, когда подвергнется воздействию реальных ситуаций, таких как нападение медведя, так как О не имеет представлений о мире! (На рисунке реальный ответ GPT2)
Их основное утверждение состоит в том, что система, обученная только на форме (сыром тексте), никогда не сможет понять смысл. Они утверждают, что для того, чтобы системы научились понимать значение, форма должна быть связана с намерением (которое находится вне языка).
Для этого они предлагают рассмотреть "тест осьминога". Вкратце, два человека А и Б живут на отдаленных островах и могут общаться только с помощью текстовых сообщений по трансокеанному кабелю. Сверхумный осьминог О слушает их разговоры. В конце концов, О отрезает от кабеля Б и начинает говорить с А. Может ли О обмануть А, или А поймет неладное? Бендер и Коллер утверждают, что О потерпит неудачу, когда подвергнется воздействию реальных ситуаций, таких как нападение медведя, так как О не имеет представлений о мире! (На рисунке реальный ответ GPT2)