Language Models Represent Space and Time (by MIT)
В эмбеддингах языковых моделей (на средних слоях) обнаружились линейные фичи пространственно-временных координат.
И более того, они содержат внутри себя приблизительную карту мира, которую можно восстановить линейным преобразованием. То же самое работает для имён и событий — в их активациях присутствуют линейные фичи времени.
Это ещё одно свидетельство того, что языковые модели не просто запоминают обучающую выборку, а строят внутри себя физическую картину мира.
P.S. у Бориса расписано чуть подробнее
Статья
В эмбеддингах языковых моделей (на средних слоях) обнаружились линейные фичи пространственно-временных координат.
И более того, они содержат внутри себя приблизительную карту мира, которую можно восстановить линейным преобразованием. То же самое работает для имён и событий — в их активациях присутствуют линейные фичи времени.
Это ещё одно свидетельство того, что языковые модели не просто запоминают обучающую выборку, а строят внутри себя физическую картину мира.
P.S. у Бориса расписано чуть подробнее
Статья