Модель мира в представлении Llama 2 с 70 млрд параметров при увеличении числа слоёв. Цветом закодированы реальные материки.
Исследователи Массачусетского технологического института утверждают, что им удалось выявить в большой языковой модели Llama 2 - модель пространства и времени. Их работа говорит, что нейросеть имеет понимание положения географических мест на планете и исторических событий.
Для исследования подготовили имена десятков тысяч городов, структур и природных объектов. Это могли быть как естественные элементы рельефа (включая озёра и острова) и субъекты государственного подчинения (графства, округа, города), так и просто известные здания (к примеру, отель или университет) или элементы инфраструктуры (парки, мосты).
Данные собрали из DBpedia.
Но почему-то большая часть России не представлена в модели Мира от Llama 2...
Исследователи Массачусетского технологического института утверждают, что им удалось выявить в большой языковой модели Llama 2 - модель пространства и времени. Их работа говорит, что нейросеть имеет понимание положения географических мест на планете и исторических событий.
Для исследования подготовили имена десятков тысяч городов, структур и природных объектов. Это могли быть как естественные элементы рельефа (включая озёра и острова) и субъекты государственного подчинения (графства, округа, города), так и просто известные здания (к примеру, отель или университет) или элементы инфраструктуры (парки, мосты).
Данные собрали из DBpedia.
Но почему-то большая часть России не представлена в модели Мира от Llama 2...