Сопроводительные материалы к посту ниже.
Картинка 1: разница перплексии на повторяющихся N-граммах и иллюстрация самих N-грамм
Картинка 2: как RWKV продолбался на MQAR
Картинка 3: таблица, где трансформеры выигрывают
Картинка 4: таблица, где гибриды восстанавливают справедливость
Картинка 1: разница перплексии на повторяющихся N-граммах и иллюстрация самих N-грамм
Картинка 2: как RWKV продолбался на MQAR
Картинка 3: таблица, где трансформеры выигрывают
Картинка 4: таблица, где гибриды восстанавливают справедливость