Microsoft LongNet, в теории, может обрабатывать в 250 000 раз больше токенов, чем ChatGPT.
Языковая модель LongNet от Microsoft умеет «держать в уме» до миллиарда токенов по сравнению с 4096 токенами ChatGPT. Это около 750 000 000 слов или 2 000 000 страниц текста на английском языке.
LongNet достигает этого с помощью механизма, называемого расширенным вниманием, когда внимание между двумя токенами уменьшается экспоненциально по мере того, как они удаляются друг от друга.
В настоящее время, LongNet — лишь концепт. Ее способности еще предстоит подтвердить в будущих исследованиях.
————————————————
@DeepTechNET - Канал про тренды из мира IT, технологий, нейросетей и бизнеса.
Языковая модель LongNet от Microsoft умеет «держать в уме» до миллиарда токенов по сравнению с 4096 токенами ChatGPT. Это около 750 000 000 слов или 2 000 000 страниц текста на английском языке.
LongNet достигает этого с помощью механизма, называемого расширенным вниманием, когда внимание между двумя токенами уменьшается экспоненциально по мере того, как они удаляются друг от друга.
В настоящее время, LongNet — лишь концепт. Ее способности еще предстоит подтвердить в будущих исследованиях.
————————————————
@DeepTechNET - Канал про тренды из мира IT, технологий, нейросетей и бизнеса.