В сеть утекли данные об архитектуре GPT-4
– GPT-4 в 10 раз больше GPT-3 — 1,8 триллионов параметров и 120 слоев
– GPT-4 обучался на ~13 триллионах токенов
– Обучение, предположительно, стоило 63 миллиона долларов. С актуальным железом и ценами на облачные вычисления, оно обошлось бы в 21,5 миллиона.
Остальное можно прочитать здесь: https://threadreaderapp.com/thread/1678545170508267522.html
—
@aioftheday — новости вокруг искусственного интеллекта
– GPT-4 в 10 раз больше GPT-3 — 1,8 триллионов параметров и 120 слоев
– GPT-4 обучался на ~13 триллионах токенов
– Обучение, предположительно, стоило 63 миллиона долларов. С актуальным железом и ценами на облачные вычисления, оно обошлось бы в 21,5 миллиона.
Остальное можно прочитать здесь: https://threadreaderapp.com/thread/1678545170508267522.html
—
@aioftheday — новости вокруг искусственного интеллекта