ВСЁ ЧТО ИЗВЕСТНО О РАЗМЕРЕ GPT-4 НА ДАННЫЙ МОМЕНТ
И этот заголовок даже не байт. В UI ChatGPT есть визуальная демонстрация нескольких параметров разных моделей, включая speed, то есть скорость (см. ниже). Он выставлен на 2 у GPT-4 (она уже доступна plus-подписчикам с лимитом запросов) и у legacy-модели ChatGPT (той, что была неоптимизирована и выпущена в декабре). У default же она стоит в 5 (и, как мы знаем по документации API, default стоит в 10 раз меньше GPT3-175B, и столько же, сколько модель на 6.7B параметров).
Если бы был метод оптимизации, который не связан с дистиллирвоанием и переобучением модели, а был бы завязан на инженерию - то почему бы default модель на него тоже не перевести? Раз другие модели не теряют в перформансе из-за этого. Вероятно, это именно что отдельные модели разных размеров (
Итого GPT-4 имеет скорость как 175B-моделька на релизе в декабре. Вероятно, она примерно такого же размера, ну по крайней мере одного порядка, не 100 триллионов уж точно. Плюс держим в голове, что в режиме чатбота нет картинок, то есть часть сети ещё и обрезается (отдельный энкодер или что за магию придумали).
Плюс, GPT-4 запихнули в поисковик. 175B модель и без того безумно дорогая на инференс (да и 6.7-13B модели тоже), а делать что-то ещё массивнее ну просто нецелесообразно с точки зрения юнит-экономики. Просто не сойдется баланс, если на каждого пользователя тратить по 0.5$ за запрос - никакая реклама не отобьёт.
В общем, как-то так.
И этот заголовок даже не байт. В UI ChatGPT есть визуальная демонстрация нескольких параметров разных моделей, включая speed, то есть скорость (см. ниже). Он выставлен на 2 у GPT-4 (она уже доступна plus-подписчикам с лимитом запросов) и у legacy-модели ChatGPT (той, что была неоптимизирована и выпущена в декабре). У default же она стоит в 5 (и, как мы знаем по документации API, default стоит в 10 раз меньше GPT3-175B, и столько же, сколько модель на 6.7B параметров).
Если бы был метод оптимизации, который не связан с дистиллирвоанием и переобучением модели, а был бы завязан на инженерию - то почему бы default модель на него тоже не перевести? Раз другие модели не теряют в перформансе из-за этого. Вероятно, это именно что отдельные модели разных размеров (
turbo для default в документации как бы намекает, что модель на спидах, самый простой способ - сделать модель меньше). Итого GPT-4 имеет скорость как 175B-моделька на релизе в декабре. Вероятно, она примерно такого же размера, ну по крайней мере одного порядка, не 100 триллионов уж точно. Плюс держим в голове, что в режиме чатбота нет картинок, то есть часть сети ещё и обрезается (отдельный энкодер или что за магию придумали).
Плюс, GPT-4 запихнули в поисковик. 175B модель и без того безумно дорогая на инференс (да и 6.7-13B модели тоже), а делать что-то ещё массивнее ну просто нецелесообразно с точки зрения юнит-экономики. Просто не сойдется баланс, если на каждого пользователя тратить по 0.5$ за запрос - никакая реклама не отобьёт.
В общем, как-то так.