Привет всем!
Много сил и времени ушло на производство видео в последние недели! Надеюсь, заценили результат. +3 новых видео на канале!
Только добрался к постику про GPT-4o. Успел попробовать сам только, пока писал лекцию на эту субботу.
Итак, нам выкатили новую модель, это всего лишь новая итерация GPT-4, но наощупь так и не скажешь.
GPT-4o в разы быстрее. У меня выработалась привычка, что ответы GPT-4 нужно ждать намного дольше, чем 3.5, от того, когда я вижу эту скорость, мозг автоматически ждёт, что качество вывода будет ниже. Нет, это всё то же поколение.
Доступен GPT-4o будет для всех, в том числе без подписки. Здесь сразу два “вау”. Во-первых, как они могут себе это позволить? Во-вторых, а зачем теперь платить подписку?
Ответ на второй: для бесплатных пользователей будет нефиксированный лимит на количество сообщений, который будет меняться в зависимости от спроса в данный момент, как цена на такси в приложениях. Соответственно, если хочешь надежный инструмент, доступный чаще, придётся платить. Но разница между тарифами теперь не так очевидна!
А ответ на первый чуть сложнее. Судя по всему, у модели подрезаны параметры (никто не знает наверняка). Плюс к этому алгоритмы компрессии токенов теперь многие языки приблизили по количеству токенов к английскому и в целом их сократили.
Например, если раньше текст “Привет, меня зовут GPT-4o. Я — новая языковая модель, приятно познакомиться!” занимал 39 токенов, сейчас это 23. Для скорости это плюс, но по надёжности нужно проверять.
Хотя бенчмарки показывают новые рекорды, вновь самая сильная модель, которая лучше четвёрки справляется со всеми задачами, на которых она проверялась.
Но от программистов на реддите читал, что по написанию кода надёжность значительно упала, они всё ещё предпочитают GPT-4. То же самое могу сказать про свой опыт по структуризации данных, когда нужно прогнать код на питоне, GPT-4 медленнее, но внимательнее считал!
Понятно, что модель только вышла и правки ещё будут вноситься. Будет верить, что эти нюансы не про то, что модель стала хуже, а про то, что нужно где-то подкрутить.
Но можем почти точно сказать, что они смогли заставить эту модель пожирать меньше производственных мощностей на единицу задачи. Ведь даже токены API GPT-4o стоят в два раза дешевле, чем GPT-4. Сложно представить, что сейчас придётся делать другим компаниям на рынке, чтобы предложить хоть что-то сопоставимое.
Много сил и времени ушло на производство видео в последние недели! Надеюсь, заценили результат. +3 новых видео на канале!
Только добрался к постику про GPT-4o. Успел попробовать сам только, пока писал лекцию на эту субботу.
Итак, нам выкатили новую модель, это всего лишь новая итерация GPT-4, но наощупь так и не скажешь.
GPT-4o в разы быстрее. У меня выработалась привычка, что ответы GPT-4 нужно ждать намного дольше, чем 3.5, от того, когда я вижу эту скорость, мозг автоматически ждёт, что качество вывода будет ниже. Нет, это всё то же поколение.
Доступен GPT-4o будет для всех, в том числе без подписки. Здесь сразу два “вау”. Во-первых, как они могут себе это позволить? Во-вторых, а зачем теперь платить подписку?
Ответ на второй: для бесплатных пользователей будет нефиксированный лимит на количество сообщений, который будет меняться в зависимости от спроса в данный момент, как цена на такси в приложениях. Соответственно, если хочешь надежный инструмент, доступный чаще, придётся платить. Но разница между тарифами теперь не так очевидна!
А ответ на первый чуть сложнее. Судя по всему, у модели подрезаны параметры (никто не знает наверняка). Плюс к этому алгоритмы компрессии токенов теперь многие языки приблизили по количеству токенов к английскому и в целом их сократили.
Например, если раньше текст “Привет, меня зовут GPT-4o. Я — новая языковая модель, приятно познакомиться!” занимал 39 токенов, сейчас это 23. Для скорости это плюс, но по надёжности нужно проверять.
Хотя бенчмарки показывают новые рекорды, вновь самая сильная модель, которая лучше четвёрки справляется со всеми задачами, на которых она проверялась.
Но от программистов на реддите читал, что по написанию кода надёжность значительно упала, они всё ещё предпочитают GPT-4. То же самое могу сказать про свой опыт по структуризации данных, когда нужно прогнать код на питоне, GPT-4 медленнее, но внимательнее считал!
Понятно, что модель только вышла и правки ещё будут вноситься. Будет верить, что эти нюансы не про то, что модель стала хуже, а про то, что нужно где-то подкрутить.
Но можем почти точно сказать, что они смогли заставить эту модель пожирать меньше производственных мощностей на единицу задачи. Ведь даже токены API GPT-4o стоят в два раза дешевле, чем GPT-4. Сложно представить, что сейчас придётся делать другим компаниям на рынке, чтобы предложить хоть что-то сопоставимое.