Немного устал в комментариях на каждом ресурсе, где были последние 2 статьи, объяснять, что если конкретно у вас конкретно один пример не работает - да ещё и в ChatGPT (GPT-3.5), а не GPT-4, то это не значит, что на технологии можно ставить крест и тем более что она не перспективна.
Так "из коробки", если просто подавать какой-то текст, который был придуман/сформулирован для человека - да, модель не будет показывать свой максимальный перформанс. Может сработать (особенно четвёрка), может удивить - а может и нет. Это нормально.
Важно, что это крепкая основа для дальнейших продуктов широкой применимости. Вот, например, Copilot - плагин для программистов, который генерирует код. Логика подсказывает, что если предложенный код оказывается правильным достаточно часто - то это существенно экономит время программиста. Не заменяет его, не отбирает работу - а увеличивает эффективность.
Ещё в декабре нашелся умелец, который разобрал по косточкам принцип работы Copilot. Очень рекомендую разработчикам ознакомиться, чтобы получить представление о том, как применять GPT-4.
Там есть ответ на главный вопрос: "так а как модель будет работать с новым кодом? она же только может генерировать то, что уже видела!". Модели даётся полный контекст того, чем владеет программист - код до и после текущего кусочка (сверху и снизу). Код из соседних модулей. Код из похожего файла. Код из импортируемого файла.
И всё это подается в контекст модели для генерации. Теперь уже не кажется, да, что модель "не понимает", что ей нужно генерировать? Ведь практически всё необходимое есть. Модель даже может "подражать" вашему стилю говнокода - ведь это исходит из контекста, что нужно генерировать что-то, что похоже на код вокруг.
UPD: а ещё Staff Prompt Engineer компании scale.ai, которая помогает OpenAI с подготовкой данных, говорит, что статья выше - это ОЧЕНЬ хороший способ разобраться в промптах и том, какую логику нужно преследовать. В общем, рекомендую.
Так "из коробки", если просто подавать какой-то текст, который был придуман/сформулирован для человека - да, модель не будет показывать свой максимальный перформанс. Может сработать (особенно четвёрка), может удивить - а может и нет. Это нормально.
Важно, что это крепкая основа для дальнейших продуктов широкой применимости. Вот, например, Copilot - плагин для программистов, который генерирует код. Логика подсказывает, что если предложенный код оказывается правильным достаточно часто - то это существенно экономит время программиста. Не заменяет его, не отбирает работу - а увеличивает эффективность.
Ещё в декабре нашелся умелец, который разобрал по косточкам принцип работы Copilot. Очень рекомендую разработчикам ознакомиться, чтобы получить представление о том, как применять GPT-4.
Там есть ответ на главный вопрос: "так а как модель будет работать с новым кодом? она же только может генерировать то, что уже видела!". Модели даётся полный контекст того, чем владеет программист - код до и после текущего кусочка (сверху и снизу). Код из соседних модулей. Код из похожего файла. Код из импортируемого файла.
И всё это подается в контекст модели для генерации. Теперь уже не кажется, да, что модель "не понимает", что ей нужно генерировать? Ведь практически всё необходимое есть. Модель даже может "подражать" вашему стилю говнокода - ведь это исходит из контекста, что нужно генерировать что-то, что похоже на код вокруг.
UPD: а ещё Staff Prompt Engineer компании scale.ai, которая помогает OpenAI с подготовкой данных, говорит, что статья выше - это ОЧЕНЬ хороший способ разобраться в промптах и том, какую логику нужно преследовать. В общем, рекомендую.