CriticGPT: ИИ для поиска ошибок ИИ
OpenAI рассказала о новой модели CriticGPT, основанной на GPT-4, для выявления ошибок в коде, сгенерированном GPT-4.
Возможности CriticGPT:
🔶 Анализ кода, созданного ChatGPT и выявление неточностей
🔶 Написание критических замечаний к ответам ChatGPT
🔶 Помощь людям-тренерам в оценке выходных данных ИИ
🔶 Балансировка между агрессивным поиском проблем и точностью обнаружения
Ключевые факты:
Модель обучена с помощью RLHF (Усиление обучения с помощью людского фидбэка), как и ChatGPT, но на данных с намеренно внесенными ошибками. CriticGPT способна находить как искусственно внесенные, так и естественные ошибки ChatGPT. По мнению тренеров, критика CriticGPT лучше, чем критика ChatGPT в 63% случаев при работе с естественными ошибками.
Было обнаружено, что можно генерировать более длинные и всесторонние критические замечания, используя дополнительный поиск во время тестирования против модели вознаграждения критики. Этот поиск, называемый Принудительным выбором с использованием поиска по лучам (FSBS), позволяет балансировать агрессивность поиска проблем в коде и настраивать компромисс между точностью и полнотой обнаружения ошибок. В результате генерируются замечания, максимально полезные для RLHF. Подробнее в документе.
Ограничения CriticGPT включают возможные галлюцинации, сложность оценки длинных и комплексных задач, а также проблемы с обнаружением ошибок, распределенных по всему ответу.
OpenAI планирует интегрировать подобные CriticGPT модели в процесс обучения своих ИИ-систем и видит в этом подходе перспективу для создания более совершенных инструментов оценки сложных ИИ-систем.
Так то 63% не супер сильно отличается от 50…
@sergiobulaev - об AI и не только
OpenAI рассказала о новой модели CriticGPT, основанной на GPT-4, для выявления ошибок в коде, сгенерированном GPT-4.
Возможности CriticGPT:
🔶 Анализ кода, созданного ChatGPT и выявление неточностей
🔶 Написание критических замечаний к ответам ChatGPT
🔶 Помощь людям-тренерам в оценке выходных данных ИИ
🔶 Балансировка между агрессивным поиском проблем и точностью обнаружения
Ключевые факты:
Модель обучена с помощью RLHF (Усиление обучения с помощью людского фидбэка), как и ChatGPT, но на данных с намеренно внесенными ошибками. CriticGPT способна находить как искусственно внесенные, так и естественные ошибки ChatGPT. По мнению тренеров, критика CriticGPT лучше, чем критика ChatGPT в 63% случаев при работе с естественными ошибками.
Было обнаружено, что можно генерировать более длинные и всесторонние критические замечания, используя дополнительный поиск во время тестирования против модели вознаграждения критики. Этот поиск, называемый Принудительным выбором с использованием поиска по лучам (FSBS), позволяет балансировать агрессивность поиска проблем в коде и настраивать компромисс между точностью и полнотой обнаружения ошибок. В результате генерируются замечания, максимально полезные для RLHF. Подробнее в документе.
Ограничения CriticGPT включают возможные галлюцинации, сложность оценки длинных и комплексных задач, а также проблемы с обнаружением ошибок, распределенных по всему ответу.
OpenAI планирует интегрировать подобные CriticGPT модели в процесс обучения своих ИИ-систем и видит в этом подходе перспективу для создания более совершенных инструментов оценки сложных ИИ-систем.
Так то 63% не супер сильно отличается от 50…
@sergiobulaev - об AI и не только