Компания OpenAI начала борьбу с распространением ложной информации, так называемыми "галлюцинациями" ИИ. Такое поведение моделей, вроде ChatGPT и Google Bard, заключается в том, что они выдумывают факты, представляя их как истину.
OpenAI предложила новый подход к решению этой проблемы. Стратегия заключается в обучении моделей вознаграждать себя за каждый верный шаг в процессе рассуждения, а не просто за правильный конечный вывод. Исследователи назвали эту стратегию "контролем процесса". Они полагают, что она поможет создать более логичные модели ИИ, которые будут следовать последовательной "цепочке мыслей", схожей с человеческой.
Некоторые независимые эксперты сомневаются в эффективности предложенного подхода. Но Карл Коббе, штатный математик из OpenAI, уверен, что выявление и устранение логических ошибок в работе моделей - важный шаг на пути к созданию Общего Искусственного Интеллекта.
Источник
OpenAI предложила новый подход к решению этой проблемы. Стратегия заключается в обучении моделей вознаграждать себя за каждый верный шаг в процессе рассуждения, а не просто за правильный конечный вывод. Исследователи назвали эту стратегию "контролем процесса". Они полагают, что она поможет создать более логичные модели ИИ, которые будут следовать последовательной "цепочке мыслей", схожей с человеческой.
Некоторые независимые эксперты сомневаются в эффективности предложенного подхода. Но Карл Коббе, штатный математик из OpenAI, уверен, что выявление и устранение логических ошибок в работе моделей - важный шаг на пути к созданию Общего Искусственного Интеллекта.
Источник