Greg Brockman, президент OpenAI, написал у себя в твиттере интересное. Ниже - пара ключевых вещей:
(если вы не знаете, что такое alignment/алайнмент, то начать можно здесь)
— OpenAI хотят выпускать всё более и более заалайненные модели итеративно. Их цель состоит в том, чтобы каждая публично доступная модель была самой заалайненной
— Итеративная разработка очень важна. Множество экспертов делает ошибочные предсказания по поводу будущего (в любой области). Один из способов избежать подобного - это чтобы технология имела ранний и частый "контакт" с реальным миром (в том смысле, что они собирают примеры взаимодействия людей, способов применения модели, итд).
— Эту мысль высказывал и Sam Altman в подскасте с Lex Fridman - было бы куда хуже, если OpenAI делали внутри себя всё скрытно до GPT-7, а потом выкатили в мир, а модель была бы не готова. И люди бы не были готовы к переменам.
И на десерт:
— OpenAI считают (и заявляли в дискуссиях с правительствами), что запуск процесса тренировки подобных моделей должен сопровождаться сообщением о нём государству и/или регулятору. Помимо этого, стоит уделить внимание заблаговременному прогнозированию "способностей" моделей и оценке их влияния [на общество].
— Более того, необходимо требовать использования лучших практик для тестирования полученных моделей [как OpenAI делали 6 месяцев алайнмент внутри компании, до релиза, с приглашением экспертов]
— управление использованием большим количеством вычислительных ресурсов, стандарты безопасности и регулирование/обмен опытом запуска моделей - это, с точки зрения OpenAI, хорошие идеи, но детали подобных регуляций должны меняться со временем по мере развития технологии
(если вы не знаете, что такое alignment/алайнмент, то начать можно здесь)
— OpenAI хотят выпускать всё более и более заалайненные модели итеративно. Их цель состоит в том, чтобы каждая публично доступная модель была самой заалайненной
— Итеративная разработка очень важна. Множество экспертов делает ошибочные предсказания по поводу будущего (в любой области). Один из способов избежать подобного - это чтобы технология имела ранний и частый "контакт" с реальным миром (в том смысле, что они собирают примеры взаимодействия людей, способов применения модели, итд).
— Эту мысль высказывал и Sam Altman в подскасте с Lex Fridman - было бы куда хуже, если OpenAI делали внутри себя всё скрытно до GPT-7, а потом выкатили в мир, а модель была бы не готова. И люди бы не были готовы к переменам.
И на десерт:
— OpenAI считают (и заявляли в дискуссиях с правительствами), что запуск процесса тренировки подобных моделей должен сопровождаться сообщением о нём государству и/или регулятору. Помимо этого, стоит уделить внимание заблаговременному прогнозированию "способностей" моделей и оценке их влияния [на общество].
— Более того, необходимо требовать использования лучших практик для тестирования полученных моделей [как OpenAI делали 6 месяцев алайнмент внутри компании, до релиза, с приглашением экспертов]
— управление использованием большим количеством вычислительных ресурсов, стандарты безопасности и регулирование/обмен опытом запуска моделей - это, с точки зрения OpenAI, хорошие идеи, но детали подобных регуляций должны меняться со временем по мере развития технологии