Для обеспечения безопасности высокопроизводительных систем искусственного интеллекта (ИИ), OpenAI разрабатывает подход по противодействию катастрофическим рискам
В рамках участия на конференции компания подробно рассказала о прогрессе в области безопасности ИИ. Чтобы минимизировать катастрофические риски по мере совершенствования моделей ИИ, создается новая команда под названием Preparedness. Команда будет отслеживать возможности передовых моделей и моделей, которые будут разработаны в ближайшем будущем. Это поможет оценивать, прогнозировать и защищать от катастрофических рисков по ряду категорий:
- информационная безопасность;
- химические, биологические, радиологические и ядерные угрозы;
- автономная репликация и адаптация;
- индивидуальное убеждение.
OpenAI считает, что передовые модели ИИ, которые превысят возможности имеющиеся в настоящее время могут принести пользу всему человечеству. Но они также создают все более серьезные риски. Для управления катастрофическими рисками, исходящими от передового ИИ, требуется ответить на следующие вопросы:
Насколько опасны передовые системы ИИ, если их неправильно использовать как сейчас, так и в будущем?
Как создать надежную основу для мониторинга, оценки, прогнозирования и защиты от опасных возможностей передовых систем нейросети?
Если бы веса передовых моделей ИИ были украдены, как злоумышленники могли бы ими воспользоваться?
Для создания безопасного ИИ необходимо серьезно относится ко всему спектру рисков связанных с нейросетями от систем, которые есть сейчас и до самых далёких пределов искусственного сверхразума.
В рамках участия на конференции компания подробно рассказала о прогрессе в области безопасности ИИ. Чтобы минимизировать катастрофические риски по мере совершенствования моделей ИИ, создается новая команда под названием Preparedness. Команда будет отслеживать возможности передовых моделей и моделей, которые будут разработаны в ближайшем будущем. Это поможет оценивать, прогнозировать и защищать от катастрофических рисков по ряду категорий:
- информационная безопасность;
- химические, биологические, радиологические и ядерные угрозы;
- автономная репликация и адаптация;
- индивидуальное убеждение.
OpenAI считает, что передовые модели ИИ, которые превысят возможности имеющиеся в настоящее время могут принести пользу всему человечеству. Но они также создают все более серьезные риски. Для управления катастрофическими рисками, исходящими от передового ИИ, требуется ответить на следующие вопросы:
Насколько опасны передовые системы ИИ, если их неправильно использовать как сейчас, так и в будущем?
Как создать надежную основу для мониторинга, оценки, прогнозирования и защиты от опасных возможностей передовых систем нейросети?
Если бы веса передовых моделей ИИ были украдены, как злоумышленники могли бы ими воспользоваться?
Для создания безопасного ИИ необходимо серьезно относится ко всему спектру рисков связанных с нейросетями от систем, которые есть сейчас и до самых далёких пределов искусственного сверхразума.