США представили новую систему оценки рисков для ИИ-алгоритмов
Национальный институт стандартов и технологий (NIST) разработал обновленный тестовый стенд Dioptra, предназначенный для оценки устойчивости ИИ-систем к вредоносным атакам. Dioptra позволяет симулировать различные угрозы, включая "отравление" данных, которые используются для обучения больших языковых моделей.
Первая версия Dioptra была выпущена в 2022 году. Новый инструмент с открытым исходным кодом призван помочь разработчикам и пользователям ИИ оценить, анализировать и отслеживать риски, связанные с использованием ИИ.
NIST подчеркивает, что Dioptra может использоваться для бенчмаркинга и исследования ИИ-моделей. Он также служит платформой для проверки заявленных разработчиками показателей безопасности их систем.
Разработка Dioptra является частью инициативы президента США Джо Байдена, которая направлена на обеспечение безопасности ИИ-систем.
Однако эксперты отмечают, что Dioptra не может полностью исключить риски, связанные с ИИ. Разработчики ИИ могут манипулировать процессом тестирования, выбирая тесты, которые демонстрируют желаемый уровень безопасности.
Dioptra способен работать только с моделями, которые могут быть загружены и использованы локально.
Подробнее об инструменте Dioptra: https://www.nist.gov/news-events/news/2024/07/nist-releases-updated-tool-assess-resilience-artificial-intelligence-systems
Национальный институт стандартов и технологий (NIST) разработал обновленный тестовый стенд Dioptra, предназначенный для оценки устойчивости ИИ-систем к вредоносным атакам. Dioptra позволяет симулировать различные угрозы, включая "отравление" данных, которые используются для обучения больших языковых моделей.
Первая версия Dioptra была выпущена в 2022 году. Новый инструмент с открытым исходным кодом призван помочь разработчикам и пользователям ИИ оценить, анализировать и отслеживать риски, связанные с использованием ИИ.
NIST подчеркивает, что Dioptra может использоваться для бенчмаркинга и исследования ИИ-моделей. Он также служит платформой для проверки заявленных разработчиками показателей безопасности их систем.
Разработка Dioptra является частью инициативы президента США Джо Байдена, которая направлена на обеспечение безопасности ИИ-систем.
Однако эксперты отмечают, что Dioptra не может полностью исключить риски, связанные с ИИ. Разработчики ИИ могут манипулировать процессом тестирования, выбирая тесты, которые демонстрируют желаемый уровень безопасности.
Dioptra способен работать только с моделями, которые могут быть загружены и использованы локально.
Подробнее об инструменте Dioptra: https://www.nist.gov/news-events/news/2024/07/nist-releases-updated-tool-assess-resilience-artificial-intelligence-systems