🔴 Google создала специализированную команду "red team", задачей которой является проведение "сложных технических атак" на системы ИИ. Это шаг к улучшению безопасности ИИ, поскольку команда будет моделировать различные типы атак, чтобы лучше понять и предотвратить потенциальные угрозы.
В качестве примера атаки, Google рассматривают промпт-инжиниринг, где злоумышленник манипулирует запросами к ИИ, чтобы заставить систему реагировать определенным образом. Также речь идет об извлечении личной информации из данных, используемых для обучения ИИ.
Это нововведение следует за недавним анонсом Google о создании Secure AI Framework (SAIF), целью которого является обеспечение безопасности при разработке, использовании и защиты систем ИИ.
Источник
В качестве примера атаки, Google рассматривают промпт-инжиниринг, где злоумышленник манипулирует запросами к ИИ, чтобы заставить систему реагировать определенным образом. Также речь идет об извлечении личной информации из данных, используемых для обучения ИИ.
Это нововведение следует за недавним анонсом Google о создании Secure AI Framework (SAIF), целью которого является обеспечение безопасности при разработке, использовании и защиты систем ИИ.
Источник