Сегодня на конференции YaTalks Евгений Ильюшин сотрудник факультета вычислительный математики и кибернетики МГУ рассказал о безопасности в ИИ.
Чем популярнее становятся нейронные сети, тем больше они подвергаются атакам. Например, на днях специалисты Гугл смогли из ChatGPT вытащить персональные данные людей, которые были загружены в обучающий датасет. Показав таким образом, что можно получить всю историю пациента какой-нибудь больницы, где активно пользуются возможностями ИИ. Ещё один пример неправильной работы модели нейронной сети биометрической идентификации человека по голосу, когда на вход подали «белый шум» то модель опознала его как некоего сотрудника и предоставила доступ к системе.
Порой злоумышленники целенаправленно «отравляют» данные модели GPT, запуская процесс обучения с подкреплением (на ответах), чтобы при дальнейших запросах она выдавала некорректною (ложную) информацию.
Для противодействия таким атакам необходимо создавать робастные системы ИИ, устойчивые к сдвигам в данных (изменениям в фичах, метках, классах).
Евгений Ильюшин считает, что для безопасности в ИИ нужно формировать стандарты описывающие методики создания робастных моделей нейронных сетей и машинного обучения. Также нужно создать органы сертификации этих систем, причем в каждом городе.
Особенно важна сертификация для тех систем ИИ, которые участвуют в управлении критически важной инфраструктурой. И конечно же нужно готовить специалистов, которые смогут проверить модели на их робастность.
Чем популярнее становятся нейронные сети, тем больше они подвергаются атакам. Например, на днях специалисты Гугл смогли из ChatGPT вытащить персональные данные людей, которые были загружены в обучающий датасет. Показав таким образом, что можно получить всю историю пациента какой-нибудь больницы, где активно пользуются возможностями ИИ. Ещё один пример неправильной работы модели нейронной сети биометрической идентификации человека по голосу, когда на вход подали «белый шум» то модель опознала его как некоего сотрудника и предоставила доступ к системе.
Порой злоумышленники целенаправленно «отравляют» данные модели GPT, запуская процесс обучения с подкреплением (на ответах), чтобы при дальнейших запросах она выдавала некорректною (ложную) информацию.
Для противодействия таким атакам необходимо создавать робастные системы ИИ, устойчивые к сдвигам в данных (изменениям в фичах, метках, классах).
Евгений Ильюшин считает, что для безопасности в ИИ нужно формировать стандарты описывающие методики создания робастных моделей нейронных сетей и машинного обучения. Также нужно создать органы сертификации этих систем, причем в каждом городе.
Особенно важна сертификация для тех систем ИИ, которые участвуют в управлении критически важной инфраструктурой. И конечно же нужно готовить специалистов, которые смогут проверить модели на их робастность.