Как учёные из Мэриленда научились запутывать CV-модель YOLOv2 и при чём тут свитер
На фоне непрекращающихся новостей об успехах в развитии ИИ может сложиться впечатление, что нейронки теперь всесильны. Но на самом деле многие алгоритмы по-прежнему беспомощны перед человеком, если тот решит их обмануть. Достаточно понимать принцип работы конкретных моделей и проявить творческий подход.
Наткнулась на интересное исследование, проведённое в Университете Мэриленда. Его авторы сосредоточились на поиске уязвимостей в системах компьютерного зрения. В качестве своей “жертвы” специалисты выбрали модель обнаружения объектов YOLOv2.
Что они сделали?
Экспериментаторы “показывали” алгоритму изображения из датасета Microsoft COCO, который используется для обучения систем компьютерного зрения. После того как YOLOv2 находила на предложенной фотографии человека, в снимок вносили случайные изменения и вновь пропускали его через модель. Это позволило определить, какие из искажённых картинок сильнее всего “запутывают” нейросеть.
Изображение, показавшее наилучшие результаты, учёные распечатали на обычном свитере. Эксперимент удался — человек, который надевает его на себя, становится почти невидимым для системы компьютерного зрения.
Кстати, не могу не отметить, что свитер получился не только практичным, но и довольно приятным на вид. Такой не стыдно надеть на встречу с друзьями, тем более что у нас как раз наступили холода.
На фоне непрекращающихся новостей об успехах в развитии ИИ может сложиться впечатление, что нейронки теперь всесильны. Но на самом деле многие алгоритмы по-прежнему беспомощны перед человеком, если тот решит их обмануть. Достаточно понимать принцип работы конкретных моделей и проявить творческий подход.
Наткнулась на интересное исследование, проведённое в Университете Мэриленда. Его авторы сосредоточились на поиске уязвимостей в системах компьютерного зрения. В качестве своей “жертвы” специалисты выбрали модель обнаружения объектов YOLOv2.
Что они сделали?
Экспериментаторы “показывали” алгоритму изображения из датасета Microsoft COCO, который используется для обучения систем компьютерного зрения. После того как YOLOv2 находила на предложенной фотографии человека, в снимок вносили случайные изменения и вновь пропускали его через модель. Это позволило определить, какие из искажённых картинок сильнее всего “запутывают” нейросеть.
Изображение, показавшее наилучшие результаты, учёные распечатали на обычном свитере. Эксперимент удался — человек, который надевает его на себя, становится почти невидимым для системы компьютерного зрения.
Кстати, не могу не отметить, что свитер получился не только практичным, но и довольно приятным на вид. Такой не стыдно надеть на встречу с друзьями, тем более что у нас как раз наступили холода.