Darker than Black-Box: Face Reconstruction from Similarity Queries



Препринт моей статьи про privacy уязвимость систем распознавания лиц.



Получилось осуществить атаку в самом тяжёлом сценарии, когда атакуемая модель (ArcFace) — это чёрный ящик, принимающий на вход фотографию и выдающий только одно число — насколько эта фотография похожа на человека с заданным id.



Обнаруженная уязвимость позволяет за несколько тысяч обращений к модели выяснить как выглядит человек всего лишь по его айдишнику.



Атака производится с помощью специально созданных синтетических изображений, которые последовательно посылаются в систему распознавания лиц, а затем, на основе её ответов, они комбинируются в узнаваемое лицо.



P.S. Теперь получается, что к персональным данным нужно относить не только фото человека, но и его id 🤷‍♂️



Статья, GitHub