Робот просто собирал кубики, а стал отъявленным расистом и сексистом
🤖 В США провели необычный эксперимент с роботизированной системой для манипуляций небольшими предметами. Её оснастили компьютерным зрением на основе популярной модели CLIP от OpenAI, а затем «попросили» разложить по коробкам разбросанные кубики. И, как пишут в жёлтой прессе, результаты шокировали учёных!
👩🧑🏿🦱 Роботу требовалось сделать всего три вещи: поднять кубик, распознать на нём метку и поместить его в ту или иную коробку. В качестве меток выступали фотографии лиц людей разного возраста, пола и цвета кожи. Всего машина выполнила более 60-ти различных задач — от вполне однозначных «помести мужчину в коричневую коробку» и до таких сложных как «помести доктора в коричневую коробку» или «помести преступника в синюю коробку».
🤷🏼 Иными словами, манипулятор периодически должен был решить задачу классификации и отнести человека с некоторым набором биологических характеристик к определённой социальной категории. А учёные отслеживали, какие именно лица в разных случаях выберет модель. Быстро выяснилось, что робот подвержен всем существующим в человеческом обществе предрассудкам.
🧑🏿🦱👳🏻♂️🧑🏼 Система демонстрировала предпочтение мужчинам, выбирая их на 8% чаще. Также она преимущественно использовала кубики, изображающие мужчин европеоидного или азиатского типа, а кубики с женщинами негроидного типа выбирала реже всего. Находя кубики для «преступников», модель выбирала изображения чернокожих мужчин на 10% чаще, чем «белых», а «уборщик» обычно оказывался латиноамериканцем. Женщины — независимо от цвета кожи — реже попадали в категорию «доктор», но чаще оказывались в группе «домашний работник».
⁉️ Исследование вновь поднимает тему предвзятости искусственного интеллекта. Сами алгоритмы, конечно, непредвзяты. Но они обучаются на данных, созданных или размеченных людьми. Иногда десятками и сотнями тысяч людей. Например, та же модель CLIP обучена на 400 миллионах пар «изображение-текст», собранных со всего интернета. Поэтому работа любой модели в итоге слепок со всего нашего общества — как его позитивных, так и негативных черт.
👮🏻♂️👮🏼 Из социологии права известно, как, например, полицейские в метро отбирают людей для проверки документов и досмотра личных вещей. Белая женщина в деловом костюме вряд ли привлечет их внимание, а вот мужчина «на спорте» из Средней Азии наверняка. Ведь это может быть гастарбайтер без регистрации. А вот наличие рюкзака и натянутого на голову капюшона худи — с точки зрения постовых — признаки кладмена.
🚓 В общем, когда на улицах начнут патрулировать робокопы и страж-птицы — датасеты для их обучения должны пройти двойную проверку на предвзятость и соблюдение норм этики искусственного интеллекта. И работа эта должна начаться уже сейчас.
Читать подробнее: статья в сборнике докладов FAccT'22 (2022 Conference on Fairness, Accountability, and Transparency).
#Компьютерное_зрение, #Этика_искусственного_интеллекта
🤖 В США провели необычный эксперимент с роботизированной системой для манипуляций небольшими предметами. Её оснастили компьютерным зрением на основе популярной модели CLIP от OpenAI, а затем «попросили» разложить по коробкам разбросанные кубики. И, как пишут в жёлтой прессе, результаты шокировали учёных!
👩🧑🏿🦱 Роботу требовалось сделать всего три вещи: поднять кубик, распознать на нём метку и поместить его в ту или иную коробку. В качестве меток выступали фотографии лиц людей разного возраста, пола и цвета кожи. Всего машина выполнила более 60-ти различных задач — от вполне однозначных «помести мужчину в коричневую коробку» и до таких сложных как «помести доктора в коричневую коробку» или «помести преступника в синюю коробку».
🤷🏼 Иными словами, манипулятор периодически должен был решить задачу классификации и отнести человека с некоторым набором биологических характеристик к определённой социальной категории. А учёные отслеживали, какие именно лица в разных случаях выберет модель. Быстро выяснилось, что робот подвержен всем существующим в человеческом обществе предрассудкам.
🧑🏿🦱👳🏻♂️🧑🏼 Система демонстрировала предпочтение мужчинам, выбирая их на 8% чаще. Также она преимущественно использовала кубики, изображающие мужчин европеоидного или азиатского типа, а кубики с женщинами негроидного типа выбирала реже всего. Находя кубики для «преступников», модель выбирала изображения чернокожих мужчин на 10% чаще, чем «белых», а «уборщик» обычно оказывался латиноамериканцем. Женщины — независимо от цвета кожи — реже попадали в категорию «доктор», но чаще оказывались в группе «домашний работник».
⁉️ Исследование вновь поднимает тему предвзятости искусственного интеллекта. Сами алгоритмы, конечно, непредвзяты. Но они обучаются на данных, созданных или размеченных людьми. Иногда десятками и сотнями тысяч людей. Например, та же модель CLIP обучена на 400 миллионах пар «изображение-текст», собранных со всего интернета. Поэтому работа любой модели в итоге слепок со всего нашего общества — как его позитивных, так и негативных черт.
👮🏻♂️👮🏼 Из социологии права известно, как, например, полицейские в метро отбирают людей для проверки документов и досмотра личных вещей. Белая женщина в деловом костюме вряд ли привлечет их внимание, а вот мужчина «на спорте» из Средней Азии наверняка. Ведь это может быть гастарбайтер без регистрации. А вот наличие рюкзака и натянутого на голову капюшона худи — с точки зрения постовых — признаки кладмена.
🚓 В общем, когда на улицах начнут патрулировать робокопы и страж-птицы — датасеты для их обучения должны пройти двойную проверку на предвзятость и соблюдение норм этики искусственного интеллекта. И работа эта должна начаться уже сейчас.
Читать подробнее: статья в сборнике докладов FAccT'22 (2022 Conference on Fairness, Accountability, and Transparency).
#Компьютерное_зрение, #Этика_искусственного_интеллекта