Технологии на основе ИИ известны своей предвзятостью. Возьмем распознавание лиц: известно, что лица европейцев распознаются гораздо лучше, чем лица народов меньшинств. Это породило реальные проблемы: в Америке, к примеру, было уже несколько инцидентов, когда из-за плохой работы системы распознавания лиц на афроамериканцах под арест попадал не тот человек. Подробнее об этом можно почитать тут.
Сегодня поговорим про другую технологию на основе ИИ, которая может породить дискриминацию. Это ИИ для найма сотрудников на работу
Да, такое есть. Вот два примера компаний, поставляющих такие решения: Pymetrics и Arctic Shores. И все больше компаний, включая такие большие, как AstraZeneca, используют ИИ для подбора сотрудников.
Как это работает:
Кандидату в сотрудники предлагается сыграть в игры. В процессе игр происходит измерение поведенческих паттернов и умений игрока. В игре от Pymetrics оцениваются 9 параметров кандидата: внимание, старательность, щедрость, толерантность к риску и еще 5 других. Эти параметры — то, что, по мнению CEO Pymetrics, помогает человеку достичь успеха в работе.
Технология Arctic Shores немного отличается от Pymetrics. У Pymetrics игры довольно банальны и сразу понятно, что они оценивают, а у Arctic Shores это не так. Тут оцениваются решения, которые вы принимаете в процессе игры. Эти игры также оценивают качества кандидата: креативность, устойчивость и т.д.
Где тут проблема:
Казалось бы, ничего страшного нет: игры просто позволяют работодателю автоматически выявить сильные стороны кандидата. Но проблемы все же есть, и главная из них опять касается меньшинств. На этот раз — людей с ограниченными способностями.
Ограничений, которые могут помешать успешно пройти тесты, много: дислексия, дальтонизм, синдром дефицита внимания и т.д. Многие тесты (включая Pymetrics и Arctic Shores) позволяют указать свой тип ограничения и пройти специализированный тест. Но здесь возникает другая проблема: система будет знать о вашем ограничении. Это неприятно: кто знает, предается ли эта информация работодателю и не влияет ли на финальное решение о том, брать ли вас на работу. Напомним, что информация об ограничениях вроде описанных выше — личная, и практически никогда не должна учитываться при найме.
"Страшно, что если я сознаюсь в своем ограничении, я дам системе информацию о том, что потенциально сразу может пресечь мои шансы получить работу. Но если я не сознаюсь, это может помешать мне нормально пройти тестирование. К примеру, если у меня дислексия, я не смогу нормально читать слова на экране. Кажется, что я проигрываю в любом случае" — говорит Генри Клейпул, консультат технологической политики в области инвалидности.
Смещенная выборка
Даже если тесты честные и не передают информацию об ограничениях кандидатов работодателю, остается другая проблемы. Это тренировочная база. Чтобы тесты могли хорошо оценивать сотрудников, они должны быть обучены на большой выборке реальных людей. В таких выборках доля людей с ограничениями очень мала. Поэтому даже если система знает, что перед ней — человек с дислексией, она скорее всего выдаст для него неадекватное решение.
Непрозрачность решения
Еще одна проблема касается не только людей с ограничениями. Пройдя тест и получив отказ в найме, кандидат не знает, почему именно был получен отказ. Человек объективно не подходит для работы или на результат теста повлияла информация о дислексии? Из-за этого не получается исследовать такие системы на предмет дискриминации на государственном уровне. Нет доказательства дискриминации — нет расследования. Даже если системы нечестные, никто об этом не знает и люди продолжают их использовать.
Конечно, никто не считает, что компании, создающие данные тесты, намеренно притесняют людей. Проблема скорее в недостаточном внимании к деталям работы систем и социальным проблемам. Вообще, проблема предвзятости ИИ систем — обширна. Непонятно, когда и как она будет решена. А пока что мы должны тщательнее изучать каждое применение ИИ в социальной сфере и решать, действительно ли оно того стоит.
Материал написан на основе этой статьи.
#ai_inside
Сегодня поговорим про другую технологию на основе ИИ, которая может породить дискриминацию. Это ИИ для найма сотрудников на работу
Да, такое есть. Вот два примера компаний, поставляющих такие решения: Pymetrics и Arctic Shores. И все больше компаний, включая такие большие, как AstraZeneca, используют ИИ для подбора сотрудников.
Как это работает:
Кандидату в сотрудники предлагается сыграть в игры. В процессе игр происходит измерение поведенческих паттернов и умений игрока. В игре от Pymetrics оцениваются 9 параметров кандидата: внимание, старательность, щедрость, толерантность к риску и еще 5 других. Эти параметры — то, что, по мнению CEO Pymetrics, помогает человеку достичь успеха в работе.
Технология Arctic Shores немного отличается от Pymetrics. У Pymetrics игры довольно банальны и сразу понятно, что они оценивают, а у Arctic Shores это не так. Тут оцениваются решения, которые вы принимаете в процессе игры. Эти игры также оценивают качества кандидата: креативность, устойчивость и т.д.
Где тут проблема:
Казалось бы, ничего страшного нет: игры просто позволяют работодателю автоматически выявить сильные стороны кандидата. Но проблемы все же есть, и главная из них опять касается меньшинств. На этот раз — людей с ограниченными способностями.
Ограничений, которые могут помешать успешно пройти тесты, много: дислексия, дальтонизм, синдром дефицита внимания и т.д. Многие тесты (включая Pymetrics и Arctic Shores) позволяют указать свой тип ограничения и пройти специализированный тест. Но здесь возникает другая проблема: система будет знать о вашем ограничении. Это неприятно: кто знает, предается ли эта информация работодателю и не влияет ли на финальное решение о том, брать ли вас на работу. Напомним, что информация об ограничениях вроде описанных выше — личная, и практически никогда не должна учитываться при найме.
"Страшно, что если я сознаюсь в своем ограничении, я дам системе информацию о том, что потенциально сразу может пресечь мои шансы получить работу. Но если я не сознаюсь, это может помешать мне нормально пройти тестирование. К примеру, если у меня дислексия, я не смогу нормально читать слова на экране. Кажется, что я проигрываю в любом случае" — говорит Генри Клейпул, консультат технологической политики в области инвалидности.
Смещенная выборка
Даже если тесты честные и не передают информацию об ограничениях кандидатов работодателю, остается другая проблемы. Это тренировочная база. Чтобы тесты могли хорошо оценивать сотрудников, они должны быть обучены на большой выборке реальных людей. В таких выборках доля людей с ограничениями очень мала. Поэтому даже если система знает, что перед ней — человек с дислексией, она скорее всего выдаст для него неадекватное решение.
Непрозрачность решения
Еще одна проблема касается не только людей с ограничениями. Пройдя тест и получив отказ в найме, кандидат не знает, почему именно был получен отказ. Человек объективно не подходит для работы или на результат теста повлияла информация о дислексии? Из-за этого не получается исследовать такие системы на предмет дискриминации на государственном уровне. Нет доказательства дискриминации — нет расследования. Даже если системы нечестные, никто об этом не знает и люди продолжают их использовать.
Конечно, никто не считает, что компании, создающие данные тесты, намеренно притесняют людей. Проблема скорее в недостаточном внимании к деталям работы систем и социальным проблемам. Вообще, проблема предвзятости ИИ систем — обширна. Непонятно, когда и как она будет решена. А пока что мы должны тщательнее изучать каждое применение ИИ в социальной сфере и решать, действительно ли оно того стоит.
Материал написан на основе этой статьи.
#ai_inside