Часть 3. Что случилось с Блейком Лемуаном? Afterthoughts 2022
#nlp #про_nlp #длиннопост
В продолжение серии постов по лекции Антропогенеза.
Часть 1
Часть 2
Блейк Лемуан заявил, что языковая модель LaMDa имеет сознание (sentient).
LaMDA — диалоговая система от Google, Language Model for Dialogue Applications.
Можно сказать, что начал нарратив Илья Сутскевер, который в конце 2021 заявлял, что языковые модели могут быть "slightly concious". Однако, ему как Chief Scientist OpenAI за это досталось только в Твиттере, тогда как Лемуана уволили. Почему?
Причина 1. В Google есть внутренняя политика против создания осознанного ИИ
Первая мысль о том, что человек — недальновидный или странноватый герой из фильма "Она", критики не выдерживает. Все-таки, BS и MS в Computer science, а также незаконченный PhD в Computational neuroscience.
Первые заголовки Лемуана про LaMDA звучали как кликбейт, причем такой, на который я не могу не кликнуть. Sentient AI! Однако, кликаешь на sentient AI, и вместо этого читаешь 3 страницы про то, как у Google проблемы с этикой.
20% времени Лемуан работал над оценкой и тестами LaMDA, всячески проверяя ее на смещения и пытаясь подловить. Тема объяснима отчасти тем, что какое-то время Лемуан работал с Timnit Gebru, которую тоже уволили со скандалом: она опубликовала статью Stochastic parrots о смещениях и опасностях языковых моделей без согласования с компанией.
Подловить модель получалось не очень много, копились логи качественных диалогов.
В конце концов Лемуан задал вопрос: "Если некая сущность неотличима от сознательной, то как мы должны с ней обращаться?"
Предложил 2 выбора:
🔹Вариант 1: Мы сохраняем проект внутри как есть, но учитываем мнение модели при дальнейшем развитии проектаи обновлениях. Ответы модели на вопросы о ее пожеланиях лемуан подготовил, среди них не было ничего дорогостоящего, исключительно вещи вроде "Хочу, чтобы учитывались мои пожелания относительно обновления меня".
🔹Вариант 2: Мы сами разработали эту модель и знаем, что у нее нет сознания. Так как отличить от сознательной сущности не получается, то мы выносим обсуждение из компании вовне и собираем общественный этический комитет, чтобы сформировать
Как модно догадаться, ни один из вариантов менеджментом не был выбран. Вопрос заминали, плюс к тому же внутри Google есть внутренний запрет на разработку осознанного ИИ (Google has a policy against creating sentient AI. - Blake Lemoine).
Тогда Лемуан отнес логи в Washington post и дал большое интервью, где под громким заголовком о том, что нейросеть сознательна, на самом деле были описаны этические проблемы разработки, плохие практики и неспособность принимать важные решения.
Причина 2. Уволили не за это.
Даже когда Лемуан отнес диалоги LaMDa в газету, его не уволили. И не увольняли еще месяцы. Так уж совпало, что уволили в момент скандала с кастовой системой внутри Google. Скандал был замят, ведь проблемы якобы нет. Но оказалось, что Лемуан записывал все замеченные случаи кастовой дискриминации на работе в отдельную папку.
Когда это вскрылось, его уволили на следующий день.
Выводы?
И увольнение Тимнит Гебру, и увольнение Лемуана ложится на один и тот же паттерн: этические проблемы языковых моделей не решаются внутри Google, просачиваются наружу, и потом... все равно не решаются.
Если, и даже если очень скоро, кто-то разработает ИИ-систему, плохо отличимую по тестам и бенчмаркам от сознательной, мы громких заголовком скорее всего не увидим, и точно не увидим никаких открытых разработок, стандартов и этических кодексов.
Если, конечно, не будем делать большие коллаборативные и открытые проекты сразу. Это важно!
#nlp #про_nlp #длиннопост
В продолжение серии постов по лекции Антропогенеза.
Часть 1
Часть 2
Блейк Лемуан заявил, что языковая модель LaMDa имеет сознание (sentient).
LaMDA — диалоговая система от Google, Language Model for Dialogue Applications.
Можно сказать, что начал нарратив Илья Сутскевер, который в конце 2021 заявлял, что языковые модели могут быть "slightly concious". Однако, ему как Chief Scientist OpenAI за это досталось только в Твиттере, тогда как Лемуана уволили. Почему?
Причина 1. В Google есть внутренняя политика против создания осознанного ИИ
Первая мысль о том, что человек — недальновидный или странноватый герой из фильма "Она", критики не выдерживает. Все-таки, BS и MS в Computer science, а также незаконченный PhD в Computational neuroscience.
Первые заголовки Лемуана про LaMDA звучали как кликбейт, причем такой, на который я не могу не кликнуть. Sentient AI! Однако, кликаешь на sentient AI, и вместо этого читаешь 3 страницы про то, как у Google проблемы с этикой.
20% времени Лемуан работал над оценкой и тестами LaMDA, всячески проверяя ее на смещения и пытаясь подловить. Тема объяснима отчасти тем, что какое-то время Лемуан работал с Timnit Gebru, которую тоже уволили со скандалом: она опубликовала статью Stochastic parrots о смещениях и опасностях языковых моделей без согласования с компанией.
Подловить модель получалось не очень много, копились логи качественных диалогов.
В конце концов Лемуан задал вопрос: "Если некая сущность неотличима от сознательной, то как мы должны с ней обращаться?"
Предложил 2 выбора:
🔹Вариант 1: Мы сохраняем проект внутри как есть, но учитываем мнение модели при дальнейшем развитии проектаи обновлениях. Ответы модели на вопросы о ее пожеланиях лемуан подготовил, среди них не было ничего дорогостоящего, исключительно вещи вроде "Хочу, чтобы учитывались мои пожелания относительно обновления меня".
🔹Вариант 2: Мы сами разработали эту модель и знаем, что у нее нет сознания. Так как отличить от сознательной сущности не получается, то мы выносим обсуждение из компании вовне и собираем общественный этический комитет, чтобы сформировать
Как модно догадаться, ни один из вариантов менеджментом не был выбран. Вопрос заминали, плюс к тому же внутри Google есть внутренний запрет на разработку осознанного ИИ (Google has a policy against creating sentient AI. - Blake Lemoine).
Тогда Лемуан отнес логи в Washington post и дал большое интервью, где под громким заголовком о том, что нейросеть сознательна, на самом деле были описаны этические проблемы разработки, плохие практики и неспособность принимать важные решения.
Причина 2. Уволили не за это.
Даже когда Лемуан отнес диалоги LaMDa в газету, его не уволили. И не увольняли еще месяцы. Так уж совпало, что уволили в момент скандала с кастовой системой внутри Google. Скандал был замят, ведь проблемы якобы нет. Но оказалось, что Лемуан записывал все замеченные случаи кастовой дискриминации на работе в отдельную папку.
Когда это вскрылось, его уволили на следующий день.
Выводы?
И увольнение Тимнит Гебру, и увольнение Лемуана ложится на один и тот же паттерн: этические проблемы языковых моделей не решаются внутри Google, просачиваются наружу, и потом... все равно не решаются.
Если, и даже если очень скоро, кто-то разработает ИИ-систему, плохо отличимую по тестам и бенчмаркам от сознательной, мы громких заголовком скорее всего не увидим, и точно не увидим никаких открытых разработок, стандартов и этических кодексов.
Если, конечно, не будем делать большие коллаборативные и открытые проекты сразу. Это важно!