Реалистичные риски пары “человек и ML-агент”
#ai #chatgpt
Как и все, я в восторге от того, что сейчас происходит, на многих барных посиделках всплывает тема Эй-Яй, экзистенциальных рисков, сознания в чемодане из триллиона цифр и т.д. Я особо не пишу на эту тему, т.к. у меня центристская позиция – без пренебрежения к “новой Эй-Яй-истерии”, но и без алармизма про пресловутый галактический завод по производству скрепок. Взвешенные мнения обычно затухают в волне хайпа и призывов “бомбить GPU-центры”, так что пусть хайп уляжется. Мне скорее вот что интересно. Материалы про LLM сейчас можно кластеризовать примерно следующим образом: кластер 1: “вот новый папирус, оказывается LLM-ки умеют/не умеют X”, кластер 2: “новая открытая LLM круче всех, почти GPT-4”, кластер 3: “всяческие минорные улучшения технологии обучения/инференса LLM”, кластер 4: “у AI зарождается сознание, скоро белковые организмы будут печататься на 3d-принтерах во вселенском масштабе”. Ну тут немного сарказма, конечно, все описанные кластеры важны, но как мне кажется, не хватает обзоров реальных рисков, которые приносит AI, не пресловутое восстание машин, а вот чем релиз того же chatGPT в открытый доступ может быть опасен уже сегодня.
И тут я бы смотрел не на риск от LLM как таковых, а именно от связки человека и ML-агента (сорри, все еще не привык говорить ”AI” как если б AI существовал, назовем “ML-агентами” chatGPT, Bard и прочих ассистентов на базе foundation models). Вообще рисеч в сторону human-computer interaction набирает обороты (anecdotal evidence: тут у меня под боком в University of Amsterdam большая группа авторитетных исследователей подняла 20 млн на 10 лет в рамках “national flagship project” по изучению Hybrid Intelligence). Я тут привожу пример с шахматами: DeepBlue побил Каспарова еще в 1997, сейчас никакой Магнус Карлсен не справится с айфоном, но тем не менее связка человек + компьютер бьет и людей, и компьютеры по отдельности (такие соревнования, в частности, я видел на IJCAI в Вене прошлом году). В-общем, как и в благих делах мы ожидаем очень многого от Hybrid Intelligence, также и при оценке рисков от использования LLM я бы в первую очередь говорил про chatGPT в руках злоумышленника, а не про chatGPT сам по себе.
Продолжение ⬇️
#ai #chatgpt
Как и все, я в восторге от того, что сейчас происходит, на многих барных посиделках всплывает тема Эй-Яй, экзистенциальных рисков, сознания в чемодане из триллиона цифр и т.д. Я особо не пишу на эту тему, т.к. у меня центристская позиция – без пренебрежения к “новой Эй-Яй-истерии”, но и без алармизма про пресловутый галактический завод по производству скрепок. Взвешенные мнения обычно затухают в волне хайпа и призывов “бомбить GPU-центры”, так что пусть хайп уляжется. Мне скорее вот что интересно. Материалы про LLM сейчас можно кластеризовать примерно следующим образом: кластер 1: “вот новый папирус, оказывается LLM-ки умеют/не умеют X”, кластер 2: “новая открытая LLM круче всех, почти GPT-4”, кластер 3: “всяческие минорные улучшения технологии обучения/инференса LLM”, кластер 4: “у AI зарождается сознание, скоро белковые организмы будут печататься на 3d-принтерах во вселенском масштабе”. Ну тут немного сарказма, конечно, все описанные кластеры важны, но как мне кажется, не хватает обзоров реальных рисков, которые приносит AI, не пресловутое восстание машин, а вот чем релиз того же chatGPT в открытый доступ может быть опасен уже сегодня.
И тут я бы смотрел не на риск от LLM как таковых, а именно от связки человека и ML-агента (сорри, все еще не привык говорить ”AI” как если б AI существовал, назовем “ML-агентами” chatGPT, Bard и прочих ассистентов на базе foundation models). Вообще рисеч в сторону human-computer interaction набирает обороты (anecdotal evidence: тут у меня под боком в University of Amsterdam большая группа авторитетных исследователей подняла 20 млн на 10 лет в рамках “national flagship project” по изучению Hybrid Intelligence). Я тут привожу пример с шахматами: DeepBlue побил Каспарова еще в 1997, сейчас никакой Магнус Карлсен не справится с айфоном, но тем не менее связка человек + компьютер бьет и людей, и компьютеры по отдельности (такие соревнования, в частности, я видел на IJCAI в Вене прошлом году). В-общем, как и в благих делах мы ожидаем очень многого от Hybrid Intelligence, также и при оценке рисков от использования LLM я бы в первую очередь говорил про chatGPT в руках злоумышленника, а не про chatGPT сам по себе.
Продолжение ⬇️