Реалистичные риски пары “человек и ML-агент” (продолжение)
#ai #chatgpt
- Выход ML-агентов в интернет. Хорошо, что Альтман и ко понимают, что нельзя просто отпускать chatGPT в интернет творить что угодно. Но мы уже видим, что опенсорс скоро догонит и OpenAI, и Google, так что легко представить, что появятся ML-агенты уровня chatGPT в открытом доступе и свободно бороздящие просторы интернета. И тут, как и в первом пункте, эксплуатировать можно что угодно. На одном только гитхабе лежат токены AWS (берем вычислительные ресурсы), Твиттера и прочих сервисов. LLM создает несколько аккаунтов на Википедии, пишет статьи, сама же их ревьюит – и вот уже авторитетный источник знаний человечества под угрозой (можно рушить тот же фондовый рынок фейковыми новостями). Ладно, пусть мне возразят, что LLM не сможет создать аккаунт, но тут я буду осторожен, как организатор сорев на Кэггле: если ты все продумал-предусмотрел, толпа все равно умнее и рукастей, точно что-то накопает и заэксплуатирует. А уж злоумышленники, вооруженные умными ML-агентами с выходом в инет – и подавно.
- Foundation robotics model. Среди умеренно авторитетных прогнозов Forbes по AI в 2023 году – предположение, что большие корпорации начнут обучать аналоги LLM, но уже для физического мира роботов. Подобно тому, как мы раньше имели 100 систем для решения 100 разных NLP-задач, а потом появился BERT с файнтюном сразу под все задачи, также и сейчас задачи работотехники решаются по отдельности, не хватает “претрейна” на огромном массиве базовых действий роботов. Чтоб тот же coffee test, предложенный Возняком на смену Тьюринг теста, решался в zero-shot постановке запуском робота с foundation robotics model внутри на незнакомую кухню. Я не спец в робототехнике, но что-то мне подсказывает, что если мы выпускаем умных агентов в наш физический мир, это уже по-настоящему стрёмно (и то, как робо-рука, играющая в шахматы, сломала пацану палец, покажется меньшей из бед).
Если видели похожие обзоры того, как LLM уже сегодня опасны (опять же, тут не про Юдковского и задавливание людей белковыми организмами с ИИ) – пишите в тред.
#ai #chatgpt
- Выход ML-агентов в интернет. Хорошо, что Альтман и ко понимают, что нельзя просто отпускать chatGPT в интернет творить что угодно. Но мы уже видим, что опенсорс скоро догонит и OpenAI, и Google, так что легко представить, что появятся ML-агенты уровня chatGPT в открытом доступе и свободно бороздящие просторы интернета. И тут, как и в первом пункте, эксплуатировать можно что угодно. На одном только гитхабе лежат токены AWS (берем вычислительные ресурсы), Твиттера и прочих сервисов. LLM создает несколько аккаунтов на Википедии, пишет статьи, сама же их ревьюит – и вот уже авторитетный источник знаний человечества под угрозой (можно рушить тот же фондовый рынок фейковыми новостями). Ладно, пусть мне возразят, что LLM не сможет создать аккаунт, но тут я буду осторожен, как организатор сорев на Кэггле: если ты все продумал-предусмотрел, толпа все равно умнее и рукастей, точно что-то накопает и заэксплуатирует. А уж злоумышленники, вооруженные умными ML-агентами с выходом в инет – и подавно.
- Foundation robotics model. Среди умеренно авторитетных прогнозов Forbes по AI в 2023 году – предположение, что большие корпорации начнут обучать аналоги LLM, но уже для физического мира роботов. Подобно тому, как мы раньше имели 100 систем для решения 100 разных NLP-задач, а потом появился BERT с файнтюном сразу под все задачи, также и сейчас задачи работотехники решаются по отдельности, не хватает “претрейна” на огромном массиве базовых действий роботов. Чтоб тот же coffee test, предложенный Возняком на смену Тьюринг теста, решался в zero-shot постановке запуском робота с foundation robotics model внутри на незнакомую кухню. Я не спец в робототехнике, но что-то мне подсказывает, что если мы выпускаем умных агентов в наш физический мир, это уже по-настоящему стрёмно (и то, как робо-рука, играющая в шахматы, сломала пацану палец, покажется меньшей из бед).
Если видели похожие обзоры того, как LLM уже сегодня опасны (опять же, тут не про Юдковского и задавливание людей белковыми организмами с ИИ) – пишите в тред.