Реалистичные риски пары “человек и ML-агент” (продолжение)
#ai #chatgpt
Вот некоторые опасные сценарии, на мой взгляд, где ML-агенты в руках людей опасны уже сегодня (думаю, в комментариях много других добавят):
- Утечки данных и эксплойты. Утечки данных Яндекс.Еды или почты мэйла плохи не только репутационным ущербом компаний, но и тем, что данные утекают в руки злоумышленников навсегда, а так же могут комбинироваться с другими утечками. иногда утечки могут экспуатироваться очень неожиданным образом, когда, условно, айдишн к в одном датасете сматчился с каким-то второстепенным столбцом в другом датасете. И мы понимаем, что чем больше датасетов утекло, тем больше возможностей (экспоненциально больше) что-то с чем-то сматчить. Кому интересно, есть огненный выпуск подкаста “Запуск завтра” на эту тему – “Приватность в Интернете. Как обезопасить себя от утечек” (пора уже брать деньги за рекламу это подкаста). Так вот, LLM-ки скоро научатся получать миллионы токенов на вход, можно будет скормить прям несколько датасетов и попросить ML-агенты что-то умно сматчить и предложить сценарии взлома кучи сервисов.
- Фондовый рынок, волатильность и “выбросы”. В целом уже сейчас происходят нежелательные события, когда алгоритмы (будь то ML или нет), реагируют на происходящее не так, как нам хотелось. Теракт в метро – резкий спрос на такси, цены взлетают до небес – не то, что хотел бы агрегатор такси на букву Я – надо вмешиваться. А вот братья Леман подтвердят, что времени вмешаться у них не было, и по сути за инвест-банк, основанный в середине 19 века, разорился (в том числе) и из-за поведения HFT-алгоритмов, которые “расшатывали лодку”, продавая падающие в цене бумаги за на микро- и миллисекунды. Бытует мнение, что фондовый рынок – это сам по себе огромный, уже существующий искусственный интеллект (а как еще он “понимает”, что продажа яиц в Таганроге должна повлиять на акции Теслы?). Так это или нет, но все равно фондовый рынок никто не понимает. Я тут, конечно, открываю ящик пандоры, и мне в коментах будут доказывать, что я чмо и нуб, но для остальных: никаких доказанных “законов” фондового рынка не существуют, всякие технические анализы – это набор эвристик, подкрепляемый confirmation bias (сделал-работает) и selection bias (про то, что не работает, не слышим). Так что “крянуть сток-маркет” – непосильная задача. Так же точно никто не мог объяснить, почему в ковид фондовый рынок рос вверх, когда, очевидно, глобальной экономике было очень плохо. Вот прям так, эксперты, прожившие уже всю жизнь в мире макроэкономики и трейдинга, так и говорили: “мы не понимаем, что происходит”. Учитывая мутность и фондового рынка, и ML-агентов, кажется, что запускать продвинутые ML-алгоритмы на фондовый рынок опасно. Не потому, что умный Вася легко заработает денег, а потому что будут происходить флуктуации, вообще никому не понятные.
Продолжение ⬇️
#ai #chatgpt
Вот некоторые опасные сценарии, на мой взгляд, где ML-агенты в руках людей опасны уже сегодня (думаю, в комментариях много других добавят):
- Утечки данных и эксплойты. Утечки данных Яндекс.Еды или почты мэйла плохи не только репутационным ущербом компаний, но и тем, что данные утекают в руки злоумышленников навсегда, а так же могут комбинироваться с другими утечками. иногда утечки могут экспуатироваться очень неожиданным образом, когда, условно, айдишн к в одном датасете сматчился с каким-то второстепенным столбцом в другом датасете. И мы понимаем, что чем больше датасетов утекло, тем больше возможностей (экспоненциально больше) что-то с чем-то сматчить. Кому интересно, есть огненный выпуск подкаста “Запуск завтра” на эту тему – “Приватность в Интернете. Как обезопасить себя от утечек” (пора уже брать деньги за рекламу это подкаста). Так вот, LLM-ки скоро научатся получать миллионы токенов на вход, можно будет скормить прям несколько датасетов и попросить ML-агенты что-то умно сматчить и предложить сценарии взлома кучи сервисов.
- Фондовый рынок, волатильность и “выбросы”. В целом уже сейчас происходят нежелательные события, когда алгоритмы (будь то ML или нет), реагируют на происходящее не так, как нам хотелось. Теракт в метро – резкий спрос на такси, цены взлетают до небес – не то, что хотел бы агрегатор такси на букву Я – надо вмешиваться. А вот братья Леман подтвердят, что времени вмешаться у них не было, и по сути за инвест-банк, основанный в середине 19 века, разорился (в том числе) и из-за поведения HFT-алгоритмов, которые “расшатывали лодку”, продавая падающие в цене бумаги за на микро- и миллисекунды. Бытует мнение, что фондовый рынок – это сам по себе огромный, уже существующий искусственный интеллект (а как еще он “понимает”, что продажа яиц в Таганроге должна повлиять на акции Теслы?). Так это или нет, но все равно фондовый рынок никто не понимает. Я тут, конечно, открываю ящик пандоры, и мне в коментах будут доказывать, что я чмо и нуб, но для остальных: никаких доказанных “законов” фондового рынка не существуют, всякие технические анализы – это набор эвристик, подкрепляемый confirmation bias (сделал-работает) и selection bias (про то, что не работает, не слышим). Так что “крянуть сток-маркет” – непосильная задача. Так же точно никто не мог объяснить, почему в ковид фондовый рынок рос вверх, когда, очевидно, глобальной экономике было очень плохо. Вот прям так, эксперты, прожившие уже всю жизнь в мире макроэкономики и трейдинга, так и говорили: “мы не понимаем, что происходит”. Учитывая мутность и фондового рынка, и ML-агентов, кажется, что запускать продвинутые ML-алгоритмы на фондовый рынок опасно. Не потому, что умный Вася легко заработает денег, а потому что будут происходить флуктуации, вообще никому не понятные.
Продолжение ⬇️