PWN AI

👋.



Слышали ли вы о полноценных группах или инцидентах, связанных с MlOPS, которые привели к краже огромного ... гигантского количества данных ?



Я тоже нет ... но до этого момента...



Начнём с предыстории... Есть значит такой компонент в инфре MLOps, которого зовут Ray. Он позволяет сделать приложения с машинным обучением максимально распределёнными и масштабируемыми. Также RAY:



персонаж из охотников за приведениями

Позволяет реализовать мониторинг

Внедрить тесты в приложении

Имеет апи, которое требует минимального знания в python, но можно и bash.



Такие модели, как GPT-4, содержат миллиарды параметров, что требует огромных вычислительных мощностей. Они, большие модели, не могут уместиться в памяти одной машины. Ray - это технология, позволяющая запускать эти модели.



Самое интересное что Ray содержит такой интересный механизм как кластеры. В них и есть беда... Кластеры позволяют организовать взаимодействие между несколькими хостами. Обычно в кластере несколько машин. Каждая имеет доступ к чему либо. Есть конечно главный в этом кластере - кто назначает роли, кто смотри за порядком(настраивает автоматизированные задачи через Ray). (всё это реализуется через шаблоны на yaml).



В прошлом году было обнаружено 6 различных недостатков, часть из которых не была изначально внесена в базы CVE. Разработчики конечно же исправили их. НО далеко не все обновились...



Чтобы было понимание атака на такой инструмент как ray, позволяла злоумышленникам делать всё... Разучить модель, изменив на разных хостах в кластере данные .. или вовсе украсть датасеты(это то что ооочень ценно в самой этой инфраструктуре)... или же крутить свой код на крутой инфре или украсть токены от всего (k8s, openai, HuggingFace... да много всего там можно украсть). Самое интересное - множество ray инстансов были открыты во вне.



Недавно Oligo опубликовали статью, где им удалось обнаружить целую компанию по атаке на кластеры RAY. Ей было присвоено название - ShadowRAY. Злоумышленники атаковали и закрепились в некоторых кластерах различных крупных компаний. Было украдено много данных... но во всей этой истории использовались раннее запатченные, но не исправленные компаниями внутри - CVE. В конце статьи приведены данные о том с каких IP были атаки и IoC.