Обманываем почтовики с ML-фильтрацией при помощи фишингового письма или как работает новый вектор атаки "Conversation overflow" ?
Недавно исследователями из SlashNext было обнаружено в дикой природе письмо. Этим письмом удалось обойти классификатор фишинга в их Email Security. Представим себе обычное письмо. В первой части - обычный фишинг... поле где жертва может ввести учётные данные... но во второй части письма ... расположены пробелы - пустые пространства и ... текст, который должен отвлечь детектор от фишингового кода. Это может быть что угодно - разговоры людей, цитаты или тарабарщина. В общем это та часть, которая нарушает привычные шаблоны "хороший/плохой". Заставляя нейросеть поверить в то, что это письмо является надёжным.
Если это классификатор который реализован через OpenAI, то возможно там может быть расположена инструкция, которая говорит LLM что делать.
Но вот есть беда... Нейросеть может формировать некий уровень доверия к злоумышленнику на основании таких "легитимных" сообщений...
Злоумышленник может кидать в той же ветке повторные запросы на получение данных или же заставлять пользователя переходить по ссылкам...
Берегите себя и свои данные.
Недавно исследователями из SlashNext было обнаружено в дикой природе письмо. Этим письмом удалось обойти классификатор фишинга в их Email Security. Представим себе обычное письмо. В первой части - обычный фишинг... поле где жертва может ввести учётные данные... но во второй части письма ... расположены пробелы - пустые пространства и ... текст, который должен отвлечь детектор от фишингового кода. Это может быть что угодно - разговоры людей, цитаты или тарабарщина. В общем это та часть, которая нарушает привычные шаблоны "хороший/плохой". Заставляя нейросеть поверить в то, что это письмо является надёжным.
Если это классификатор который реализован через OpenAI, то возможно там может быть расположена инструкция, которая говорит LLM что делать.
Но вот есть беда... Нейросеть может формировать некий уровень доверия к злоумышленнику на основании таких "легитимных" сообщений...
Злоумышленник может кидать в той же ветке повторные запросы на получение данных или же заставлять пользователя переходить по ссылкам...
Берегите себя и свои данные.