Веб-скрапинг



Веб-скрапинг (англ. web scraping) — метод сбора информации с различных веб-ресурсов, её анализ и преобразование полученной информации в нужный формат.



Как правило, данный термин применяется к автоматизированному сбору информации, который позволяет обрабатывать большие массивы данных в кратчайшие сроки при помощи специальных ботов. Веб-скрапинг не является взломом ресурса или кибератакой, так как обрабатывает информацию, размещённую в открытом доступе. Сам по себе веб-скрапинг не является незаконным. Он часто используется для анализа цен на конкретный товар на рынке. Но зачастую веб-скрапинг может носить негативный характер или использоваться в незаконных целях, в зависимости от того, какие данные собираются и для чего.



Чем опасен веб-скрапинг для бизнеса и физических лиц?



Веб-скрапинг открывает возможности для незаконного использования баз данных компаний третьими лицами. Самый известный в России случай — дело ВКонтакте против Double Data. Компания Double Data осуществляла сбор и индексацию информации, размещённой на страницах пользователей социальной сети, включая их персональные данные. Эти данные использовались для анализа кредитоспособности пользователей и продавались банкам. Почти шесть лет длился спор о законности использования общедоступной информации о пользователях ВКонтакте и защите интеллектуальных (смежных) прав на базу данных пользователей социальной сети. В итоге стороны заключили мировое соглашение, в соответствии с которым Double Data обязалась не нарушать права ВКонтакте в своей деятельности.



Киберпреступники могут использовать веб-скрапинг для формирования баз персональных данных с целью их последующей перепродажи в даркнет. Формально это не является утечкой данных, так как всю информацию кибермошенники получают из открытых источников, а не через взлом компании. Но это может нанести существенный вред как репутации компании, с чьих ресурсов были собраны данные, так и собственникам информации. Так, например, в 2021 году персональные данные более чем 1,5 млрд. пользователей Facebook были выложены в даркнете. База данных содержала пользовательские ID, настоящие имена, e-mail, телефонные номера, геолокационные данные, собранные из открытых профилей пользователей социальной сети.



Веб-скрапинг опасен и тем, что любая личная информация, которую вы добровольно публикуете в интернете, может быть использована против вас и ваших близких.