Главный хак при парсинге



Бывает, что вам нужно получить список всех статей или страниц с сайта. Чтобы эти публикации наверняка трекались гуглом, владелец сайта размещает их в файле sitemap.yml.



Вы только посмотрите, как легко достать список всех статей с техкранча! 👀

https://techcrunch.com/sitemap.xml