Еще один парсер сайтов для Python
Многие слышали о BeatifulSoup, а вот о Scrapy редко где упоминается. Однако, это достаточно мощный инструмент для разработки парсеров.
Что умеет?
1. Логиниться на сайтах.
2. Работать с прокси.
3. Сохранять результат в JSON/CVS/XML.
4. Автоматический менеджмент Cookies.
5. Настройка User-agent.
6. Загрузка файлов.
Установка.
Многие слышали о BeatifulSoup, а вот о Scrapy редко где упоминается. Однако, это достаточно мощный инструмент для разработки парсеров.
Что умеет?
1. Логиниться на сайтах.
2. Работать с прокси.
3. Сохранять результат в JSON/CVS/XML.
4. Автоматический менеджмент Cookies.
5. Настройка User-agent.
6. Загрузка файлов.
Установка.
pip install ScrapyОсновное отличие от Beatifull Soup в том, что Scrapy создает web-spiders. Это приложения, которые работаю как браузеры. Только предназначены для парсинга.