Я сообщил, что ищу работу, — и сразу многие решили проконсультироваться по поводу крупногабаритного парсинга. Расскажу вам одну историю
Как делать не надо
Когда у тебя 5M DAU шлет по 3 раза в день тебе на бекенд архивчик с gps-треком перемещения телефона (а это тысячи геометок), ты не знаешь, что делать с этими данными. Продавать их — против политики компаний.
Давай выберем только самые важные точки из этой тысячи. Потом можно зареверсгеокодить их: (lat, lng, t) 🔜 (RU, Питер, Мойка, 9).
Бесплатный API (без токена) одного такого сервиса имеет рейт лимит Х на один айпишник. В сети Tor порядка 7000 нод.
Что было дальше? Читать продолжение по ссылке:
🔗 https://t.me/hn_best_comments/17534
Как делать не надо
Когда у тебя 5M DAU шлет по 3 раза в день тебе на бекенд архивчик с gps-треком перемещения телефона (а это тысячи геометок), ты не знаешь, что делать с этими данными. Продавать их — против политики компаний.
Давай выберем только самые важные точки из этой тысячи. Потом можно зареверсгеокодить их: (lat, lng, t) 🔜 (RU, Питер, Мойка, 9).
Бесплатный API (без токена) одного такого сервиса имеет рейт лимит Х на один айпишник. В сети Tor порядка 7000 нод.
Что было дальше? Читать продолжение по ссылке:
🔗 https://t.me/hn_best_comments/17534