FrontEndDev

Роботы и вы: руководство по Robots.txt

https://www.sitepoint.com/robots-and-you-a-guide-to-robots-txt/