Все для веб-мастера

Как настроить robots.txt для сайта

robots.txt позволяет установить запрет на индексацию определенных страниц или раздела сайта, указать пути к основному зеркалу сайта, а также к файлу карты сайта.