Настраиваемый Robots.txt

robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.

Wikipedia

robots.txt играет важную роль для индексации страниц поисковыми системами. Сейчас этот файл имеет оптимальный вид, однако, поскольку существует возможность добавлять страницы, то может возникнуть необходимость откорректировать этот файл в соответствии со структурой вашего сайта. Внести изменения в этот файл можно в панели администрирования "Настройка"»"Robots".