В данном случае для робота с именем BigMirSpider ( так называется робот Bigmir.net) запрещено индексировать все ниже /somedir и /somedir2 (например: http://mysite.com.ua/somedir, http://mysite.com.ua/somedir/somefile.html, http://mysite.com.ua/somedir2), аналогично можно заблокировать конкретный файл.
User-agent: *
Disallow: /somedir
В данном случае для всех роботов запрещено индексировать все ниже /somedir
Опции можно комбинировать разделяя блоки пустой строкой:
В данном случае для Google и Yandex запрещено все ниже /secret, для Rambler и Bigmir rambler_secret и bigmir_secret соответственно, а для всех остальных запрещено все.
Перед тем как задать вопрос службе поддержки, пожалуйста, ознакомьтесь с разделом "Вопросы и Ответы",
возможно, там уже есть ответ на ваш вопрос.
Если вы не нашли ответ, пришлите свой вопрос нам, используя форму
обратной связи
Поиск в Вопросах и Ответах
Разделы Вопросов и Ответов
BigmirID
RSS
Видео
Вопрос-Ответ
Дневники
Знакомства
Игры
Паспорт
Поиск
Попутчик
Почта
Приколы
Рейтинг
Фотоальбомы
Чат
Прочие разделы и вопросы
Обзор сети
bigmir)net видео
Как медведь гризли ест видеокамеру
Город(События)
ТОП-10: Худшие каверы всех времен
Корреспондент
Присоединяйтесь к живой ленте! Выборы-2012. Livestream
bigmir)net видео
Велогонщик спустился с горы наперегонки с сапсаном
M Port
Смертельная Айрин: ураган топит Америку (ВИДЕО)
Дневники
Не откладывайте жизнь на "потом"
bigmir)net не несет ответственности за содержание информации, которую размещают пользователи ресурса.