В данном случае для робота с именем BigMirSpider ( так называется робот Bigmir.net) запрещено индексировать все ниже /somedir и /somedir2 (например: http://mysite.com.ua/somedir, http://mysite.com.ua/somedir/somefile.html, http://mysite.com.ua/somedir2), аналогично можно заблокировать конкретный файл.
User-agent: *
Disallow: /somedir
В данном случае для всех роботов запрещено индексировать все ниже /somedir
Опции можно комбинировать разделяя блоки пустой строкой:
В данном случае для Google и Yandex запрещено все ниже /secret, для Rambler и Bigmir rambler_secret и bigmir_secret соответственно, а для всех остальных запрещено все.
Перед тем как задать вопрос службе поддержки, пожалуйста, ознакомьтесь с разделом "Вопросы и Ответы",
возможно, там уже есть ответ на ваш вопрос.
Если вы не нашли ответ, пришлите свой вопрос нам, используя форму
обратной связи
Поиск в Вопросах и Ответах
Разделы Вопросов и Ответов
BigmirID
ICQ
RSS
Видео
Вопрос-Ответ
Гороскопы
Дневники
Знакомства
Игры
Конкурс
Магазины
Объявления
Паспорт
Поиск
Попутчик
Почта
Приколы
Работа
Радио
Рейтинг
Фотоальбомы
Чат
Прочие разделы и вопросы
Обзор сети
Ivona
Брак Ани Лорак под угрозой
Новости
Тимошенко пришла в суд без косы и требует врача
Авто
Обгон по обочине обернулся гибелью водителя и младенца
Видео
Черновецкий - гражданин Израиля! Официально подтверждено
bigmir)net видео
Уилл Смит ударил украинского журналиста за поцелуй
bigmir)net видео
Собака научилась ездить на велосипеде
bigmir)net не несет ответственности за содержание информации, которую размещают пользователи ресурса.