В данном случае для робота с именем BigMirSpider ( так называется робот Bigmir.net) запрещено индексировать все ниже /somedir и /somedir2 (например: http://mysite.com.ua/somedir, http://mysite.com.ua/somedir/somefile.html, http://mysite.com.ua/somedir2), аналогично можно заблокировать конкретный файл.
User-agent: *
Disallow: /somedir
В данном случае для всех роботов запрещено индексировать все ниже /somedir
Опции можно комбинировать разделяя блоки пустой строкой:
В данном случае для Google и Yandex запрещено все ниже /secret, для Rambler и Bigmir rambler_secret и bigmir_secret соответственно, а для всех остальных запрещено все.
Перед тем как задать вопрос службе поддержки, пожалуйста, ознакомьтесь с разделом "Вопросы и Ответы",
возможно, там уже есть ответ на ваш вопрос.
Если вы не нашли ответ, пришлите свой вопрос нам, используя форму
обратной связи
Поиск в Вопросах и Ответах
Разделы Вопросов и Ответов
BigmirID
ICQ
RSS
Видео
Вопрос-Ответ
Гороскопы
Дневники
Знакомства
Игры
Конкурс
Магазины
Объявления
Паспорт
Поиск
Попутчик
Почта
Приколы
Работа
Радио
Рейтинг
Фотоальбомы
Чат
Прочие разделы и вопросы
Обзор сети
Техно
Японец продавал в интернете 1 грамм соли за $700
bigmir)net видео
RWJ по версии Кураж-Бамбей - Харей О Земь
Приколы
До и после метамфетамина
Приколы
автомойка
bigmir)net видео
Как выключить собаку
Фото
Пристальный взгляд
bigmir)net не несет ответственности за содержание информации, которую размещают пользователи ресурса.
