В данном случае для робота с именем BigMirSpider ( так называется робот Bigmir.net) запрещено индексировать все ниже /somedir и /somedir2 (например: http://mysite.com.ua/somedir, http://mysite.com.ua/somedir/somefile.html, http://mysite.com.ua/somedir2), аналогично можно заблокировать конкретный файл.
User-agent: *
Disallow: /somedir
В данном случае для всех роботов запрещено индексировать все ниже /somedir
Опции можно комбинировать разделяя блоки пустой строкой:
В данном случае для Google и Yandex запрещено все ниже /secret, для Rambler и Bigmir rambler_secret и bigmir_secret соответственно, а для всех остальных запрещено все.
Перед тем как задать вопрос службе поддержки, пожалуйста, ознакомьтесь с разделом "Вопросы и Ответы",
возможно, там уже есть ответ на ваш вопрос.
Если вы не нашли ответ, пришлите свой вопрос нам, используя форму
обратной связи
Поиск в Вопросах и Ответах
Разделы Вопросов и Ответов
BigmirID
ICQ
RSS
Видео
Вопрос-Ответ
Гороскопы
Дневники
Знакомства
Игры
Конкурс
Магазины
Объявления
Паспорт
Поиск
Попутчик
Почта
Приколы
Работа
Радио
Рейтинг
Фотоальбомы
Чат
Прочие разделы и вопросы
Обзор сети
Фото
Если Бог хочет сделать женщине комплимент, Он дарит ей дочь…
Спорт
Гендиректор ЦСКА: Веллитон - подонок
Ivona
Типы женщин, которые всегда привлекают мужчин
bigmir)net видео
Герои среди нас / Heroes Among Us
bigmir)net видео
Готовы к бою. Фотографии активистов накануне очередного заседания...
Дневники
Опавшие завязи вишен
bigmir)net не несет ответственности за содержание информации, которую размещают пользователи ресурса.