Яндекс вводит новые директивы1. Теперь вы можете управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с вашего сервера (Crawl-delay).
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Читать далее Комментарии (0) 1-08-08 12:08:00 Yandex теперь понимает SitemapБуквально несколько дней назад, в сервисе для WEB мастеров (http://webmaster.yandex.ru/wmconsole/) появилась новая функция ”Файлы Sitemap” позволяющая добавить карту сайта.
Протокол Sitemap изначально был разработан Google и распространяется по условиям соглашения Attribution-ShareAlike в соответствии со свободной лицензией Creative Commons.
Зачем это надо ?? спросите вы, да все просто надо помочь поисковику чтобы он знал важность страниц вашего сайта их количество дату последнего обновления и желаемую частоту обновления индексированных страниц, в основном это касается динамического контента.
Ну а поскольку затронули тему Sitemap, то я предлагаю Вам несколько онлайн сервисов для генерации этих самых Sitemap’ов.
Читать далее Комментарии (1) 10-06-08 11:06:37 Яндекс раздает антивирус КасперскогоБесплатная антивирусная защита Касперского для Я.Онлайн
Яндекс совершенно бесплатно предоставляет вам лицензию на специальную версию антивирусной защиты Касперского. Программа содержит ключ для работы в течение полугода. Потом вы сможете получить и установить новый ключ — также бесплатно.
Кроме того, Я.Онлайн уведомляет о новых письмах в Яндекс.Почте (при поступлении нового письма Вам выведется уведомление на экран), показывает погоду в вашем городе ( погода обновляется каждый раз при открытии Я.Онлайн) и информацию о пробках в Москве (нажав на информер пробок, можно посмотреть подробную карту.). А при помощи встроенной поисковой строки можно находить данные в интернете еще быстрее (при поиске через Я.Онлайн можно не запускать браузер. Вы сразу же попадаете на
Читать далее Комментарии (0) 25-05-08 21:05:26 Поисковые операторы GoogleЛюбой человек работающий с интернетом задавался вопросом “где найти необходимую информацию, файл, руководство … ”.
Для этих целей и пользуемся мы поисковыми системами, но далеко не все знают, что искать можно эффективней отсевая заранее ненужную, лишнюю и не подходящую по разного рода критериям информацию, однако как это сделать знаю далеко не все.
В данной статье я познакомлю вас с некоторыми поисковыми командами или же операторами поиска Google которые нам помогут отсеять ту самую ненужную информацию “воду”.
Описание: Поиск по типам файлов в Google
Синтаксис: "Godsmack filetype: mp3"
"диплом физика filetype: doc" Если вам нужен поиск по типам файлов (php, mp3, pdf, html, asp и др. ), используйте оператор filetype.
Читать далее Комментарии (1) 24-05-08 21:05:32 Что делать, если Яндекс забанил сайтПару месяцев назад я узнал, что мой сайт забанил Яндекс как я понял, за расположенный на нем дорвей. Безусловно, это на некоторое время дало очень серьезный приток посетителей, однако потом… но речь пойдет не о дорвеях а о том, что же делать если подобное произойдет с Вами.
Дорвей – это страница, созданная вебмастером или оптимизатором лишь с целью добиться высокого рейтинга в поисковиках. Обычно они насыщены ключевыми словами или фразами, которые направлены на продвижение, и не видны в постоянной навигации сайта. Из-за того, что они имеют высокие позиции в результатах поиска, и посетитель с помощью этих страниц заходит на сайт, их называют дорвеями.
Читать далее Комментарии (4) 21-03-08 22:03:00 |