5 способов избавится от дубликатов страниц на вашем сайте

Блог [https://mcsite.ua] Блог киевской студии McSite. Menu Close Авторы О веб-студии Услуги 5 5 способов избавится от дубликатов страниц на вашем сайте Posted on 28.08.2013 by Андрей В данном обзоре рассмотрим как найти и навсегда удалить дубли страниц. Как возникают дубликаты страниц Какие бывают дубли страниц Какую опасность несут в себе дубли страниц Как обнаружить дубликаты на сайте 5 способов удалить дубликаты страниц Как возникают дубликаты страниц Основные причины появления дублей — несовершенство CMS сайта, практически все современные коммерческие и некоммерческие CMS генерируют дубли страниц. Другой причиной может быть низкий профессиональный уровень разработчика сайтов, который допустил появление дублей. Какие бывают дубли страниц 1. Главная страница сайта, которая открывается с www и без www пример www.site.ua и site.ua site.ua/home.html и site.ua/ 2. Динамическое содержание сайта с идентификаторами ?, index.php, &view site.ua/index.php?option=com_k2&Itemid=141&id=10&lang=ru&task=category&view=itemlist site.ua/index.php?option=com_k2&Itemid=141&id=10&lang=ru&layout=category&task=category&view=itemlist 3. Со слешем в конце URL и без site.ua/cadok/ site.ua/cadok 4. Фильтры в интернет-магазине (пример VirtueMart ) site.ua//?Itemid=&product_book& 5. Странички печати site.ua/cadok/?tmpl=component&print=1&layout=default&page=» Какую опасность несут в себе дубли страниц Представьте себе что вы читаете книгу где на страничках одинаковый текст, или очень похожий. Насколько полезна для вас такая информация? В таком же положении оказываются и поисковые машины, ища среди дубликатов вашего сайта то полезное содержимое которое необходимо пользователю. Поисковые машины не любят такие сайты, следовательно ваш сайт не займет высокие позиции в поиске, и это несет для него прямую угрозу. Как обнаружить дубликаты на сайте 1. С помощью команды site:site.ua можете проверить какие именно дубли попали в индекс поисковой машины. 2. Введите отрывки фраз с вашего сайте в поиск, таким образом обнаружите страницы на которых она присутствует 3. Инструменты для веб-мастеров Google, в разделе Вид в поиске → Оптимизация HTML, можете увидеть страницы, на которых есть повторяющееся метаописание или заголовки. 5 способов удалить дубликаты страниц 1. С помощью файла robots.txt Пример Disallow: /*? Disallow: /index.php?* Таким образом, дадим знать поисковой машине, что странички, которые содержат параметры ?, index.php?, не должны индексироваться. Есть одно «но»: файл robots — это только рекомендация для поисковых машин, а не правило, которому они абсолютно следуют. Если, например, на такую страничку поставлена ссылка то она попадет в индекс. 2. Файл .htaccess, позволяет решить проблему с дублями на уровне сервера. .htaccess — это файл конфигурации сервера Apache, находится в корне сайта. Позволяет настраивать конфигурацию сервера для отдельно взятого сайта. Склеить странички сайта 301 редиректом. Пример Redirect 301 /home.html http://site.ua/ (для статических страниц cайта) RewriteCond %{QUERY_STRING} ^id=45454 RewriteRule ^index.php$ http://site.ua/news.html? [L,R=301] (редирект для динамических страничек) Использовать 410 редирект (полное удаление дубля) Он сообщает что такой странички нет на сервере. Пример Redirect 410 /tag/video.html Настроить домен с www и без www Пример с www Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^site\.ua RewriteRule ^(.*)$ http://www.site.ua/$1 [R=permanent,L] Без www Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.site.ua$ [NC] RewriteRule ^(.*)$ http://site.ua/$1 [R=301,L] Добавляем слеш в конце URL RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\?) RewriteRule .* %1/ [R=301,L] Для сайтов с большим количеством страниц будет довольно трудозатратно искать и склеивать дубли. 3. Инструменты для веб-мастеров Функция Параметры URL позволяют запретить Google сканировать странички сайта с определенными параметрами Или вручную удалить Удаление страничек возможно только в случае если страничка: — запрещена для индексации в файле robots.txt — возвращает ответ сервера 404 — запрещена тегом noindex 4. Мета тег noindex — это самый действенный способ удаления дубликатов. Удаляет навсегда и бесповоротно. По заявлению Google наличие тега noindex полностью исключает страничку из индекса. Пример Важно. Для того что бы робот смог удалить страничку, он должен ее проиндексировать, то есть она не должна быть закрыта от индексации в файле robots.txt. Реализовать можно через регулярные выражения PHP, используя функцию preg_match() . 5. Атрибут rel=»canonical» Атрибут rel=»canonical» дает возможность указать рекомендуемую (каноническую) страничку для индексации поисковыми машинами, таким образом дубликаты не попадают в индекс. rel=»canonical» указывается двома способами 1. С помощью атрибута link в в HTTP-заголовке Пример Link: ; rel=»canonical» 2. В раздел добавить rel=»canonical» для неканонических версий страниц Пример В некоторые популярные CMS атрибут rel=»canonical» внедрен автоматически — например, Joomla! 3.0 (почитайте об отличии версии Joomla! 2.5 и Joomla! 3.0 ). У других CMS есть специальные дополнения. Подведем итог. При разработке сайта учитывайте возможности появления дублей и заранее определяйте способы борьбы с ними. Создавайте правильную структуру сайта (подробнее здесь) . Проверяйте периодически количество страниц в индексе, и используйте возможности панели Инструментов для веб-мастеров. При написании использовались материалы https://support.google.com/webmasters/topic/2371375?hl=ru&ref_topic=1724125 Зберегти Зберегти Зберегти SEO веб-сайтов Post navigation VirtueMart и JoomShopping. Сравнительные характеристики Сайт как персональная выставка вашего предприятия Андрей Еще посты 5 Comments Ответить 01.07.2015 Артур Спасибо за советы, помогли! Ответить 19.10.2015 Ispania Nedvizhimost Решение подобной задачи как сделал я на ресурсе относящейся к разделу ОТОПЛЕНИЕ (сайт мультиязычный) относительно после изминения структуры каталога с котлами для отопления гугл индексировал старые ссылки на товар с выдачей в поиске как страницу ошибки. Мои действия: в файле robots.txt делаем запрет на индексирование Disallow: /error.html, Disallow: /ua/error.html, Disallow: /ru/error.html где (/error.html) ето страница ошибки 404, в GOOGLE Панель инструментов Удалить URL-адреса в разделе Индекс Google. И все, решение задачи выполнено! Ответить 17.01.2016 Anurik Ничего не понятно. Сама статья написана для поисковиков а не для нас Ответить 18.01.2016 Андрій Что бы понять нужно делать Ответить 22.02.2016 Alexey Grishanovich Redirect 301 /home.html http://site.ua/ Вот строчка, которую я искал 2 дня. Хочу отметить, она работает не только для статических страниц. Но также для сформированных ЧПУ ссылок. Не идеальный вариант, но другие решения для склейки вообще не работали. Спасибо! Добавить комментарий Отменить ответ Ваш e-mail не будет опубликован. Обязательные поля помечены * Комментарий Имя * E-mail * Сайт Лимит времени истёк. Пожалуйста, перезагрузите CAPTCHA. × 6 = 30 Рубрики GTM (4) SEO веб-сайтов (16) Адаптивный сайт (4) Аналитика (10) Графика (5) Интернет-реклама (11) Кейсы (3) Обзоры CMS (7) Сайты (29) Свежие записи Как скорость влияет на Ваш сайт? Как убрать index.php из URL в Joomla Google AdWords. Автоматизация кампаний Google AdWords. Выход на экспортные рынки Google AdWords для новых сотрудников агентств Подписка Введите адрес электронной почты: Свежие комментарии Kiskenbassker к записи Адаптивные таблицы: как выбрать правильное решение? Девушка к записи Адаптивные таблицы: как выбрать правильное решение? marketing digital en jerez к записи CMF MODx Revolution. Впечатления поклонника Joomla. Kiskenbassker к записи Доработка Joomla для улучшения поисковой оптимизации Kiskenbassker к записи Доработка Joomla для улучшения поисковой оптимизации Search for: Google+ Facebook Теги CMS Concrete5 Drupal Google Google AdWords Google Analytics Joomla! Linux MODX Яндекс Директ семинар Услуги Мобильная версия Лендинг-пейдж Разработка логотипа Стоимость услуг Контекстная реклама Блог > SEO веб-сайтов > 5 способов избавится от дубликатов страниц на вашем сайте © Блог © 2000 — 2014 Майкрокосмик создание и разработка сайтов Украина. г.Киев