Так как тема дублированного контента горячо обсуждается среди веб-мастеров, мы пришли к заключению, что пора дать ответы на некоторые вопросы, которые нам задают постоянно на конференциях и в Google Webmaster Help Group.

Перед тем как перейти непосредственно к обсуждению наболевшей темы, хотелось бы обратить внимание на некоторые моменты, которые особенно беспокоят многих веб-мастеров. Очень часто случается так, что содержание сайта дублируется третьими лицами без согласия владельца сайта, мы прекрасно понимаем, что вся ответственность за подобные действия лежит на тех, кто незаконно использует авторский контент. В подобных случаях Google весьма эффективно определяет первоисточник, что нисколько не вредит позициям сайта, на котором был расположен оригинальный текст.

Вообще, дублированный контент можно разделить на два основных вида:

1. Дублированный контент, находящийся в пределах одного доменного имени, т.е. абсолютно идентичное содержание, которое (часто неумышленно) появляется на различных страницах одного и того же сайта.


2. Дублированный контент, находящийся на двух различных сайтах с различными доменами, т.е. абсолютно идентичное содержание располагается (также, часто неумышленно) за пределами Вашего сайта.

В первом случае Вы можете решить проблему самостоятельно, избежав тем самым индексации дублированного контента поисковой машиной Google. Прочитайте пост Адама Ласник «Ловко решаем проблемы с дублированным контентом» и «Дублированный контент в SMX Advanced» Ванессы Фокс, оба автора дают превосходные подсказки для решения проблем с дублированным контентом в пределах одного сайта. Если по каким-либо причинам на Вашем сайте находятся страницы с идентичным содержанием, Вы можете поступить следующим образом: URL наиболее важной страницы сайта необходимо внести в Sitemap. Таким образом, поисковая машина, столкнувшись с идентичным содержанием на двух разных страницах, определит наиболее предпочтительный вариант.

Больше дополнительной информации Вы сможете найти в статье нашего Help Center, где очень подробно разбиралась данная проблема.
Также достаточно часто мы сталкиваемся с ситуацией, когда некто дублирует содержание веб-страниц, размещая его на других сайтах с целью извлечения некоторой прибыли. Сталкиваясь с дублированным контентом на двух и более различных сайтах, мы, прежде всего, обращаем внимание на множество составляющих факторов, которые в большинстве случаев помогают нам безошибочно определить, какой сайт является первоисточником информации. Владелец сайта должен быть весьма заинтересован в том, чтобы кража оригинального контента никоим образом не отразилась на позициях самого сайта.

Есть очень эффективный способ для того, чтобы помочь поисковым машинам идентифицировать содержание Вашего веб-ресурса, как оригинальное. Все, что для этого необходимо, это убедить Ваших партнеров поставить обратные ссылки со своих сайтов на Ваши странички. Вы можете найти немало полезной информации по данному вопросу в опубликованном недавно посте Ванессы Фокс под названием, «Утверждаем свой сайт как первоисточник контента в сети».

Некоторые веб-мастера задают нам следующий вопрос: «Как получилось, что сайт, на котором находится краденый контент, был определен поисковыми машинами, как первоисточник информации?» Это случается крайне редко, но если Вы все же оказались в подобной ситуации, Вам необходимо произвести следующие действия:

1. Проверьте доступность Вашего контента для поисковых пауков. Вы ошибочно могли заблокировать доступ к содержанию веб-страниц через robots.txt файл.


2. Проверьте карту Вашего сайта, внесли ли Вы все необходимые изменения касающиеся дублированного контента.


3. Проверьте, соответствует ли Ваш веб-сайт руководящим принципам Google для веб-мастеров.

В заключении мне хотелось бы обратить внимание на то, что в большинстве случаев дублированный контент не оказывает серьезного влияния на присутствие Вашего сайта в индексе Google, он просто отфильтровывается поисковыми машинами. Если Вы внимательно прочтете те советы, находящиеся в тех постах, на которые мы ссылались выше, то Вы получите полное представление о том, каким образом можно серьезно влиять на поисковые машины, утверждая свой веб-сайт как первоисточник информации, и влияя тем самым на индексацию Ваших веб-страниц. В случае если мы обнаруживаем доказательства злонамеренного дублирование содержания веб-ресурсов, мы однозначно относим подобные действия к нарушению наших руководящих принципов.

Если у Вас появятся какие-либо вопросы по данной теме, вы можете задать их в Google Webmaster Help Group.

Для ознакомления с немецкой версией данной статьи, перейдите по ссылке "Duplicate Content aufgrund von Scraper-Sites".