В некоторых случаях владельцы сайтов сталкиваются с проблемой дублирования контента, причем они даже могут об этом и не подозревать, и что еще более обидного в этой ситуации, так это то, что контен даже не сворован! Источником аналогичного контента может являться ваш собственный сайт.
Часто случается, что какая-либо из страниц сайта, например главная, имеет более чем один url-адрес. К примеру, главная страница вашего сайта может быть:
www.website.com
website.com
www.website.com/
website.com/
ww.website.com/index.html
www.website.com/Home.php
website.com/Home.php
Итак, перед вами 8 различных вариантов одной и той же страницы. Это означает, что по каждой из этих ссылок, веб-сервер вернет одинаковый контент. Это обстоятельство вызывает ряд проблем при взаимодействии с поисковыми системами, так как вместо 8 обратных ссылок на страницу, мы получили 8 одинаковых страниц! Все это приводит к тому, что возрастает время на индексацию, а так же ухудшаются позиции в результатах поисковой выдачи.
Решение проблемы
Профилактика всегда лучше лечения. Потому лучше всего следовать определенным методикам, предотвращающим появление дублированного контента, нежели дожидаться пока такая проблема «всплывет» и только тогда браться за ее решение. Ниже приведены некоторые из таковых…
Стандартизация URL
Под стандартизацией ссылок понимается приведение их к одному типу. Это позволит избежать путаницы и в итоге, исключив остальные варианты, вы будете уверены, что каждая страница сайта имеет только один адрес. Стоит так же проверить настройки системы управления контентом вашего сайта и убедиться, что url формируются верно, в соотвествии с нужным типом. Теперь можно будет не волноваться о том, что у вас появится 8 вариантов одной и той же страницы.
Согласованность ссылок
Довольно часто на сайт могут указывать разные версии ссылок. Наиболее распространенный вариант www.website.com и website.com. При таком подходе важно правильно настроить роли этих двух адресов. Нужно указать какой из них стоит считать первичным, а какой псевдонимом, чтобы у поисковых роботов не возникло путаницы.
Используйте 301 переадресацию
Если у какой-либо из страниц вашего сайта более одного url, вы можете воспользоваться 301 переадресацией, настроив перенаправление со всех дополнительных url на основной.
URL’s для карты сайта
Google отдает предпочтения тем адресам, которые внесены в карту сайта. Таким образом, если поисковый робот наткнется где-либо в интернете на аналогичный адрес, то предпочтение будет отдано тому который есть в файле с картой сайта.
Используйте канонические страницы
Канонические страницы предпочитаемая поисковиками версия страниц среди аналогичных по контенту. Например у вас есть страница на которую указывает несколько url. Или некоторый продукт (товар) повторяется на разных страницах сайта в зависимости от настроек поискового фильтра. Google, когда сталкивается с подобными ситуациями: несколько страниц с аналогичным или похожим контентом, индексирует только одну из них, которая по его мнению наиболее релевантная поисковым запросам.
Вы можете вручную указать роботу, какую из страниц нужно индексировать, с помощью специального атрибута rel="canonical".
Часто случается, что какая-либо из страниц сайта, например главная, имеет более чем один url-адрес. К примеру, главная страница вашего сайта может быть:
www.website.com
website.com
www.website.com/
website.com/
ww.website.com/index.html
www.website.com/Home.php
website.com/Home.php
Итак, перед вами 8 различных вариантов одной и той же страницы. Это означает, что по каждой из этих ссылок, веб-сервер вернет одинаковый контент. Это обстоятельство вызывает ряд проблем при взаимодействии с поисковыми системами, так как вместо 8 обратных ссылок на страницу, мы получили 8 одинаковых страниц! Все это приводит к тому, что возрастает время на индексацию, а так же ухудшаются позиции в результатах поисковой выдачи.
Решение проблемы
Профилактика всегда лучше лечения. Потому лучше всего следовать определенным методикам, предотвращающим появление дублированного контента, нежели дожидаться пока такая проблема «всплывет» и только тогда браться за ее решение. Ниже приведены некоторые из таковых…
Стандартизация URL
Под стандартизацией ссылок понимается приведение их к одному типу. Это позволит избежать путаницы и в итоге, исключив остальные варианты, вы будете уверены, что каждая страница сайта имеет только один адрес. Стоит так же проверить настройки системы управления контентом вашего сайта и убедиться, что url формируются верно, в соотвествии с нужным типом. Теперь можно будет не волноваться о том, что у вас появится 8 вариантов одной и той же страницы.
Согласованность ссылок
Довольно часто на сайт могут указывать разные версии ссылок. Наиболее распространенный вариант www.website.com и website.com. При таком подходе важно правильно настроить роли этих двух адресов. Нужно указать какой из них стоит считать первичным, а какой псевдонимом, чтобы у поисковых роботов не возникло путаницы.
Используйте 301 переадресацию
Если у какой-либо из страниц вашего сайта более одного url, вы можете воспользоваться 301 переадресацией, настроив перенаправление со всех дополнительных url на основной.
URL’s для карты сайта
Google отдает предпочтения тем адресам, которые внесены в карту сайта. Таким образом, если поисковый робот наткнется где-либо в интернете на аналогичный адрес, то предпочтение будет отдано тому который есть в файле с картой сайта.
Используйте канонические страницы
Канонические страницы предпочитаемая поисковиками версия страниц среди аналогичных по контенту. Например у вас есть страница на которую указывает несколько url. Или некоторый продукт (товар) повторяется на разных страницах сайта в зависимости от настроек поискового фильтра. Google, когда сталкивается с подобными ситуациями: несколько страниц с аналогичным или похожим контентом, индексирует только одну из них, которая по его мнению наиболее релевантная поисковым запросам.
Вы можете вручную указать роботу, какую из страниц нужно индексировать, с помощью специального атрибута rel="canonical".