Одной из систематических работ над своим веб-ресурсом, если вы занимаетесь seo продвижением, является нахождение и удаление из индекса поисковых систем дублей страниц. Об этом этапе продвижения, являюшемуся частью внутренней оптимизации сайта, и пойдет речь в данной статье.

Для начала разберёмся, какое влияние на продвижение веб-ресурса оказывают дубли страниц.

1. Размазывание внутреннего ссылочного веса. Если в структуру сайта входят некорректные ссылки, которые ссылаются на дубли, то они уменьшают ссылочный вес, вместо его увеличения.

2. Изменение релевантности страниц. Если, к примеру, вы продвигаете товар, описание которого продублировано в соответствующей категории, то поисковик может посчитать категорию более релевантной. В итоге получится, что посетитель попадёт не на описание вашего товара, а в общий раздел. Из-за этого вы можете потерять посетителей.

3. Уникальный контент представляет большую ценность, если он находится в одном месте, а не продублирован на нескольких страницах.

Дубли чаще всего возникают из-за особенностей CMS или действий веб-мастера, копирующего статьи или создающего одинаковые документы.
Если часть контента частично дублируется на сайте и не превышает 10-15%, то это нормально. Но если продублировано более 50%, то тут уже следует принять соответствующие меры.
Может случиться так, что в индексе у «Яндекса» будет 40 страниц, в «Google», например, 105, а на веб-ресурсе при этом всего 35 постов. Следовательно, в «Google» находится много дублей страниц. В этом случае надо выяснить, сколько страниц представляет интерес для пользователя и поисковика, а остальные запретить для индексации.

В причинах и последствиях наличия дублированных страниц разобрались, теперь перейдём к способам их поиска.

1. Анализ документов, находящихся в индексе. Необходимо посмотреть все проиндексированные страницы. Чтобы это сделать, наберите в поисковике: site:vash domen.ru. Чаще всего вам следует проанализировать URL’ы и найти среди них нестандартные. К примеру, если вы используете ЧПУ, а выводится URL с окончанием 203040/53, он, скорее всего, и будет дублем. Его необходимо запретить для индексирования.

2. Анализ внутренних линков. Для этого можно использовать программу «XENU». У неё английский интерфейс, но разобраться с ней очень легко. Она ищет нерабочие ссылки и по завершении анализа выдаёт карту сайта, сохранив которую, вам будет легче провести анализ.

3. Поиск по частям текста. Вам нужно взять часть текста (слов 7-11) и, заключив их в кавычки, дать запрос в поисковой системе по своему сайту. Если найдутся дубли, например, в анонсах, то предпринимать ничего не нужно.

4. Панель «Google Webmaster». Здесь можно посмотреть, есть ли у вас повторяющиеся теги «descraption» и «title». Часто при наличии в них повторов находятся дубли.

Теперь рассмотрим, какие существуют способы удаления дублированных страниц.

1. Вручную. Здесь всё понятно: находим дубль, затем его удаляем.

2. 301-редирект. Такой метод подразумевает склеивание одинаковых материалов.

3. Атрибут rel = «canonical». С его помощью робот поисковой системы понимает, какая страница предпочтительнее.

4. Файл robots.txt. Здесь вы можете запретить индексацию любого содержимого вашего ресурса.