Эта статья полезна начинающим веб-мастерам, занимающимися раскруткой сайтов, seo оптимизацией.

Ни для кого не секрет, что каждый сайт, размещенный в Интернете, периодически просматривается поисковыми роботами. Их задача состоит в постоянном поиске новых статей и изменений в старых материалах.

По результатам работы таких роботов производится автоматическое обновление и корректирование баз данных всех поисковых систем. Веб-мастер (при помощи специальных тегов и файлов) имеет возможность управлять поисковыми роботами в пределах своего сайта.

Управление поисковым роботом

Суть управления сводится к запрещению или разрешению индексирования различных элементов сайта. Это могут быть:
• блоки внешних ссылок (каталоги ссылок);
• рекламные блоки;
• участки текста;
• отдельные категории;
• новые статьи;
• стандартные формы, имеющиеся на многих веб-сайтах.

Файл «robots.txt»

Данный файл, созданный при помощи элементарного «Блокнота» и помещенный в корневой каталог сайта, дает возможность «командовать» поисковыми машинами, оказывает влияние на качество внутренней оптимизации ресурса.

Заходя на сайт, поисковый робот, прежде всего, будет искать файл «robots.txt». После чего, учтет имеющиеся в нем команды, внесет коррективы в процесс индексации.

Содержимое данного файла позволяет избавить поисковые системы от накопления ненужного хлама в виде стандартных программ, каталогов, рекламных ссылок и пр. Если файл «robots.txt» не обнаруживается, то поисковый робот приступает к индексации всех страниц сайта без исключения.

Содержимое файла «robots.txt»

Первой строкой в этом файле прописывается обращение к конкретным поисковым системам:
«User-agent: *».

В данном случае символ «*» (звездочка) указывает на все поисковые системы. Примечание: веб-мастер (при необходимости) может назначить команды каждой поисковой системе в отдельности. Далее следует набор команд и адресов.

Для того чтобы закрыть конкретный элемент сайта, необходимо:
• прописать соответствующую команду («Disallow:»);
• указать адрес закрываемой страницы (категории, раздела, модуля, каталога);

К примеру, командная строка «Disallow: /*do=feedback» закроет от индексации форму обратной связи на сайте.

Обратный смысл имеют команды, рекомендующие поисковой системе проследовать по указанному пути. К примеру, строка «Sitemap: /sitemap.xml» напрямую показывает роботу путь к «Карте сайта», что значительно ускоряет индексацию новых материалов. Данная опция будет иметь смысл, если файл (sitemap.xml) действительно находится точно по указанному адресу.

Примечание: при указании каталога, папки, раздела, его адрес заключается в двойном слеше (/…/). Если подразумевается отдельный файл, то он обязательно будет иметь какое-либо расширение (*.php, *.html, *.xml).

Какие элементы сайта закрывать от индексации

Закрытию от индексации подлежат:
• функциональные скрипты;
• небольшие картинки, используемые в элементах шаблона;
• форма обратной связи;
• правила сайта;
• регистрационная форма;
• все то, что не придаст рейтинговых показателей сайту, никак не повлияет на его ранжирование.

Правильный Robots.txt для блога WordPress

User-agent: *
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /xmlrpc.php
Disallow: /wp-content/uploads
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /?author=
Sitemap: https://zarobotok-mir-info.ru/sitemap.xml.gz
Sitemap: https://zarobotok-mir-info.ru/sitemap.xml

User-agent: Yandex
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Disallow: /?author=
Host: zarobotok-mir-info.ru

Управление поисковым роботом при помощи тегов

Чем выше к «шапке» сайта находится ключевой запрос, тем более релевантной считается страница. В связи с этим, есть смысл исключить не имеющие особой важности, но стоящие выше других, элементы. Для того чтобы максимально уменьшить значимость отдельного участка сайта можно прибегнуть к помощи соответствующих тегов.

На данный момент к таким командам можно отнести:
• «nofollow»;
• «noindex».

Стоит заранее отметить, что данные теги носят только рекомендательный характер, а значит, не являются окончательным приказом для роботов поисковых систем. Разработчики Яндекса официально признали «избирательность» команды «noindex», а участки, помещенные в контейнер «nofollow», могут периодически проскакивать в общий индекс и выпадать из него с течением времени.