Файл robots.txt для wordpress


www.workzilla.ru

Файл robots.txt — это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Страницы, которые закрыты от посещения не будут попадать в индекс поисковиков (Yandex, Google и т.д.). Определяет основное зеркало сайта, указывает путь к карте сайта sitemap.xml

User-Agent — Указывает имя робота поисковой системы, для которого предназначены правила файла robots.txt. Если обращаемся сразу ко всем поисковым ботам, то ставим символ «*». Яндекс игнорирует символ «*» поэтому для него все пишется отдельно.

Allow и Disallow — Разрешает и запрещает доступ роботам поисковых систем к отдельным разделам на сайте. «/» — обозначает запрет индексации сайта целиком или /cgi-bin/ конкретной папки

Host — Обозначает главное зеркало сайта. Функцию Host поддерживают только русские поисковики (Яндекс, Рамблер, Апорт) поэтому ее лучше указывать в самом конце после Disallow.

Sitemap — Назначает наличие и путь для роботов поисковых систем карты записей сайта в формате xml.

Входя на сайт, поисковый робот, прежде всего, анализирует структуру и обращается к файлу robots.txt. Внешне файл robots.txt для WordPress выглядит следующим образом:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: Ваш сайт.ru

 

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

 

Sitemap: http://Ваш сайт.ru/sitemap.xml.gz

Sitemap: http://Ваш сайт.ru/sitemap.xml

 

Создайте текстовый документ с помощью блокнота и назовите его robots (robots.txt).Скопируйте и вставьте в него выше перечисленные правила. Файл robots.txt должен находиться в корневой папке вашего сайта.

 

Следует отметить, что существуют и другие способы запрета индексации – атрибут nofollow и тег noindex, но поисковики более лояльны именно к содержимому robots.txt. Некоторые запреты на индексацию прописаны в Плагине All in One Seo Pack.

Похожие записи

Оставить комментарий

Поиск
Мебель на заказ

Частный мастер 8(909)676-75-73