Записи с меткой «robots.txt»

Файл robots.txt для wordpress

Файл robots.txt — это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Страницы, которые закрыты от посещения не будут попадать в индекс поисковиков (Yandex, Google и т.д.). Определяет основное зеркало сайта, указывает путь к карте сайта sitemap.xml

User-Agent — Указывает имя робота поисковой системы, для которого предназначены правила файла robots.txt. Если обращаемся сразу ко всем поисковым ботам, то ставим символ «*». Яндекс игнорирует символ «*» поэтому для него все пишется отдельно.

Прочитать остальную часть записи »

Поиск
Мебель на заказ

Частный мастер 8(909)676-75-73