Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Хост (host) в контексте robots.txt

Хост (host) в контексте robots.txt

28.03.2019

Хост в robots.txt – это директива, определяющая главное зеркало сайта. Даже при отсутствии разных доменных имен рекомендуется прописать основной URL, чтобы страницы всегда выдавались в поиске с www или без www. В robots.txt host входит в группу User-Agent: * и User-Agent: Yandex.

Обычно директива хост в robots располагается сразу после Allow и Disallow. Указание порта необязательно. Если вы не знаете точно, как задать директиву host, после двоеточия с пробелом достаточно указать доменное имя (Host: site.ru). Учтите, что поисковые системы могут сами определять главное зеркало сайта, поэтому если вы заранее не выбрали и не установили его в файле robots, обязательно убедитесь в том, чтобы везде участвовал только один вариант написания адреса.

При использовании защищенного SSL-сертификата следует уточнять протокол (Host: https://site.ru). Если host в robots вместо доменного имени содержит IP-адрес или прописан некорректно, директива не обрабатывается роботом-зеркальщиком.


Пусть другие тоже знают!

К списку терминов