Хост в robots.txt – это директива, определяющая главное зеркало сайта. Даже при отсутствии разных доменных имен рекомендуется прописать основной URL, чтобы страницы всегда выдавались в поиске с www или без www. В robots.txt host входит в группу User-Agent: * и User-Agent: Yandex.
Обычно директива хост в robots располагается сразу после Allow и Disallow. Указание порта необязательно. Если вы не знаете точно, как задать директиву host, после двоеточия с пробелом достаточно указать доменное имя (Host: site.ru). Учтите, что поисковые системы могут сами определять главное зеркало сайта, поэтому если вы заранее не выбрали и не установили его в файле robots, обязательно убедитесь в том, чтобы везде участвовал только один вариант написания адреса.
При использовании защищенного SSL-сертификата следует уточнять протокол (Host: https://site.ru). Если host в robots вместо доменного имени содержит IP-адрес или прописан некорректно, директива не обрабатывается роботом-зеркальщиком.
