С 21 декабря 2017 г. Google публикует SEO-фрагменты (SEO Snippets) – короткие обучающие видео, полезные в первую очередь для тех, кто работает в SEO. Ниже перевод очередного SEO-фрагмента.
Сегодняшний вопрос поступил от Амида из Индии. Он спрашивает: «Игнорирует ли Googlebot правило crawl-delay?».
Директива crawl-delay для файла robots.txt для всех поисковых систем была введена очень давно. Идея была в том, чтобы вебмастер мог указать, сколько секунд будет ждать робот-обходчик между запросами, чтобы ограничить нагрузку на веб-сервер.
Это была неплохая идея, однако оказалось, что серверы действительно достаточно динамичны, и придерживаться одинакового периода между запросами просто не имеет смысла.
Возможность задавать количество секунд между запросами сегодня, когда подавляющее большинство серверов способны пропускать так много трафика в секунду, бесполезна. Вместо использования crawl-delay директивы мы решили автоматически регулировать обход страниц, основываясь на реакции вашего сервера. Итак, если мы заметим ошибку сервера, или что реакция сервера замедлилась – мы приостановим обход.
Учитывая все вышесказанное, если мы заметим директиву crawl-delay в вашем файле robots.txt, мы постараемся сообщить вам, что в этом файле есть что-то, что мы уже не поддерживаем.
И конечно же, если есть разделы вашего сайта, которые вообще не нужно обходить, вы всегда можете дать нам знать об этом в вашем robots.txt.
