Наверх
8 800 350 55 01
+7 (495) 118-22-22

Crawl-delay

Crawl-delay – это устаревшая директива для файла robots.txt. Директива Crawl-delay задает ограничение на скорость обхода страниц сайта и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер и снимало риски сбоев в работе сайта при его обходе поисковыми ботами. В настоящее время ни Google, ни Яндекс не учитывают эту директиву при индексировании сайтов. В Google обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера. В Яндекс на замену Crawl-delay сделали специальный инструмент «Скорость обхода» в раздел «Индексирование».


Пусть другие тоже знают!

К списку терминов