Crawl-delay

Crawl-delay – это устаревшая директива для файла robots.txt. Директива Crawl-delay задает ограничение на скорость обхода страниц сайта и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер и снимало риски сбоев в работе сайта при его обходе поисковыми ботами. В настоящее время ни Google, ни Яндекс не учитывают эту директиву при индексировании сайтов, поэтому использование этой директивы в способы продвижения сайтов не включается. В Google обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера. В Яндекс на замену Crawl-delay сделали специальный инструмент «Скорость обхода» в раздел «Индексирование».