Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Яндекс теперь игнорирует директиву Crawl-delay
В тренде

Яндекс теперь игнорирует директиву Crawl-delay

16.02.2018 Время прочтения: 1 минута

Директива Crawl-delay задает ограничение на скорость обхода страниц сайта, и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер, и снимало риски сбоев в работе сайта при его обходе поисковыми ботами.

Но большинство серверов теперь динамичные, и в разные периоды времени могут отдавать разную скорость ответа, что делает директиву Craw-delay бесполезной.

Google уже давно перестал учитывать директиву Crawl-delay, и обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера.

Теперь и Яндекс перестал учитывать Crawl-delay:

Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt […] Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.

А чтобы сохранить возможность задавать ограничение скорости обхода страниц, разработчики добавили в Яндекс.Вебмастер новый инструмент «Скорость обхода» в раздел «Индексирование».
По умолчанию в инструменте «Скорость обхода» установлено значение «Доверять Яндексу», при котором скорость рассчитывается автоматически, исходя из опыта обхода сайта: поисковый бот учитывает при обходе допустимые нагрузки для вашего сервера.

Яндекс теперь игнорирует директиву Crawl-delay

Если же вы заметите, что запросы робота замедляют ваш сервер, вы можете задать максимальную скорость обхода с точностью до десятых долей запросов в секунду.

Яндекс теперь игнорирует директиву Crawl-delay

Комментарий seo-эксперта:

Директиву Crawl-delay уже сейчас можно смело удалять из robots.txt у своих сайтов, по словам Яндекса эта строчка уже не учитывается роботом, что делает её присутствие в файле бесполезной. Сам инструмент можно проверить в вебмастере, однако внесенные изменения в сканировании будут применены только после 22 февраля, поэтому до этого времени, скорее всего, все сайты будут сканироваться по настройке «Доверять Яндексу». К слову, Google уже давно не учитывает эту директиву при обходе сайта и автоматически настраивает скорость сканирования в зависимости от скорости ответа сервера, на котором размещён сайт.

Технолог SEO-эксперт компании SEO.RU
Абдуллин Константин

Пусть другие тоже знают!

Еще на эту тему

Яндекс несколько месяцев индексировал контент из тега noindex
Яндекс несколько месяцев индексировал контент из тега noindex
Некорректную работу тега обнаружил SEO-специалист московской...
03.08.2018 422
Яндекс тестирует дополнительные кнопки в выдаче
Яндекс тестирует дополнительные кнопки в выдаче
Пользователи заметили новые кнопки в поисковой выдаче Яндекс...
12.11.2018 125
Яндекс: что изменится в турбо-страницах до конца лета
Яндекс: что изменится в турбо-страницах до конца лета
Разработчики турбо-страниц рассказывают в блоге Яндекса для ...
18.07.2018 596
Показать еще материалы

Другие интересные статьи

Стоимость контекстной рекламы в Яндекс и Google: цена за клик, прогноз бюджета
Стоимость контекстной рекламы в Яндекс и Google: цена за клик, прогноз бюдж ...
Узнайте, из чего складывается стоимость контекстной рекламы....
23.05.2018 2343
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 2018
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 20 ...
6 и 7 апреля IT-сообщество Ульяновска (и еще 89 городов ...
18.04.2018 389
SEO-фрагменты (SEO Snippets) Google: множественные H1 теги
SEO-фрагменты (SEO Snippets) Google: множественные H1 теги
H1 обычно используется для выделения заголовка страницы. Ест...
28.12.2017 648
Роль социальных сетей в seo-продвижении сайта
Роль социальных сетей в seo-продвижении сайта
Как социальная активность пользователей помогает в поисковом...
24.09.2018 831
Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Разбираемся какую систему контекстной рекламы выбрать, запус...
31.05.2018 2122
Оптимизация PDF-файлов для SEO
Оптимизация PDF-файлов для SEO
Грамотное использование PDF-файлов в SEO продвижении сайта. ...
21.05.2018 1672
Показать еще материалы