Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Яндекс теперь игнорирует директиву Crawl-delay
В тренде

Яндекс теперь игнорирует директиву Crawl-delay

16.02.2018 Время прочтения: 2 минуты

Директива Crawl-delay задает ограничение на скорость обхода страниц сайта и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер и снимало риски сбоев в работе сайта при его обходе поисковыми ботами.

Но большинство серверов теперь динамичные и в разные периоды времени могут отдавать разную скорость ответа, что делает директиву Craw-delay бесполезной.

Google уже давно перестал учитывать директиву Crawl-delay, и обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера.

Теперь и Яндекс перестал учитывать Crawl-delay:

Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt […] Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.

А чтобы сохранить возможность задавать ограничение скорости обхода страниц, разработчики добавили в Яндекс.Вебмастер новый инструмент «Скорость обхода» в раздел «Индексирование».
По умолчанию в инструменте «Скорость обхода» установлено значение «Доверять Яндексу», при котором скорость рассчитывается автоматически, исходя из опыта обхода сайта: поисковый бот учитывает при обходе допустимые нагрузки для вашего сервера.

Яндекс теперь игнорирует директиву Crawl-delay

Если же вы заметите, что запросы робота замедляют ваш сервер, вы можете задать максимальную скорость обхода с точностью до десятых долей запросов в секунду.

Яндекс теперь игнорирует директиву Crawl-delay

Комментарий SEO-эксперта:

«Раньше директива Crawl-delay играла роль для SEO, но уже сейчас ее можно смело удалять из robots.txt у своих сайтов. По словам Яндекса, эта строчка уже не учитывается роботом, что делает ее присутствие в файле бесполезной. Сам инструмент можно проверить в вебмастере, однако внесенные изменения в сканировании будут применены только после 22 февраля, поэтому до этого времени, скорее всего, все сайты будут сканироваться по настройке «Доверять Яндексу». К слову, Google уже давно не учитывает эту директиву при обходе сайта и автоматически настраивает скорость сканирования в зависимости от скорости ответа сервера, на котором размещён сайт».

Технолог SEO-эксперт компании SEO.RU
Константин 
Абдуллин 

Пусть другие тоже знают!

Еще на эту тему

Яндекс: что сделать, чтобы организацию было легко найти на картах
Яндекс: что сделать, чтобы организацию было легко найти на картах
В своём Блоге для Вебмастеров Яндекс рассказал, как упростит...
31.05.2018 874
Яндекс: что изменится в турбо-страницах до конца лета
Яндекс: что изменится в турбо-страницах до конца лета
Разработчики турбо-страниц рассказывают в блоге Яндекса для ...
18.07.2018 683
Яндекс пересчитал тИЦ
Яндекс пересчитал тИЦ
Недавно Яндекс организовал глобальный пересчет тИЦ, особенно...
17.06.2016 1234
Показать еще материалы

Другие интересные статьи

Расширенные сниппеты, быстрые ответы Google, дата публикации: секреты настройки для СМИ и блогов
Расширенные сниппеты, быстрые ответы Google, дата публикации: секреты настр ...
Для новостей в сниппетах может выводиться дата публикации, ч...
13.02.2018 1383
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кириллицу и неанглийские слова?
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кир ...
Можно использовать кириллицу и другие неаглийские символы в ...
28.03.2018 850
Сколько стоит seo-продвижение сайта
Сколько стоит seo-продвижение сайта
Из чего складывается цена SEO продвижения сайта в Яндекс и G...
31.01.2019 134
SEO-фрагменты (SEO Snippets) Google: множественные H1 теги
SEO-фрагменты (SEO Snippets) Google: множественные H1 теги
H1 обычно используется для выделения заголовка страницы. Ест...
28.12.2017 826
Яндекс.Диалоги: как настроить и в чем польза для бизнеса?
Яндекс.Диалоги: как настроить и в чем польза для бизнеса?
Яндекс.Диалоги – это новая технология поисковика, благодаря ...
05.02.2019 76
Как установить счетчик Google Analitycs на сайт? Пошаговая инструкция и базовые настройки
Как установить счетчик Google Analitycs на сайт? Пошаговая инструкция и баз ...
Пошаговая инструкция по созданию и установке Google Analityc...
03.12.2018 228
Показать еще материалы