Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Яндекс теперь игнорирует директиву Crawl-delay
В тренде

Яндекс теперь игнорирует директиву Crawl-delay

16.02.2018 Время прочтения: 2 минуты

Директива Crawl-delay задает ограничение на скорость обхода страниц сайта и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер и снимало риски сбоев в работе сайта при его обходе поисковыми ботами.

Но большинство серверов теперь динамичные и в разные периоды времени могут отдавать разную скорость ответа, что делает директиву Craw-delay бесполезной.

Google уже давно перестал учитывать директиву Crawl-delay, и обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера.

Теперь и Яндекс перестал учитывать Crawl-delay:

Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt […] Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.

А чтобы сохранить возможность задавать ограничение скорости обхода страниц, разработчики добавили в Яндекс.Вебмастер новый инструмент «Скорость обхода» в раздел «Индексирование».
По умолчанию в инструменте «Скорость обхода» установлено значение «Доверять Яндексу», при котором скорость рассчитывается автоматически, исходя из опыта обхода сайта: поисковый бот учитывает при обходе допустимые нагрузки для вашего сервера.

Яндекс теперь игнорирует директиву Crawl-delay

Если же вы заметите, что запросы робота замедляют ваш сервер, вы можете задать максимальную скорость обхода с точностью до десятых долей запросов в секунду.

Яндекс теперь игнорирует директиву Crawl-delay

Комментарий SEO-эксперта:

«Раньше директива Crawl-delay играла роль для SEO, но уже сейчас ее можно смело удалять из robots.txt у своих сайтов. По словам Яндекса, эта строчка уже не учитывается роботом, что делает ее присутствие в файле бесполезной. Сам инструмент можно проверить в вебмастере, однако внесенные изменения в сканировании будут применены только после 22 февраля, поэтому до этого времени, скорее всего, все сайты будут сканироваться по настройке «Доверять Яндексу». К слову, Google уже давно не учитывает эту директиву при обходе сайта и автоматически настраивает скорость сканирования в зависимости от скорости ответа сервера, на котором размещён сайт».

Технолог SEO-эксперт компании SEO.RU
Константин 
Абдуллин 

Пусть другие тоже знают!

Еще на эту тему

Яндекс прокомментировал ситуацию с накруткой ПФ
Яндекс прокомментировал ситуацию с накруткой ПФ
Сотрудники Яндекс.Поиска ответили на вопросы вебмастеров по ...
03.04.2015 1100
Яндекс.Каталог закрывается
Яндекс.Каталог закрывается
20 декабря Яндекс прекратил принимать заявки на добавление и...
28.12.2017 1378
Яндекс будет рекомендовать рекламодателям фрилансеров
Яндекс будет рекомендовать рекламодателям фрилансеров
Издание ppc.world сообщает о том, что Яндекс будет передават...
08.06.2018 802
Показать еще материалы

Другие интересные статьи

Правильный выбор хостинга для сайта как фундамент seo-продвижения
Правильный выбор хостинга для сайта как фундамент seo-продвижения
Как подобрать надежный хостинг для своего сайта с учетом его...
09.11.2018 632
Главные плюсы и минусы контекстной рекламы
Главные плюсы и минусы контекстной рекламы
Какие преимущества может дать использование контекстной рекл...
11.05.2018 3274
Поисковые запросы и их частотность. Высоко-, средне- и низкочастотные запросы
Поисковые запросы и их частотность. Высоко-, средне- и низкочастотные запро ...
Рассказываем о поисковых запросах и их частотности. Высокоча...
07.09.2018 3752
SEO-фрагменты (SEO Snippets) Google: Как часто проходит индексация сайтов в Google?
SEO-фрагменты (SEO Snippets) Google: Как часто проходит индексация сайтов в ...
Как часто сайт индексируется в Google? Сколько времени нужно...
07.03.2018 2454
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 2018
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 20 ...
6 и 7 апреля IT-сообщество Ульяновска (и еще 89 городов ...
18.04.2018 557
Сколько стоит seo-продвижение сайта
Сколько стоит seo-продвижение сайта
Из чего складывается цена SEO продвижения сайта в Яндекс и G...
31.01.2019 464
Показать еще материалы