Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Яндекс теперь игнорирует директиву Crawl-delay
В тренде

Яндекс теперь игнорирует директиву Crawl-delay

16.02.2018 Время прочтения: 2 минуты

Директива Crawl-delay задает ограничение на скорость обхода страниц сайта и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер и снимало риски сбоев в работе сайта при его обходе поисковыми ботами.

Но большинство серверов теперь динамичные и в разные периоды времени могут отдавать разную скорость ответа, что делает директиву Craw-delay бесполезной.

Google уже давно перестал учитывать директиву Crawl-delay, и обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера.

Теперь и Яндекс перестал учитывать Crawl-delay:

Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt […] Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.

А чтобы сохранить возможность задавать ограничение скорости обхода страниц, разработчики добавили в Яндекс.Вебмастер новый инструмент «Скорость обхода» в раздел «Индексирование».
По умолчанию в инструменте «Скорость обхода» установлено значение «Доверять Яндексу», при котором скорость рассчитывается автоматически, исходя из опыта обхода сайта: поисковый бот учитывает при обходе допустимые нагрузки для вашего сервера.

Яндекс теперь игнорирует директиву Crawl-delay

Если же вы заметите, что запросы робота замедляют ваш сервер, вы можете задать максимальную скорость обхода с точностью до десятых долей запросов в секунду.

Яндекс теперь игнорирует директиву Crawl-delay

Комментарий SEO-эксперта:

«Раньше директива Crawl-delay играла роль для SEO, но уже сейчас ее можно смело удалять из robots.txt у своих сайтов. По словам Яндекса, эта строчка уже не учитывается роботом, что делает ее присутствие в файле бесполезной. Сам инструмент можно проверить в вебмастере, однако внесенные изменения в сканировании будут применены только после 22 февраля, поэтому до этого времени, скорее всего, все сайты будут сканироваться по настройке «Доверять Яндексу». К слову, Google уже давно не учитывает эту директиву при обходе сайта и автоматически настраивает скорость сканирования в зависимости от скорости ответа сервера, на котором размещён сайт».

Технолог SEO-эксперт компании SEO.RU
Константин 
Абдуллин 

Пусть другие тоже знают!

Еще на эту тему

Яндекс тестирует новые рекламные форматы в выдаче
Яндекс тестирует новые рекламные форматы в выдаче
Яндекс планирует запустить рекламный формат, напоминающий ко...
26.07.2019 120
Интернет-магазины обяжут принимать оплату банковскими картами
Интернет-магазины обяжут принимать оплату банковскими картами
Интернет-магазины могут обязать принимать оплату банковскими...
22.11.2017 638
Защита контента от Яндекса для всех
Защита контента от Яндекса для всех
Одной из головных болей для оптимизаторов и владельцев сайто...
08.11.2013 1241
Показать еще материалы

Другие интересные статьи

SEO-фрагменты (SEO Snippets) Google: почему Google показывает разное число проиндексированных страниц?
SEO-фрагменты (SEO Snippets) Google: почему Google показывает разное число ...
Вопрос для этого видео к нам пришёл из Бразилии. Макао спраш...
07.05.2018 1456
Новый офис SEO.RU в Сан-Диего
Новый офис SEO.RU в Сан-Диего
Первые шаги компании на рынке западного SEO. Открытие нового...
21.06.2018 1571
Итоги 2018 года для SEO.RU
Итоги 2018 года для SEO.RU
Подводим итоги 2018 года для компании SEO.RU. Каких достигал...
28.12.2018 516
Эффективность и анализ контекстной рекламы
Эффективность и анализ контекстной рекламы
Учимся правильно определять эффективность контекстной реклам...
26.04.2018 4445
Продвижение ресторана в интернете: как привлекать клиентов с помощью геосервисов и отзовиков
Продвижение ресторана в интернете: как привлекать клиентов с помощью геосер ...
Разрабатываем стратегию продвижения кафе и ресторана без исп...
22.10.2018 1481
Адрес, телефон и цена в сниппете: секреты настройки для e-commerce проектов
Адрес, телефон и цена в сниппете: секреты настройки для e-commerce проектов
Для e-commerce  e-commerce и сайтов услуг есть мно...
29.01.2018 3002
Показать еще материалы