Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Яндекс теперь игнорирует директиву Crawl-delay
В тренде

Яндекс теперь игнорирует директиву Crawl-delay

16.02.2018 Время прочтения: 2 минуты

Директива Crawl-delay задает ограничение на скорость обхода страниц сайта и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер и снимало риски сбоев в работе сайта при его обходе поисковыми ботами.

Но большинство серверов теперь динамичные и в разные периоды времени могут отдавать разную скорость ответа, что делает директиву Craw-delay бесполезной.

Google уже давно перестал учитывать директиву Crawl-delay, и обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера.

Теперь и Яндекс перестал учитывать Crawl-delay:

Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt […] Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.

А чтобы сохранить возможность задавать ограничение скорости обхода страниц, разработчики добавили в Яндекс.Вебмастер новый инструмент «Скорость обхода» в раздел «Индексирование».
По умолчанию в инструменте «Скорость обхода» установлено значение «Доверять Яндексу», при котором скорость рассчитывается автоматически, исходя из опыта обхода сайта: поисковый бот учитывает при обходе допустимые нагрузки для вашего сервера.

Яндекс теперь игнорирует директиву Crawl-delay

Если же вы заметите, что запросы робота замедляют ваш сервер, вы можете задать максимальную скорость обхода с точностью до десятых долей запросов в секунду.

Яндекс теперь игнорирует директиву Crawl-delay

Комментарий SEO-эксперта:

«Раньше директива Crawl-delay играла роль для SEO, но уже сейчас ее можно смело удалять из robots.txt у своих сайтов. По словам Яндекса, эта строчка уже не учитывается роботом, что делает ее присутствие в файле бесполезной. Сам инструмент можно проверить в вебмастере, однако внесенные изменения в сканировании будут применены только после 22 февраля, поэтому до этого времени, скорее всего, все сайты будут сканироваться по настройке «Доверять Яндексу». К слову, Google уже давно не учитывает эту директиву при обходе сайта и автоматически настраивает скорость сканирования в зависимости от скорости ответа сервера, на котором размещён сайт».

Технолог SEO-эксперт компании SEO.RU
Константин 
Абдуллин 

Пусть другие тоже знают!

Еще на эту тему

Яндекс обновил алгоритм подбора рекомендованных запросов
Яндекс обновил алгоритм подбора рекомендованных запросов
Яндекс рассказал о расширении рекомендованных запросов: тепе...
02.10.2018 436
Яндекс обновил Турбо-страницы для интернет-магазинов
Яндекс обновил Турбо-страницы для интернет-магазинов
Первый этап доработок Турбо-страниц завершился, и Яндекс рас...
23.10.2018 460
Яндекс будет продавать видеорекламу на ntv.ru
Яндекс будет продавать видеорекламу на ntv.ru
НТВ и Яндекс начали сотрудничество, благодаря которому с янв...
02.02.2018 618
Показать еще материалы

Другие интересные статьи

Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региональная привязка сайта и аффилиаты
Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региона ...
Сайт был несправедливо понижен в результатах поисковой выдач...
25.07.2018 1277
Как настроить конверсию в Яндекс.Метрике и Google Analytics
Как настроить конверсию в Яндекс.Метрике и Google Analytics
Что такое конверсия сайта, как ее настроить, какие бывают ти...
16.02.2018 1217
Адаптивный дизайн или мобильная версия – делаем осознанный выбор
Адаптивный дизайн или мобильная версия – делаем осознанный выбор
В этой статье мы рассмотрим все аспекты адаптивности сайта п...
30.10.2018 1060
Внешняя оптимизация сайта
Внешняя оптимизация сайта
Продвижение интернет-сайта делится на два направления: внут...
06.09.2017 5902
SEO-оптимизация под голосовой поиск: какие стратегии применимы для голосового поиска
SEO-оптимизация под голосовой поиск: какие стратегии применимы для голосово ...
Начните оптимизировать свой сайт для голосового поиска уже с...
25.05.2018 2734
Показать еще материалы