Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Яндекс теперь игнорирует директиву Crawl-delay
В тренде

Яндекс теперь игнорирует директиву Crawl-delay

16.02.2018 Время прочтения: 1 минута

Директива Crawl-delay задает ограничение на скорость обхода страниц сайта, и используется, когда нужно задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Такое ограничение скорости обхода снижало нагрузку на сервер, и снимало риски сбоев в работе сайта при его обходе поисковыми ботами.

Но большинство серверов теперь динамичные, и в разные периоды времени могут отдавать разную скорость ответа, что делает директиву Craw-delay бесполезной.

Google уже давно перестал учитывать директиву Crawl-delay, и обход роботы заканчивают автоматически, если фиксируют ошибку или замедление реакции сервера.

Теперь и Яндекс перестал учитывать Crawl-delay:

Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt […] Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.

А чтобы сохранить возможность задавать ограничение скорости обхода страниц, разработчики добавили в Яндекс.Вебмастер новый инструмент «Скорость обхода» в раздел «Индексирование».
По умолчанию в инструменте «Скорость обхода» установлено значение «Доверять Яндексу», при котором скорость рассчитывается автоматически, исходя из опыта обхода сайта: поисковый бот учитывает при обходе допустимые нагрузки для вашего сервера.

Яндекс теперь игнорирует директиву Crawl-delay

Если же вы заметите, что запросы робота замедляют ваш сервер, вы можете задать максимальную скорость обхода с точностью до десятых долей запросов в секунду.

Яндекс теперь игнорирует директиву Crawl-delay

Комментарий seo-эксперта:

Директиву Crawl-delay уже сейчас можно смело удалять из robots.txt у своих сайтов, по словам Яндекса эта строчка уже не учитывается роботом, что делает её присутствие в файле бесполезной. Сам инструмент можно проверить в вебмастере, однако внесенные изменения в сканировании будут применены только после 22 февраля, поэтому до этого времени, скорее всего, все сайты будут сканироваться по настройке «Доверять Яндексу». К слову, Google уже давно не учитывает эту директиву при обходе сайта и автоматически настраивает скорость сканирования в зависимости от скорости ответа сервера, на котором размещён сайт.

Технолог SEO-эксперт компании SEO.RU
Абдуллин Константин

Пусть другие тоже знают!

Еще на эту тему

Баден-Баден против переоптимизированных текстов
Баден-Баден против переоптимизированных текстов
Специалисты Яндекс.Поиска основательно переработали и улучши...
27.03.2017 855
Нейронные сети помогают Яндексу
Нейронные сети помогают Яндексу
Запущен новый поисковый алгоритм «Палех». Теперь Яндекс смож...
17.11.2016 861
Последние новости в мире SEO
Последние новости в мире SEO
Рынок рекламы за этот год сократился на 16% в сравнении ...
21.08.2015 1012
Показать еще материалы

Другие интересные статьи

Полное руководство по работе со структурированными данными
Полное руководство по работе со структурированными данными
Одно из самых сокровенных желаний владельцев сайтов и SEO-сп...
26.05.2017 4525
Как работает контекстная реклама в интернете?
Как работает контекстная реклама в интернете?
Подробнее о том, как работает контекстная реклама в целом. Ч...
04.04.2018 2382
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 2018
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 20 ...
6 и 7 апреля IT-сообщество Ульяновска (и еще 89 городов ...
18.04.2018 294
SEO-фрагменты (SEO Snippets) Google: как создать файл sitemap для сайта, у которого больше 50 000 URL-адресов?
SEO-фрагменты (SEO Snippets) Google: как создать файл sitemap для сайта, у ...
Добавление файла sitemap – это отличный способ сделать конте...
07.05.2018 215
Что такое сниппет и как настроить сниппет в Яндекс и Google
Что такое сниппет и как настроить сниппет в Яндекс и Google
Сниппет — это краткое описание сайта или страницы, которое о...
22.01.2018 7922
Алгоритм Яндекса «Минусинск». Причины, признаки и как не попасть под фильтр
Алгоритм Яндекса «Минусинск». Причины, признаки и как не попасть под фильтр
Разбираемся в том, что такое алгоритм Яндекса «Минусинск», к...
25.06.2018 1117
Показать еще материалы