Google решил убрать из Search Console инструмент «Ограничение скорости сканирования». Он позволял владельцам сайтов контролировать, как часто поисковый робот Googlebot сканирует их страницы.
Зачем это было нужно? Чтобы робот случайно не перегрузил сервер сайта своими запросами на сканирование. Если сканировать слишком часто — серверу тяжело с этим справляться.
Но теперь в Google говорят, что этот инструмент больше не актуален. Потому что их робот Googlebot стал умнее — он сам теперь замечает, если серверу тяжело справляться с запросами. И автоматически сканирует реже, без команды владельца сайта.
Поэтому инструмент решили удалить из Поисковой консоли, чтобы там было меньше лишних кнопок. Его отключат 8 января 2024 года.
Так что теперь скорость сканирования сайтов будет полностью автоматической и зависеть только от того, насколько хорошо справляется сервер.
При этом сохранится возможность отправлять жалобы на необычное поведение Googlebot. Как и прежде, самый быстрый способ ограничить скорость — возвращать корректные HTTP-коды в ответ на запросы робота.
Подписывайтесь на наш канал в телеграме. Там мы публикуем свежие SEO-новости, экспертные статьи, кейсы и лайфхаки от профессионалов индустрии.
