Краулинговый бюджет – это число страниц, которое сканируется поисковым роботом за определенный промежуток времени. Термин введен корпорацией Google, которая оценивает релевантность исходя из популярности запроса, актуальности контента и скорости обхода сайта.
Краулинговый бюджет формируется пользовательским спросом и доступностью сервера. При наличии большого количества URL на одном IP индексация может замедлиться, поэтому крупным веб-проектам необходима оптимизация контента с учетом этого показателя.
Экономии краулингового бюджета способствует удаление дублей и устранение из индекса лишнего с помощью robots.txt, грамотная перелинковка с составлением карт на XML и HTML, ответ сервера 304 при обращении к просканированным страницам с неизменным содержимым.
