Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Краулинговый бюджет

Краулинговый бюджет

Краулинговый бюджет – это число страниц, которое сканируется поисковым роботом за определенный промежуток времени. Термин введен корпорацией Google, которая оценивает релевантность исходя из популярности запроса, актуальности контента и скорости обхода сайта.

Краулинговый бюджет формируется пользовательским спросом и доступностью сервера. При наличии большого количества URL на одном IP индексация может замедлиться, поэтому крупным веб-проектам необходима оптимизация контента с учетом этого показателя.

Экономии краулингового бюджета способствует удаление дублей и устранение из индекса лишнего с помощью robots.txt, грамотная перелинковка с составлением карт на XML и HTML, ответ сервера 304 при обращении к просканированным страницам с неизменным содержимым.


Пусть другие тоже знают!

К списку терминов