- Что такое краулинговый бюджет?
- Кому и зачем нужно уметь им управлять?
- Где посмотреть краулинговый бюджет своего сайта?
- Как оптимизировать краулинговый бюджет?
Что такое краулинговый бюджет?
Краулинг (англ. crawling) в терминологии SEO — это сканирование поисковым роботом страниц сайтов, их индексация для формирования поисковой выдачи.
Краулинговый бюджет — это лимит, который выделяется каждому сайту на это сканирование. То есть это ограничение числа страниц, которые поисковой робот может проиндексировать в заданный временной промежуток.
Этот термин ввела компания Google, поэтому его соотносят в первую очередь с деятельностью Googlebot.
Краулинговый бюджет рассчитывается для каждого сайта отдельно, исходя из его пользовательского спроса и доступности сервера.
Кому и зачем нужно уметь им управлять?
Владимир Суматохин, технолог SEO-эксперт компании SEO.RU:
«Краулинговый бюджет часто остается без внимания. Если вы владеете небольшим сайтом или оптимизируете его, то причин для беспокойства нет. Но если у вас крупный проект, то оптимизация краулингового бюджета жизненно необходима, поскольку окажет влияние на ранжирование сайта в поисковых системах. В противном случае может оказаться, что часть вашего сайта не проиндексирована и не участвует в поиске».
Зачем оптимизировать бюджет на индексацию? Чтобы не растрачивать его впустую.
Смотрите: Google определяет бюджет на индексацию вашего сайта — допустим, это 200 страниц в сутки. Может показаться, что это много, но если ваш веб-ресурс — это огромный интернет-магазин с постоянно обновляемым ассортиментом, то 200 только новых страниц на вашем сайте может появиться за 1 день. А есть и другие страницы, которые тоже нужно выводить в поисковую выдачу. Робот может не обойти все за раз.
Другая частая проблема: в индекс попадают страницы по низкочастотным запросам, а по высокочастотным — пролетают. Например, страница с брелоком в виде розового игрушечного крокодила попадет в топ, а раздел со всем ассортиментом брелоков — нет.
Поэтому без оптимизации краулингового бюджета начнутся проблемы с индексацией всего сайта: если у поискового робота на определенной странице закончится бюджет, то остальные для него просто перестанут существовать.
Где посмотреть краулинговый бюджет своего сайта?
Вся история про лимит индексации завязана на Google, поэтому самый удобный способ — это посмотреть статистику обхода в Google Search Console.
Для этого нужно открыть меню «Прежние инструменты и отчеты», а затем кликнуть на «Статистику сканирования»:
Графики со статистикой откроются в новом окне. Среди них нам важен первый — «Количество сканированных страниц в день». То число страниц, которое Googlebot в среднем сканирует за день, и есть краулинговый бюджет сайта:
Это не абсолютная и постоянная величина — эта цифра может увеличиваться и уменьшаться, но как примерный показатель работает.
Как оптимизировать краулинговый бюджет?
Краулинг — это индексация, поэтому весь лимит быстро тратится именно из-за ошибок индексации. В рамках SEO-продвижения сайта их нужно исправлять.
- Настроить файлы sitemap.xml и robots.txt.
Эти файлы помогают поисковым роботам правильно индексировать ваш сайт, строить его иерархию и видеть, как организован контент.
Что конкретно сделать:
- удалить или заблокировать в sitemap.xml дубли и мусорные ссылки (те, что с редиректами и ошибками сканирования). Мусор влияет на бюджет индексации еще и потому, что робот оценивает качество URL-адресов. Поэтому в карте сайта должны быть только полезные страницы;
- указать в robots.txt last-modified для тех страниц, содержимое которых не менялось с последней индексации. Так роботы не будут сканировать их повторно.
- Улучшить скорость загрузки сайта.
Чем меньше загружается сайт, тем быстрее его просканирует бот: в рамках одинакового числа соединений он сможет проанализировать большее количество страниц.
- Оптимизировать редиректы.
Когда роботу нужно пройти 100500 переадресаций, чтобы добраться до страницы, он может остановиться на 100499 и просто не достичь этого URL. Каждый редирект — это траты вашего бюджета на индексацию. Убедитесь, что имеющиеся редиректы на вашем веб-ресурсе действительно необходимы.
- Грамотно настроить перелинковку.
А именно: используйте уникальные и разнообразные анкоры с ключевыми словами и добавляйте ссылки на тематически соответствующие страницы.
- Использовать динамический рендеринг.
Это относительно новая разработка все того же Google, которая для поискового робота создает HTML-версию сайта, а для пользователя — вариант на JavaScript. Это облегчает и ускоряет индексацию.
- Наращивать внешнюю ссылочную массу.
Экспериментальные данные говорят о весьма заметной связи между количеством посещений сайта поисковым роботом и числом внешних ссылок: чем больше ссылок, тем чаще Googlebot наведывается на площадку.
