Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Краткий ликбез: что такое краулинговый бюджет и как его оптимизировать
В тренде

Краткий ликбез: что такое краулинговый бюджет и как его оптимизировать

20.09.2019 Время прочтения: 4 минуты

Что такое краулинговый бюджет?

Краулинг (англ. crawling) в терминологии SEO — это сканирование поисковым роботом страниц сайтов, их индексация для формирования поисковой выдачи.

Краулинговый бюджет — это лимит, который выделяется каждому сайту на это сканирование. То есть это ограничение числа страниц, которые поисковой робот может проиндексировать в заданный временной промежуток.

Этот термин ввела компания Google, поэтому его соотносят в первую очередь с деятельностью Googlebot.

Краулинговый бюджет рассчитывается для каждого сайта отдельно, исходя из его пользовательского спроса и доступности сервера.

Кому и зачем нужно уметь им управлять?

Владимир Суматохин, технолог SEO-эксперт компании SEO.RU:

«Краулинговый бюджет часто остается без внимания. Если вы владеете небольшим сайтом или оптимизируете его, то причин для беспокойства нет. Но если у вас крупный проект, то оптимизация краулингового бюджета жизненно необходима, поскольку окажет влияние на ранжирование сайта в поисковых системах. В противном случае может оказаться, что часть вашего сайта не проиндексирована и не участвует в поиске».

Зачем оптимизировать бюджет на индексацию? Чтобы не растрачивать его впустую.

Смотрите: Google определяет бюджет на индексацию вашего сайта — допустим, это 200 страниц в сутки. Может показаться, что это много, но если ваш веб-ресурс — это огромный интернет-магазин с постоянно обновляемым ассортиментом, то 200 только новых страниц на вашем сайте может появиться за 1 день. А есть и другие страницы, которые тоже нужно выводить в поисковую выдачу. Робот может не обойти все за раз.

Другая частая проблема: в индекс попадают страницы по низкочастотным запросам, а по высокочастотным — пролетают. Например, страница с брелоком в виде розового игрушечного крокодила попадет в топ, а раздел со всем ассортиментом брелоков — нет.

Поэтому без оптимизации краулингового бюджета начнутся проблемы с индексацией всего сайта: если у поискового робота на определенной странице закончится бюджет, то остальные для него просто перестанут существовать.

Где посмотреть краулинговый бюджет своего сайта?

Вся история про лимит индексации завязана на Google, поэтому самый удобный способ — это посмотреть статистику обхода в Google Search Console.

Для этого нужно открыть меню «Прежние инструменты и отчеты», а затем кликнуть на «Статистику сканирования»:

Прежние инструменты и отчеты

Графики со статистикой откроются в новом окне. Среди них нам важен первый — «Количество сканированных страниц в день». То число страниц, которое Googlebot в среднем сканирует за день, и есть краулинговый бюджет сайта:

Статистика сканирования

Это не абсолютная и постоянная величина — эта цифра может увеличиваться и уменьшаться, но как примерный показатель работает.

Как оптимизировать краулинговый бюджет?

Краулинг — это индексация, поэтому весь лимит быстро тратится именно из-за ошибок индексации. В рамках внутренней оптимизации их нужно исправлять.

  1. Настроить файлы sitemap.xml и robots.txt.

    Эти файлы помогают поисковым роботам правильно индексировать ваш сайт, строить его иерархию и видеть, как организован контент.

    Что конкретно сделать:

    • удалить или заблокировать в sitemap.xml дубли и мусорные ссылки (те, что с редиректами и ошибками сканирования). Мусор влияет на бюджет индексации еще и потому, что робот оценивает качество URL-адресов. Поэтому в карте сайта должны быть только полезные страницы;
    • указать в robots.txt last-modified для тех страниц, содержимое которых не менялось с последней индексации. Так роботы не будут сканировать их повторно.
  1. Улучшить скорость загрузки сайта.

    Чем меньше загружается сайт, тем быстрее его просканирует бот: в рамках одинакового числа соединений он сможет проанализировать большее количество страниц.

  1. Оптимизировать редиректы.

    Когда роботу нужно пройти 100500 переадресаций, чтобы добраться до страницы, он может остановиться на 100499 и просто не достичь этого URL. Каждый редирект — это траты вашего бюджета на индексацию. Убедитесь, что имеющиеся редиректы на вашем веб-ресурсе действительно необходимы.

  1. Грамотно настроить перелинковку.

    А именно: используйте уникальные и разнообразные анкоры с ключевыми словами и добавляйте ссылки на тематически соответствующие страницы.

  1. Использовать динамический рендеринг.

    Это относительно новая разработка все того же Google, которая для поискового робота создает HTML-версию сайта, а для пользователя — вариант на JavaScript. Это облегчает и ускоряет индексацию.

  1. Наращивать внешнюю ссылочную массу.

    Экспериментальные данные говорят о весьма заметной связи между количеством посещений сайта поисковым роботом и числом внешних ссылок: чем больше ссылок, тем чаще Googlebot наведывается на площадку.

Пусть другие тоже знают!

Еще на эту тему

SEO-фрагменты Google (SEO Snippets): поддомен или подкаталог: что лучше для SEO?
SEO-фрагменты Google (SEO Snippets): поддомен или подкаталог: что лучше для ...
На некоторых серверах легче перенести часть веб-сайта в подк...
28.12.2017 1757
Полное руководство по работе со структурированными данными
Полное руководство по работе со структурированными данными
Одно из самых сокровенных желаний владельцев сайтов и SEO-сп...
26.05.2017 20522
Показать еще материалы

Другие интересные статьи

Черное SEO
Черное SEO
Черные методы оптимизации – это нелегальные методы продвижен...
14.09.2017 5295
Что такое GIT и как он работает?
Что такое GIT и как он работает?
Git (от англ. – Global Information Tracker) – это си...
10.07.2018 6323
Как правильно настроить Яндекс.Директ самому. Основные понятия и особенности
Как правильно настроить Яндекс.Директ самому. Основные понятия и особенност ...
Статья о том, как грамотно настроить контекстную рекламу в Я...
29.05.2018 5527
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фильтры, ссылки и хостинг
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фил ...
Как вернуть утраченные позиции сайта в поисковых системах? Р...
25.07.2018 4617
Показать еще материалы