Самое важное о краулинговом бюджете

Google приходится выбирать, что именно поисковик будет сканировать, чтобы разумно использовать ресурсы.
Краулер сканирует новостные сайты чаще потому, что они обновляются чаще. Соответственно, сайты, обновляемые реже, бот сканирует реже.
Google сохраняет фингерпринт контента, чтобы отследить, когда он в последний раз обновлялся, и пытается определить, требуется ли для этого сайта более частое сканирование.
Чтобы отслеживать обновления на сайтах, Google анализирует структурированные данные и элементы даты.

Читайте по теме: Полное руководство по работе со структурированными данными

Etag и заголовки Last-Modified могут помогать краулеру отслеживать частоту обновлений сайта, но в целом для Google это больше подсказки, поэтому он может их игнорировать. Если поменять дату на странице и не поменять контент, сайт не будет сканироваться чаще.
Волноваться о краулинговом бюджете стоит только крупным онлайн-площадкам, у которых миллион URL-адресов: в первую очередь, это e-commerce и издатели.
Если сайт не индексируется, владельцы могут задумываться о превышении краулингового бюджета, но чаще всего проблема не в сканировании, а низком качестве контента.
Также важно следить, чтобы сервера работали бесперебойно и не выдавали коды ошибок.
Если на сайте есть страница, URL которой нет в sitemap, Google может не сразу найти ее. Сначала краулеру надо будет выйти на другую страницу, содержащую ссылку на новый URL.
Важные изменения нужно вносить постепенно. Не стоит одновременно менять сервер, контент, URL, домен.
Google не кеширует POST-запросы — это быстро растрачивает краулинговый бюджет. Стоит применять запросы GET.
Если на сайте есть страницы, которые не нужно сканировать, их нужно блокировать с помощью robots.txt.

Читайте по теме: Как правильно заполнить файл robots.txt: критически важные моменты

Ничего нельзя сделать, чтобы Google сканировал сайт чаще. Если краулер выяснит, что на странице много качественного контента, а в sitemap много URL, он будет сканировать столько, сколько сможет, и в дальнейшем будет делать так же. В итоге это может привести к тому, что краулинговый бюджет увеличится до значений, которые нужны владельцу или веб-мастеру сайта.

Ключевые пункты о скорости загрузки сайтов

Скорость загрузки — это не настолько важный фактор ранжирования, как думают многие SEO-оптимизаторы. Страницы с более релевантным контентом будут выше в выдаче, чем страницы с быстрой скоростью загрузки.
В мире много регионов с медленным интернетом. Об этом надо помнить при разработке сайтов.
В среднем веб-страница обычно весит несколько мегабайт. При этом рекомендуемый размер — около 500 килобайт.
В тактике SEO-специалистов есть несколько проблемных моментов: например, многие думают, что картинки минимального размера положительно влияют на скорость загрузки, при этом отметая «ленивую» загрузку.
Не нужно зацикливаться на отчетах и рекомендациях сервисов типа Lighthouse. Изменения, внедренные по рекомендациям такого инструмента, не всегда приводят к немедленному ускорению загрузки.

Читайте по теме: 8 лучших инструментов для проверки скорости загрузки сайта

Разные виды устройств загружают сайты с разной скоростью. Поэтому не стоит думать, что сайт работает быстро, если он быстро открывается на смартфоне последней модели. Нужно отслеживать, с каких устройств открывают сайт ваши пользователи, и улучшать скорость под них.
AMP — это не фактор ранжирования.
AMP важна в той мере, в какой важна скорость ранжирования.
Если есть две страницы с примерно одинаковым по качеству контентом, страница с более высокой скоростью загрузки окажется выше в поисковой выдаче.