Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?
В тренде

SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?

28.12.2017 Время прочтения: 1 минута

С 21 декабря 2017 г. Google публикует SEO-фрагменты (SEO Snippets) – короткие обучающие видео, полезные в первую очередь для тех, кто работает в SEO. Ниже перевод очередного SEO-фрагмента.

Сегодняшний вопрос поступил от Амида из Индии. Он спрашивает: «Игнорирует ли Googlebot правило crawl-delay?».

Директива crawl-delay для файла robots.txt для всех поисковых систем была введена очень давно. Идея была в том, чтобы вебмастер мог указать, сколько секунд будет ждать робот-обходчик между запросами, чтобы ограничить нагрузку на веб-сервер.

Это была неплохая идея, однако оказалось, что серверы действительно достаточно динамичны, и придерживаться одинакового периода между запросами просто не имеет смысла.

Возможность задавать количество секунд между запросами сегодня, когда подавляющее большинство серверов способны пропускать так много трафика в секунду, бесполезна. Вместо использования crawl-delay директивы мы решили автоматически регулировать обход страниц, основываясь на реакции вашего сервера. Итак, если мы заметим ошибку сервера, или что реакция сервера замедлилась – мы приостановим обход.

Учитывая все вышесказанное, если мы заметим директиву crawl-delay в вашем файле robots.txt, мы постараемся сообщить вам, что в этом файле есть что-то, что мы уже не поддерживаем.

И конечно же, если есть разделы вашего сайта, которые вообще не нужно обходить, вы всегда можете дать нам знать об этом в вашем robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Сколько стоит seo-продвижение сайта
Сколько стоит seo-продвижение сайта
Из чего складывается цена SEO продвижения сайта в Яндекс и G...
31.01.2019 483
Как правильно зарегистрировать свой сайт в поисковых системах?
Как правильно зарегистрировать свой сайт в поисковых системах?
Разбираемся, как правильно зарегистрировать сайт в поисковых...
11.09.2018 4249
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кириллицу и неанглийские слова?
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кир ...
Можно использовать кириллицу и другие неаглийские символы в ...
28.03.2018 1074
Показать еще материалы

Другие интересные статьи

SMM-продвижение: определяем цели и план публикаций
SMM-продвижение: определяем цели и план публикаций
Как самостоятельно вести SMM-продвижение в социальных сетях?...
08.02.2019 352
Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региональная привязка сайта и аффилиаты
Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региона ...
Сайт был несправедливо понижен в результатах поисковой выдач...
25.07.2018 1108
Адрес, телефон и цена в сниппете: секреты настройки для e-commerce проектов
Адрес, телефон и цена в сниппете: секреты настройки для e-commerce проектов
Для e-commerce  e-commerce и сайтов услуг есть мно...
29.01.2018 2174
Показать еще материалы