Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?
В тренде

SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?

28.12.2017 Время прочтения: 1 минута

С 21 декабря 2017 г. Google публикует SEO-фрагменты (SEO Snippets) – короткие обучающие видео, полезные в первую очередь для тех, кто работает в SEO. Ниже перевод очередного SEO-фрагмента.

Сегодняшний вопрос поступил от Амида из Индии. Он спрашивает: «Игнорирует ли Googlebot правило crawl-delay?».

Директива crawl-delay для файла robots.txt для всех поисковых систем была введена очень давно. Идея была в том, чтобы вебмастер мог указать, сколько секунд будет ждать робот-обходчик между запросами, чтобы ограничить нагрузку на веб-сервер.

Это была неплохая идея, однако оказалось, что серверы действительно достаточно динамичны, и придерживаться одинакового периода между запросами просто не имеет смысла.

Возможность задавать количество секунд между запросами сегодня, когда подавляющее большинство серверов способны пропускать так много трафика в секунду, бесполезна. Вместо использования crawl-delay директивы мы решили автоматически регулировать обход страниц, основываясь на реакции вашего сервера. Итак, если мы заметим ошибку сервера, или что реакция сервера замедлилась – мы приостановим обход.

Учитывая все вышесказанное, если мы заметим директиву crawl-delay в вашем файле robots.txt, мы постараемся сообщить вам, что в этом файле есть что-то, что мы уже не поддерживаем.

И конечно же, если есть разделы вашего сайта, которые вообще не нужно обходить, вы всегда можете дать нам знать об этом в вашем robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Главные плюсы и минусы контекстной рекламы
Главные плюсы и минусы контекстной рекламы
Какие преимущества может дать использование контекстной рекл...
11.05.2018 4451
SEO-фрагменты (SEO Snippets) Google: полезно ли для SEO удаление .html из URL сайта?
SEO-фрагменты (SEO Snippets) Google: полезно ли для SEO удаление .html из U ...
Сегодня отвечаем на вопрос Джеймса из Объединённого Королевс...
07.05.2018 771
Показать еще материалы

Другие интересные статьи

Черное SEO
Черное SEO
Черные методы оптимизации – это нелегальные методы продвижен...
14.09.2017 3969
Как SEO.RU поддерживает здоровый образ жизни сотрудников
Как SEO.RU поддерживает здоровый образ жизни сотрудников
Мы поощряем спортивные начинания каждого сотрудника для новы...
30.07.2018 767
Полное руководство по работе со структурированными данными
Полное руководство по работе со структурированными данными
Одно из самых сокровенных желаний владельцев сайтов и SEO-сп...
26.05.2017 14578
Показать еще материалы