Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?
В тренде

SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?

28.12.2017 Время прочтения: 1 минута

С 21 декабря 2017 г. Google публикует SEO-фрагменты (SEO Snippets) – короткие обучающие видео. Ниже перевод очередного SEO-фрагмента.

Сегодняшний вопрос поступил от Амида из Индии. Он спрашивает: «Игнорирует ли Googlebot правило crawl-delay?».

Директива crawl-delay для файла robots.txt для всех поисковых систем была введена очень давно. Идея была в том, чтобы вебмастер мог указать, сколько секунд будет ждать робот-обходчик между запросами, чтобы ограничить нагрузку на веб-сервер.

Это была неплохая идея, однако оказалось, что серверы действительно достаточно динамичны, и придерживаться одинакового периода между запросами просто не имеет смысла.

Возможность задавать количество секунд между запросами сегодня, когда подавляющее большинство серверов способны пропускать так много трафика в секунду, бесполезна. Вместо использования crawl-delay директивы мы решили автоматически регулировать обход страниц, основываясь на реакции вашего сервера. Итак, если мы заметим ошибку сервера, или что реакция сервера замедлилась – мы приостановим обход.

Учитывая все вышесказанное, если мы заметим директиву crawl-delay в вашем файле robots.txt, мы постараемся сообщить вам, что в этом файле есть что-то, что мы уже не поддерживаем.

И конечно же, если есть разделы вашего сайта, которые вообще не нужно обходить, вы всегда можете дать нам знать об этом в вашем robots.txt.

Пусть другие тоже знают!

Еще на эту тему

SEO-фрагменты (SEO Snippets) Google: как создать файл sitemap для сайта, у которого больше 50 000 URL-адресов?
SEO-фрагменты (SEO Snippets) Google: как создать файл sitemap для сайта, у ...
Добавление файла sitemap – это отличный способ сделать конте...
07.05.2018 220
Расширенные сниппеты, быстрые ответы Google, дата публикации: секреты настройки для СМИ и блогов
Расширенные сниппеты, быстрые ответы Google, дата публикации: секреты настр ...
Для новостей в сниппетах может выводиться дата публикации, ч...
13.02.2018 825
Полное руководство по работе со структурированными данными
Полное руководство по работе со структурированными данными
Одно из самых сокровенных желаний владельцев сайтов и SEO-сп...
26.05.2017 4548
Показать еще материалы

Другие интересные статьи

Почему SEO-продвижением нужно заниматься постоянно?
Почему SEO-продвижением нужно заниматься постоянно?
Сам смысл целей SEO – это высокое ранжирование в ТОПах поиск...
28.02.2018 523
Что такое GIT и как он работает?
Что такое GIT и как он работает?
Git (от англ. – Global Information Tracker) – это си...
10.07.2018 734
Что такое контекстная реклама? Основы и примеры
Что такое контекстная реклама? Основы и примеры
Быстро и просто раскрываем понятие контекстной рекламы в инт...
15.03.2018 2726
Эффективность и анализ контекстной рекламы
Эффективность и анализ контекстной рекламы
Учимся правильно определять эффективность контекстной реклам...
26.04.2018 1201
Что такое сниппет и как настроить сниппет в Яндекс и Google
Что такое сниппет и как настроить сниппет в Яндекс и Google
Сниппет — это краткое описание сайта или страницы, которое о...
22.01.2018 7961
Белое SEO
Белое SEO
Белое SEO (или так называемая естественная оптимизация&#...
14.09.2017 1650
Показать еще материалы