Наверх
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Яндекс.Вебмастер обновил функции мониторинга важных страниц
Яндекс.Вебмастер обновил функции мониторинга важных страниц
Разработчики Яндекс.Вебмастера рассказали о новых опциях в м...
06.07.2018 1384
Яндекс: в турбо-страницах теперь можно настроить автоматическую ленту рекомендаций на основе нейронных сетей
Яндекс: в турбо-страницах теперь можно настроить автоматическую ленту реком ...
В блоге Яндекса для вебмастеров сообщается о нововведении в ...
15.08.2018 1083
Google предлагает автоматические стратегии назначения ставок для отдельных кампаний
Google предлагает автоматические стратегии назначения ставок для отдельных ...
На прошлой неделе агентство CLIX сообщило в своем блоге о по...
29.08.2018 1017
Показать еще материалы

Другие интересные статьи

Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Разбираемся какую систему контекстной рекламы выбрать, запус...
31.05.2018 17317
Seo-программы, которые помогут в продвижении сайта
Seo-программы, которые помогут в продвижении сайта
Набор необходимого seo-софта для детального анализа сайтов и...
27.06.2018 16395
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 2018
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 20 ...
6 и 7 апреля IT-сообщество Ульяновска (и еще 89 городов ...
18.04.2018 1177
SEO-фрагменты Google (SEO Snippets): поддомен или подкаталог: что лучше для SEO?
SEO-фрагменты Google (SEO Snippets): поддомен или подкаталог: что лучше для ...
На некоторых серверах легче перенести часть веб-сайта в подк...
28.12.2017 3003
Показать еще материалы
Оставить заявку Оставить заявку