Наверх
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

В Директе запускаются новые возможности таргетинга медийных кампаний
В Директе запускаются новые возможности таргетинга медийных кампаний
Издание ppc.world сообщает, что с 20 июля рекламодателям ста...
25.07.2018 1108
Яндекс.Директ запустил стратегию «Ручное управление с оптимизацией в сетях» для кампаний в РСЯ
Яндекс.Директ запустил стратегию «Ручное управление с оптимизацией в сетях» ...
Ранее в блоге Яндекса сообщалось о скором запуске нововведен...
20.09.2018 1058
Один день из поиска Яндекса
Один день из поиска Яндекса
Интернет подарил нам доступ ко всей мировой культуре, информ...
08.09.2017 1339
Показать еще материалы

Другие интересные статьи

Что такое сниппет и как настроить сниппет в Яндекс и Google
Что такое сниппет и как настроить сниппет в Яндекс и Google
Сниппет — это краткое описание сайта или страницы, которое о...
22.01.2018 33575
Внешняя оптимизация сайта
Внешняя оптимизация сайта
Продвижение интернет-сайта делится на два направления: внут...
06.09.2017 11524
Показать еще материалы
Оставить заявку