Наверх
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Новая функция в Яндекс.Метрике: отчёты по расписанию
Новая функция в Яндекс.Метрике: отчёты по расписанию
Специалисты Яндекс.Метрики сообщили в своём блоге о введении...
26.01.2018 1332
Яндекс рассказал, как изменились поисковые запросы россиян в период карантина
Яндекс рассказал, как изменились поисковые запросы россиян в период каранти ...
Яндекс проанализировал, что ищут в интернете пользователи в ...
22.04.2020 314
Переезд на HTTPS – мода или необходимость?
Переезд на HTTPS – мода или необходимость?
С начала 2017 года браузер Google Chrome 56 версии станет от...
23.09.2016 3274
Показать еще материалы

Другие интересные статьи

Как правильно зарегистрировать свой сайт в поисковых системах?
Как правильно зарегистрировать свой сайт в поисковых системах?
Разбираемся, как правильно зарегистрировать сайт в поисковых...
11.09.2018 27609
Показать еще материалы
Оставить заявку Оставить заявку