Наверх
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Как будут работать Острова Яндекса
Как будут работать Острова Яндекса
На пятой конференции Яндекса YaC 2013 представители компании...
16.10.2013 1699
Яндекс: в турбо-страницах теперь можно настроить автоматическую ленту рекомендаций на основе нейронных сетей
Яндекс: в турбо-страницах теперь можно настроить автоматическую ленту реком ...
В блоге Яндекса для вебмастеров сообщается о нововведении в ...
15.08.2018 1414
Google обновил PageSpeed Insights
Google обновил PageSpeed Insights
Теперь инструмент PageSpeed Insight не только анализирует со...
12.01.2018 6236
Показать еще материалы

Другие интересные статьи

Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региональная привязка сайта и аффилиаты
Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региона ...
Сайт был несправедливо понижен в результатах поисковой выдач...
25.07.2018 3937
Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Разбираемся какую систему контекстной рекламы выбрать, запус...
31.05.2018 23797
Показать еще материалы
Оставить заявку Оставить заявку