Наверх
Open Nav
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Дата обновления: 15.02.2023

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Google изменил работу поискового оператора info
Google изменил работу поискового оператора info
Пользователи заметили изменения, которые Google внес в работ...
17.11.2017 1938
Google ищет замену URL
Google ищет замену URL
Издание Wired сообщает, что команда разработчиков Google Chr...
14.09.2018 1854
Новая функция в Яндекс.Метрике: отчёты по расписанию
Новая функция в Яндекс.Метрике: отчёты по расписанию
Специалисты Яндекс.Метрики сообщили в своём блоге о введении...
26.01.2018 2327

Другие интересные статьи

Оставить заявку Оставить заявку