Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Google отказывается от пагинации в мобильном поиске
Google отказывается от пагинации в мобильном поиске
Google официально начал тестирование опции «Больше результат...
11.04.2018 797
Яндекс тестирует Турбо-страницы на десктопе
Яндекс тестирует Турбо-страницы на десктопе
Команда Яндекса рассказала о запуске открытого бета-теста Ту...
14.03.2019 637
«Колибри» от Google – новый поисковый алгоритм
«Колибри» от Google – новый поисковый алгоритм
Компания Google в последнее время занималась не только празд...
14.10.2013 1379
Показать еще материалы

Другие интересные статьи

Полное руководство по работе со структурированными данными
Полное руководство по работе со структурированными данными
Одно из самых сокровенных желаний владельцев сайтов и SEO-сп...
26.05.2017 19538
Алгоритм Яндекса «Минусинск». Причины, признаки и как не попасть под фильтр
Алгоритм Яндекса «Минусинск». Причины, признаки и как не попасть под фильтр
Разбираемся в том, что такое алгоритм Яндекса «Минусинск», к...
25.06.2018 2540
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кириллицу и неанглийские слова?
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кир ...
Можно использовать кириллицу и другие неаглийские символы в ...
28.03.2018 1683
Показать еще материалы