Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Как продвигать сайты в 2016 году
Как продвигать сайты в 2016 году
Несколько пунктов, приступить к которым следует уже сейчас, ...
18.01.2016 2054
Один день из поиска Яндекса
Один день из поиска Яндекса
Интернет подарил нам доступ ко всей мировой культуре, информ...
08.09.2017 1043
Яндекс запускает «колдунщика» для коммерческих запросов
Яндекс запускает «колдунщика» для коммерческих запросов
Яндекс в своём блоге сообщает об изменениях в оформлении Дир...
16.04.2018 1026
Показать еще материалы

Другие интересные статьи

SEO-фрагменты (SEO Snippets) Google: полезно ли для SEO удаление .html из URL сайта?
SEO-фрагменты (SEO Snippets) Google: полезно ли для SEO удаление .html из U ...
Сегодня отвечаем на вопрос Джеймса из Объединённого Королевс...
07.05.2018 1183
Почему SEO-продвижением нужно заниматься постоянно?
Почему SEO-продвижением нужно заниматься постоянно?
Сам смысл целей SEO – это высокое ранжирование в ТОПах поиск...
28.02.2018 1885
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 2018
7 советов по работе со спикерами на отраслевых конференциях: опыт Стачки 20 ...
6 и 7 апреля IT-сообщество Ульяновска (и еще 89 городов ...
18.04.2018 819
Сколько стоит seo-продвижение сайта
Сколько стоит seo-продвижение сайта
Из чего складывается цена SEO продвижения сайта в Яндекс и G...
31.01.2019 5010
SEO-оптимизация под голосовой поиск: какие стратегии применимы для голосового поиска
SEO-оптимизация под голосовой поиск: какие стратегии применимы для голосово ...
Начните оптимизировать свой сайт для голосового поиска уже с...
25.05.2018 3862
Показать еще материалы