Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Google утверждает финальные обновления Penguin 4.0
Google утверждает финальные обновления Penguin 4.0
Компания Google в лице Гэри Илша подтвердила завершение рабо...
18.10.2016 1056
В Директе запускаются новые возможности таргетинга медийных кампаний
В Директе запускаются новые возможности таргетинга медийных кампаний
Издание ppc.world сообщает, что с 20 июля рекламодателям ста...
25.07.2018 465
«Право быть забытым» есть у каждого
«Право быть забытым» есть у каждого
Поисковая система Google приступила к реализации проекта Евр...
21.07.2014 985
Показать еще материалы

Другие интересные статьи

Стоимость контекстной рекламы в Яндекс и Google: цена за клик, прогноз бюджета
Стоимость контекстной рекламы в Яндекс и Google: цена за клик, прогноз бюдж ...
Узнайте, из чего складывается стоимость контекстной рекламы....
23.05.2018 3029
Как настроить конверсию в Яндекс.Метрике и Google Analytics
Как настроить конверсию в Яндекс.Метрике и Google Analytics
Что такое конверсия сайта, как ее настроить, какие бывают ти...
16.02.2018 818
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl- ...
Директива crawl-delay для файла robots.txt для всех поисковы...
28.12.2017 1408
Роль социальных сетей в seo-продвижении сайта
Роль социальных сетей в seo-продвижении сайта
Как социальная активность пользователей помогает в поисковом...
24.09.2018 1162
Полное руководство по seo-оптимизации для сайта в разработке
Полное руководство по seo-оптимизации для сайта в разработке
Подробное руководство по seo-оптимизации разрабатываемого са...
10.08.2018 804
Что такое сниппет и как настроить сниппет в Яндекс и Google
Что такое сниппет и как настроить сниппет в Яндекс и Google
Сниппет — это краткое описание сайта или страницы, которое о...
22.01.2018 11891
Показать еще материалы