Наверх
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Яндекс.Вебмастер обновил функции мониторинга важных страниц
Яндекс.Вебмастер обновил функции мониторинга важных страниц
Разработчики Яндекс.Вебмастера рассказали о новых опциях в м...
06.07.2018 1930
Как владельцу сайта защитить себя от штрафов за нарушение закона о персональных данных
Как владельцу сайта защитить себя от штрафов за нарушение закона о персонал ...
С 1 июля 2017 вступают в силу поправки в Кодекс об администр...
19.05.2017 3726
Защита контента от Яндекса для всех
Защита контента от Яндекса для всех
Одной из головных болей для оптимизаторов и владельцев сайто...
08.11.2013 1912
Показать еще материалы

Другие интересные статьи

Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фильтры, ссылки и хостинг
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фил ...
Как вернуть утраченные позиции сайта в поисковых системах? Р...
25.07.2018 9336
Что такое контекстная реклама? Основы и примеры
Что такое контекстная реклама? Основы и примеры
Быстро и просто раскрываем понятие контекстной рекламы в инт...
15.03.2018 60254
Как создать и установить счетчик Яндекс.Метрики на сайт? Пошаговая инструкция и базовые настройки
Как создать и установить счетчик Яндекс.Метрики на сайт? Пошаговая инструкц ...
Пошаговая инструкция по созданию и установке Яндекс.Метрики ...
04.12.2018 3316
Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региональная привязка сайта и аффилиаты
Проседание сайта в поисковой выдаче, часть вторая. Контекст, кражи, региона ...
Сайт был несправедливо понижен в результатах поисковой выдач...
25.07.2018 4281
Почему SEO-продвижением нужно заниматься постоянно?
Почему SEO-продвижением нужно заниматься постоянно?
Сам смысл целей SEO – это высокое ранжирование в ТОПах поиск...
28.02.2018 4526
Показать еще материалы
Оставить заявку Оставить заявку