Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Google: структурированные данные должны быть специфичными для конкретной страницы
Google: структурированные данные должны быть специфичными для конкретной ст ...
На последней встрече веб-мастеров специалисту Google Джону М...
27.02.2018 623
В Google Search Console появился инструмент проверки URL-адресов
В Google Search Console появился инструмент проверки URL-адресов
Информацию о проиндексированных страницах теперь можно получ...
28.06.2018 1079
Улучшения инструмента «Группы Объявлений» от Яндекса
Улучшения инструмента «Группы Объявлений» от Яндекса
В конце апреля Яндекс сообщил о том, что были произведены из...
07.05.2014 971
Показать еще материалы

Другие интересные статьи

Главные плюсы и минусы контекстной рекламы
Главные плюсы и минусы контекстной рекламы
Какие преимущества может дать использование контекстной рекл...
11.05.2018 3878
SMM-продвижение: определяем цели и план публикаций
SMM-продвижение: определяем цели и план публикаций
Как самостоятельно вести SMM-продвижение в социальных сетях?...
08.02.2019 415
Как работает контекстная реклама в интернете?
Как работает контекстная реклама в интернете?
Подробнее о том, как работает контекстная реклама в целом. Ч...
04.04.2018 5136
Продвижение ресторана в интернете: как привлекать клиентов с помощью геосервисов и отзовиков
Продвижение ресторана в интернете: как привлекать клиентов с помощью геосер ...
Разрабатываем стратегию продвижения кафе и ресторана без исп...
22.10.2018 900
Таргетинг в социальных сетях: что это и как работает
Таргетинг в социальных сетях: что это и как работает
Рассмотрим базовые понятия таргетированной рекламы в социаль...
01.11.2018 959
Показать еще материалы