Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Google добавил в Search Console новые опции — поиск по разметке и копирование кода
Google добавил в Search Console новые опции — поиск по разметке и копирован ...
В официальном Твиттер-аккаунте Google Webmasters специалисты...
27.06.2019 404
Яндекс запустил тестирование по Директу с прокторингом
Яндекс запустил тестирование по Директу с прокторингом
Специалисты Яндекс.Директа в блоге сообщили о запуске в режи...
25.09.2018 815
Новые функции AdWords: Планировщик ключевых слов
Новые функции AdWords: Планировщик ключевых слов
Американский ресурс Search Engine Land рассказал о нововведе...
27.02.2018 1497
Показать еще материалы

Другие интересные статьи

Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Что лучше и выгоднее, Яндекс.Директ или Google AdWords?
Разбираемся какую систему контекстной рекламы выбрать, запус...
31.05.2018 10648
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl- ...
Директива crawl-delay для файла robots.txt для всех поисковы...
28.12.2017 3367
Показать еще материалы
; ;