Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Google анонсировал новые возможности Поиска
Google анонсировал новые возможности Поиска
24 сентября 2018 года состоялось мероприятие, посвященное 20...
28.09.2018 426
В адресную строку Chrome возвращаются «www» и «m»
В адресную строку Chrome возвращаются «www» и «m»
Сообщение об этом появилось на портале The Chromium Projects...
20.09.2018 345
Как владельцу сайта защитить себя от штрафов за нарушение закона о персональных данных
Как владельцу сайта защитить себя от штрафов за нарушение закона о персонал ...
С 1 июля 2017 вступают в силу поправки в Кодекс об администр...
19.05.2017 2345
Показать еще материалы

Другие интересные статьи

Как правильно настроить Яндекс.Директ самому. Основные понятия и особенности
Как правильно настроить Яндекс.Директ самому. Основные понятия и особенност ...
Статья о том, как грамотно настроить контекстную рекламу в Я...
29.05.2018 2470
Черное SEO
Черное SEO
Черные методы оптимизации – это нелегальные методы продвижен...
14.09.2017 3392
Адаптивный дизайн или мобильная версия – делаем осознанный выбор
Адаптивный дизайн или мобильная версия – делаем осознанный выбор
В этой статье мы рассмотрим все аспекты адаптивности сайта п...
30.10.2018 874
Как SEO.RU поддерживает здоровый образ жизни сотрудников
Как SEO.RU поддерживает здоровый образ жизни сотрудников
Мы поощряем спортивные начинания каждого сотрудника для новы...
30.07.2018 600
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фильтры, ссылки и хостинг
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фил ...
Как вернуть утраченные позиции сайта в поисковых системах? Р...
25.07.2018 1874
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?
SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl- ...
Директива crawl-delay для файла robots.txt для всех поисковы...
28.12.2017 1756
Показать еще материалы