Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

Google обновил справку по hreflang
Google обновил справку по hreflang
Для атрибута hreflang появилась обновленная информация по ег...
10.07.2018 530
Вечные ссылки в Wizard.Sape
Вечные ссылки в Wizard.Sape
Популярная ссылочная биржа Sape сообщила о том, что в их авт...
11.09.2013 930
Число валидных SSL-сертификатов в зоне .RU выросло в 1,6 раза за год
Число валидных SSL-сертификатов в зоне .RU выросло в 1,6 раза за год
REG.RU со ссылкой на StatOnline сообщает, что с апреля 2017 ...
08.05.2018 417
Показать еще материалы

Другие интересные статьи

Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фильтры, ссылки и хостинг
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фил ...
Как вернуть утраченные позиции сайта в поисковых системах? Р...
25.07.2018 915
Полное руководство по работе со структурированными данными
Полное руководство по работе со структурированными данными
Одно из самых сокровенных желаний владельцев сайтов и SEO-сп...
26.05.2017 5983
Расширенные сниппеты, быстрые ответы Google, дата публикации: секреты настройки для СМИ и блогов
Расширенные сниппеты, быстрые ответы Google, дата публикации: секреты настр ...
Для новостей в сниппетах может выводиться дата публикации, ч...
13.02.2018 952
Внутренняя оптимизация сайта: инструкция по применению
Внутренняя оптимизация сайта: инструкция по применению
Интернет-маркетинг – это огромная доля всего маркетинг...
09.10.2017 5842
Seo-программы, которые помогут в продвижении сайта
Seo-программы, которые помогут в продвижении сайта
Набор необходимого seo-софта для детального анализа сайтов и...
27.06.2018 1383
SEO-фрагменты (SEO Snippets) Google: как вернуть права на управление Search Consol?
SEO-фрагменты (SEO Snippets) Google: как вернуть права на управление Search ...
Возможно, раньше кто-то зарегистрировал ваш сайт для работы ...
28.12.2017 275
Показать еще материалы