Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Почему не работает robots.txt
В тренде

Почему не работает robots.txt

05.03.2015 Время прочтения: 1 минута

Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.

Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:

- Расположение файла в корневом каталоге ресурса.

- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.

- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.

- При обнаружении роботом конфликтующих директив типа

Allow:/

User-agent:Yandex

Disallow:*

он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.


Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.

robots.txt.

Пусть другие тоже знают!

Еще на эту тему

На заметку вебмастеру - Google в 2016 году
На заметку вебмастеру - Google в 2016 году
Теперь нужно будет работать не только над ссылками, но и над...
07.12.2015 1157
Новый Яндекс
Новый Яндекс
В начале июня Яндекс изменил вид своей главной страницы...
09.06.2014 1136
В выдачу Google с чистой совестью
В выдачу Google с чистой совестью
В панели инструментов для веб-мастеров Google (Google Webmas...
07.11.2013 1109
Показать еще материалы

Другие интересные статьи

SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кириллицу и неанглийские слова?
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кир ...
Можно использовать кириллицу и другие неаглийские символы в ...
28.03.2018 1413
SEO-продвижение для блога
SEO-продвижение для блога
SEO для блога компании, особенности продвижения и наполнения...
11.02.2019 1149
Что такое GIT и как он работает?
Что такое GIT и как он работает?
Git (от англ. – Global Information Tracker) – это си...
10.07.2018 4174
Адаптивный дизайн или мобильная версия – делаем осознанный выбор
Адаптивный дизайн или мобильная версия – делаем осознанный выбор
В этой статье мы рассмотрим все аспекты адаптивности сайта п...
30.10.2018 1173
SEO-фрагменты (SEO Snippets) Google: как создать файл sitemap для сайта, у которого больше 50 000 URL-адресов?
SEO-фрагменты (SEO Snippets) Google: как создать файл sitemap для сайта, у ...
Добавление файла sitemap – это отличный способ сделать конте...
07.05.2018 636
Правильный выбор хостинга для сайта как фундамент seo-продвижения
Правильный выбор хостинга для сайта как фундамент seo-продвижения
Как подобрать надежный хостинг для своего сайта с учетом его...
09.11.2018 1053
Показать еще материалы