Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Search Console просит удалить тег noindex из файла robots.txt
В тренде

Search Console просит удалить тег noindex из файла robots.txt

02.08.2019 Время прочтения: 1 минута

Западные SEO-специалисты стали получать письма от Google Search Console с напоминанием удалить тег noindex из файла robots.txt. Об этом сообщает издание Search Engine Roundtable.

Письма от google с напоминанеим удалить тег noindex и файла robots.txt

Источник изображения: seroundtable.com

В письме владельцу сайта сообщается, что в файле robots.txt его сайта содержится запрещенный тег noindex. Google не поддерживал использование этого тега, а с 1 сентября 2019 это правило и вовсе перестанет работать.

Некоторые веб-мастера получили уведомление несмотря на то, что удалили все теги noindex еще несколько недель назад.

Комментарий SEO-эксперта:

«В практике нашей компании тег noindex никогда не использовался в файлах robots.txt, а применялся в коде страниц для исключения из индексирования и имел такой вид :<meta name="robots" content="noindex">.

Но этот тег уже устарел и на практике давно не используется, так как в последнее время работал 50/50. Веб-мастерам, использующим каким-либо образом тег noindex в robots.txt, рекомендуется прислушаться к сообщениям Google и устранить устаревшее правило.

Технически файл robots.txt «показывает» роботу-пауку, что сканировать, а что нет. При этом все же есть вероятность попадания закрытых страниц в индекс поисковых систем.

Вспомним, какие директивы используются в файле robots.txt:

  • User-agent*: указывает, для какого поискового робота перечислены правила;
  • Allow: разрешает обходить и индексировать указанную директорию;
  • Disallow: запрещает обходить и индексировать указанную директорию;
  • Sitemap: указывает местонахождение файла sitemap.xml;
  • Clean-param: означает, что URL содержит параметры и индексировать их не нужно;
  • Crawl-delay: устанавливает скорость в секундах, с которой робот должен сканировать каждую страницу».

Владимир Суматохин,
технолог SEO-эксперт компании SEO.RU

Пусть другие тоже знают!

Еще на эту тему

Google советует использовать отдельные URL-адреса для мультиязычных ресурсов
Google советует использовать отдельные URL-адреса для мультиязычных ресурсо ...
Крайне важно использовать для разных языковых версий сайта о...
30.10.2015 1206
Как будут работать Острова Яндекса
Как будут работать Острова Яндекса
На пятой конференции Яндекса YaC 2013 представители компании...
16.10.2013 1191
Влияние рекламы на клики в выдаче Google
Влияние рекламы на клики в выдаче Google
На конференции SMX East 2014 была представлена работа, в кот...
17.10.2014 1370
Показать еще материалы

Другие интересные статьи

Как правильно настроить Яндекс.Директ самому. Основные понятия и особенности
Как правильно настроить Яндекс.Директ самому. Основные понятия и особенност ...
Статья о том, как грамотно настроить контекстную рекламу в Я...
29.05.2018 5997
Стоимость контекстной рекламы в Яндекс и Google: цена за клик, прогноз бюджета
Стоимость контекстной рекламы в Яндекс и Google: цена за клик, прогноз бюдж ...
Узнайте, из чего складывается стоимость контекстной рекламы....
23.05.2018 14288
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кириллицу и неанглийские слова?
SEO-фрагменты (SEO Snippets) Google: Можно ли в URL-адресе использовать кир ...
Можно использовать кириллицу и другие неаглийские символы в ...
28.03.2018 1816
SEO или контекстная реклама: что лучше?
SEO или контекстная реклама: что лучше?
Какие плюсы у SEO перед контекстом? Когда стоит совмещать SE...
06.03.2018 14823
Показать еще материалы