Наверх

Мы используем файлы cookie, чтобы вам было ещё удобнее пользоваться нашим сайтом.
Подробнее.

/
/
Search Console просит удалить тег noindex из файла robots.txt
В тренде

Search Console просит удалить тег noindex из файла robots.txt

02.08.2019 Время прочтения: 1 минута

Дата обновления: 09.11.2021

Западные SEO-специалисты стали получать письма от Google Search Console с напоминанием удалить тег noindex из файла robots.txt. Об этом сообщает издание Search Engine Roundtable.

Письма от google с напоминанеим удалить тег noindex и файла robots.txt

Источник изображения: seroundtable.com

В письме владельцу сайта сообщается, что в файле robots.txt его сайта содержится запрещенный тег noindex. Google не поддерживал использование этого тега, а с 1 сентября 2019 это правило и вовсе перестанет работать.

Некоторые веб-мастера получили уведомление несмотря на то, что удалили все теги noindex еще несколько недель назад.

Комментарий SEO-эксперта:

«В практике нашей компании тег noindex никогда не использовался в файлах robots.txt, а применялся в коде страниц для исключения из индексирования и имел такой вид :<meta name="robots" content="noindex">.

Но этот тег уже устарел и на практике давно не используется, так как в последнее время работал 50/50. Веб-мастерам, использующим каким-либо образом тег noindex в robots.txt, рекомендуется прислушаться к сообщениям Google и устранить устаревшее правило.

Технически файл robots.txt «показывает» роботу-пауку, что сканировать, а что нет. При этом все же есть вероятность попадания закрытых страниц в индекс поисковых систем.

Вспомним, какие директивы используются в файле robots.txt:

  • User-agent*: указывает, для какого поискового робота перечислены правила;
  • Allow: разрешает обходить и индексировать указанную директорию;
  • Disallow: запрещает обходить и индексировать указанную директорию;
  • Sitemap: указывает местонахождение файла sitemap.xml;
  • Clean-param: означает, что URL содержит параметры и индексировать их не нужно;
  • Crawl-delay: устанавливает скорость в секундах, с которой робот должен сканировать каждую страницу».

Владимир Суматохин,
технолог SEO-эксперт компании SEO.RU

Пусть другие тоже знают!

Еще на эту тему

Компания SEO.RU получила награду за самый динамичный рост в отраслевом SEO-рейтинге
Компания SEO.RU получила награду за самый динамичный рост в отраслевом SEO- ...
31 октября, на конференции Optimization были вручены награды...
18.11.2019 3736
Большая реклама в Google AdSense
Большая реклама в Google AdSense
Не так давно в Google AdSense появилась возможность добавлят...
23.06.2014 2197
Как дальше жить с новыми апдейтами Google
Как дальше жить с новыми апдейтами Google
Предположительно, 8 августа произошло одно из глобальных обн...
19.08.2014 1972
Показать еще материалы

Другие интересные статьи

Таргетинг в социальных сетях: что это и как работает
Таргетинг в социальных сетях: что это и как работает
Рассмотрим базовые понятия таргетированной рекламы в социаль...
01.11.2018 14359
Как правильно зарегистрировать свой сайт в поисковых системах?
Как правильно зарегистрировать свой сайт в поисковых системах?
Разбираемся, как правильно зарегистрировать сайт в поисковых...
11.09.2018 38896
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фильтры, ссылки и хостинг
Проседание сайта в поисковой выдаче, часть первая. Бесполезный контент, фил ...
Как вернуть утраченные позиции сайта в поисковых системах? Р...
25.07.2018 12599
SEO-фрагменты (SEO Snippets) Google: почему Google показывает разное число проиндексированных страниц?
SEO-фрагменты (SEO Snippets) Google: почему Google показывает разное число ...
Вопрос для этого видео к нам пришёл из Бразилии. Макао спраш...
07.05.2018 4320
Показать еще материалы
Оставить заявку Оставить заявку