Почему не индексируется сайт: 5 основных причин невидимости вашего сайта для Google и Яндекса

• Как проверить, индексируется ли сайт
• Причина №1: сайт закрыт для индексирования
• Причина №2: поисковой робот не знает о существовании сайта или страницы
• Причина №3: сайт забанен
• Причина №4: технические ошибки
• Причина №5: низкое качество страниц

Прежде, чем впадать в панику, нужно ее обосновать. Поэтому сначала нужно узнать, действительно ли есть проблемы с индексацией сайта. Чтобы это сделать, можно использовать следующие способы:

1. Проверить данные о сканировании в Яндекс.Вебмастер и Google Search Console.

В Яндекс.Вебмастере нужно перейти в раздел «Индексирование», далее — на «Страницы в поиске»:

В Google Search Console нужно открыть вкладку «Покрытие» в разделе «Индекс»:

Здесь вы найдете последние изменения относительно удаления и добавления страниц в индекс, просмотрите историю и сможете оценить, приходит ли поисковой робот индексировать веб-ресурс. Если перечень добавленных страниц давно не пополнялся, это значит, что «паук» потерял дорогу к вашей площадке.

2. Поисковые операторы.

В строке поиска можно использовать оператор site: с URL вашей интернет-площадки. Например, в Google это выглядит так:

В Яндексе — так:

Google нашел 763 результата, Яндекс — 816. Это некритичная разница (возможно, Гугл не индексирует определенные системные категории), значит, краулинговые боты обеих поисковых систем находят сайт и сканируют его.

Если же при поиске с этим оператором страниц вашего ресурса не будет в выдаче или в одном поисковике их будет значительно больше, чем в другом, то это повод задуматься и проверить, почему сайт перестал индексироваться.

Самая непроницаемая мантия-невидимка — это вот такой текст в файле robots.txt:

User-Agent: *
Disallow: /

С таким прикрытием ни одна поисковая система не найдет путь к вашей площадке. Директиву Disallow: / нужно удалить.

Почему еще сайт может быть спрятан от поисковых роботов:

В первую очередь это характерно для молодых площадок: если это про вас, то неудивительно, что сайт плохо индексируется Гуглом и Яндексом. Особенно, если регистрация сайта в поиске затянулась и его даже в очереди на сканирование нет. Дайте поисковым системам время на его обнаружение, минимум 2 недели.

Еще робот может не знать о вашей площадке потому, что обновляется она редко и ссылок на нее нет. Поэтому, когда добавляете новые страницы, не забывайте про перелинковку и ссылки на авторитетных внешних ресурсах.

Google и Яндекс накладывают санкции за разные «поисковые правонарушения»: такие веб-ресурсы попадают в черной список ботов, и никто не приходит их индексировать.

Проблема в том, что это не всегда очевидно для владельцев и веб-мастеров площадок. Если в Яндекс.Вебмастере вы еще можете найти уведомление о том, что ваш сайт находится под фильтром и это надо срочно исправлять, то в случае с Google определить санкции как причины плохой индексации сайта без SEO-специалиста будет нелегко.

Что обычно приводит к наложению фильтров:

Некоторые технические параметры настолько элементарны и критичны одновременно, что их исправление сразу нейтрализует плохую индексацию сайта. Например:

В каких-то случаях низкое качество, например, контента, будет настолько вопиющим, что Google или Яндекс поставят санкционный крест на сканировании площадки — и все, сайт не индексируется, потому что бан.

Но чаще плохое качество страниц, из-за который Гугл и Яндекс плохо индексируют сайт, означает только то, у ваших конкурентов веб-площадки получше. То есть ваш ресурс теряет позиции в выдаче не как отдельно взятый, а в сравнении.

Какие основания есть у поисковиков для пессимизации:

Перечисленные причины чаще всего объясняют, почему плохо индексируется сайт. Если в этом перечне не нашлось того, что обусловило пессимизацию вашего интернет-ресурса, то лучше обратиться к SEO-специалисту: скорее всего, вам необходимо комплексное продвижение сайта.