Специалист отдела качества поиска по работе с вебмастерами Джон Мюллер, отвечая на вопрос пользователя в Webmaster Central Help Forum, рассказал, как ускорить удаление из индекса Google большого количества страниц.
Пользователь рассказал, что бывший SEO-специалист в его компании считал эффективным методом продвижения создание миллионов страниц низкого качества. Эти страницы бесполезны для посетителей сайта и в принципе не имеют какой-то ценности. В итоге такой способ привел к падению трафика.
Чтобы устранить проблему, веб-мастера решили повысить качество сайта, удалив «мусорные» страницы. Часть из них удалили, для некоторых настроили 404 и 410 коды ответа сервера, а на оставшихся поменяли контент.
7 месяцев в компании ждали, когда Google удалит страницы из индекса, и сначала так и было, причем в хорошем темпе. Однако затем процесс замедлился настолько, что Google стал удалять всего по несколько URL в неделю. В компании пользователя стали опасаться, что процесс затянется еще на несколько месяцев.
Джон Мюллер объяснил падение скорости деиндексации так: когда поисковые роботы распознают страницы, не являющиеся критически важными для сайта, они сканируются реже. Также скорость зависит от типа страницы. В ситуации, которая сложилась у пользователя, Джон Мюллер посоветовал использовать временный файл Sitemap, в котором будут перечислены все URL-адреса и дата последнего изменения. Однако он не сообщил, как быстро контент будет удален.
Комментарий SEO-эксперта:
«Наличие файла sitemap.xml позволяет роботам поисковых машин оперативно сканировать новый или обновленный контент на сайте. Одно из основных условий – документ должен быть в формате XML.
Создать такой документ можно либо с помощью стандартных инструментов в популярных CMS, либо с помощью сторонних утилит – например, Screaming Frog или Xenu. Также это можно сделать вручную, но в таком случае придется обратиться к техническим специалистам.
После создания документ добавляется в корневую папку сайта. Он по умолчанию должен быть доступен по адресу site.com/sitemap.xml. Для того чтобы отправить страницы в этом файле на переобход поисковыми системами, нужно скопировать URL-адрес файла sitemap.xml и добавить в Яндекс.Вебмастер и Google Search Console.
К слову, HTML карта сайта и XML карта сайта – это две разные вещи. Добавление HTML карты сайта не ускорит индексацию страниц. Также следует помнить, что количество URL-адресов в XML карте не может превышать 50 000 элементов, это особенно актуально для больших интернет-магазинов, где счет страниц идет на сотни тысяч».
Технолог SEO-эксперт компании SEO.RU
Константин Абдуллин
