Наверх
/
/
Как удалить устаревший контент из индекса Google и Яндекс
В тренде

Как удалить устаревший контент из индекса Google и Яндекс

19.09.2024 Время прочтения: 24 минут

Дата обновления: 19.09.2024

Юлия Шевалдова

Автор: Юлия Шевалдова — редактор блога SEO.RU

Устаревший контент на сайте — проблема для SEO и пользователей. Он путает людей и мешает поисковикам понять, какая информация на сайте действительно нужная.

В статье расскажем, когда нужно избавляться от неактуального контента в Яндексе и Google, а когда нет. Разберем, какими способами можно удалить страницу из выдачи.

Что такое устаревший контент

Есть разница между «старым» и «устаревшим» контентом:

  • Старый контент — это просто материал, созданный давно. Он может быть все еще полезным и актуальным. Например, статья «Как завязывать галстук» не устареет, даже если ей 10 лет.
  • Устаревший контент — это материал, который потерял свою актуальность независимо от возраста. Даже свежая новость может устареть через несколько дней, если ситуация изменится и факты в ней перестанут быть правдивыми.

❗ Ключевое отличие: устаревший контент вводит пользователей в заблуждение или не приносит им пользы.Он может навредить репутации вашего ресурса и его позициям в поиске.

Поэтому важно регулярно проверять свой сайт и обновлять или удалять контент, который потерял актуальность. Это поможет сохранить доверие посетителей и поисковых систем.

Примеры устаревшего контента

Вот несколько популярных случаев, когда контент можно считать неактуальным:

  • Снятые с продажи товары

    На сайте могут остаться страницы товаров, которые больше не продаются. Например, товар может быть отмечен как «нет в наличии», но его больше не планируют возвращать в продажу. Когда люди видят товар на сайте, они ожидают, что смогут его купить, но не в этом случае. Такие страницы бесполезны и только раздражают посетителей.

  • Завершившиеся акции

    Иногда на сайте остаются страницы с акциями или распродажами, которые уже закончились. Люди видят эти предложения и пытаются ими воспользоваться, но не могут. Это тоже вызывает негатив у пользователей. Складывается впечатление, что сайтом не занимаются.

  • Изменения в законах

    При изменениях в законодательстве данные сайта необходимо корректировать, добавлять или удалять какой-либо контент. Если не сделать это вовремя, есть риск получить штраф и блокировку.

    Например, в 2022 году Meta* признали экстремистской организацией в России. Сайтам пришлось либо убрать упоминания о ней, либо добавить метку о ее статусе и запрете деятельности в РФ.

  • Новости и статьи, потерявшие актуальность

    Ситуации, когда статьи или новости на сайте больше не соответствуют действительности, встречаются часто. Например, вы написали о запуске нового сервиса, а через некоторое время он закрылся. Пользователи читают эту статью и получают неверную информацию о вашем бизнесе.

  • Информация о компании и сотрудниках

    Если на сайте указаны сотрудники, которые уже не работают в компании, или старый состав руководства, это может запутать людей и вызвать сомнения в надёжности компании.

Как отличить устаревший контент от актуального

Чтобы понять наверняка, устарел ли контент на вашем сайте, нужно проверить несколько вещей.

  1. Посмотрите на дату. Если статья старая, это не значит, что она устарела. Спросите себя: «Изменилось ли что-то с тех пор?»

  2. Проверьте факты и цифры. Если они старые, подумайте, можно ли их обновить.

  3. Посмотрите на комментарии и отзывы. Если люди все еще обсуждают статью, значит, она, скорее всего, актуальна.

  4. Посмотрите, сколько людей посещают страницу. Если трафик низкий, возможно, контент устарел.

  5. Сравните свой контент с тем, что пишут ваши конкуренты. Если они тоже пишут на эту тему, значит, контент может быть актуальным.

❗ Не всякий старый контент нужно удалять. В большинстве случаев можно обновить информацию, чтобы вернуть странице актуальность и полезность для посетителей.

Регулярный анализ контента помогает держать сайт свежим и полезным для пользователей.

Как удалить страницу с устаревшим контентом из Google и Яндекс

Есть несколько способов это сделать:

Через Google Search Console

Понадобится аккаунт с подтвержденными правами на управление сайтом в Google Search Console.

Порядок действий:

  1. Перейдите на страницу Google Search Console и войдите в свой аккаунт.

  2. Выберите сайт, для которого хотите удалить контент, из выпадающего списка в верхнем левом углу.

  3. В меню слева выберите «Удаления. Или перейдите по прямой ссылке:https://search.google.com/search-console/removals.

  4. Нажмите кнопку «Создать запрос».

    как удалить страницу из индекса через Google Search Console

  5. Выберите тип удаления

    • «Удалить только этот URL» — для одной страницы.
    • «Удалить все URL с этим префиксом» — для группы страниц с одинаковым началом URL.
  6. Введите URL-адрес страницы, которую хотите удалить, и нажмите «След.».

  7. После этого нажмите кнопку «Отправить запрос».

Google временно удалит этот URL из результатов поиска на 180 дней. Если вы хотите восстановить его раньше, нажмите «Отмена» в разделе удаления.

Помните: через 180 дней страница снова может появиться в поиске, если она не была удалена или обновлена на сайте.

Инструмент «Обновить устаревший контент» — Справка Search Console

Сколько времени нужно Google, чтобы удалить старый контент?

Обычно меньше суток. Но если через пару дней результат все еще виден, значит, ваш запрос не одобрили.

Через Яндекс Вебмастер

Удалить страницу из поисковой выдачи Яндекса можно через сервис Вебмастер. Только перед этим нужно подтвердить, что вы — администратор сайта.

Порядок действий:

  1. Зайдите в Вебмастер.

  2. Выберите инструмент «Удалить URL».

    как удалить страницу из индекса через Яндекс Вебмастер

  3. Впишите URL страницы или путь к разделу для удаления.

  4. Нажмите «Удалить».

Есть ограничения: можно отправить запрос на удаление до 500 адресов в день.

Сколько времени нужно Яндексу, чтобы удалить страницы из индекса?

Точных сроков нет. Обычно это занимает от нескольких дней до 2-3 недель. На скорость влияют: размер и авторитетность сайта, частота обхода сайта роботами, текущая нагрузка на серверы Яндекса.

Чтобы отследить процесс, регулярно проверяйте статус удаляемых URL в Вебмастере. Там вы увидите, какие страницы уже удалены, а какие еще в обработке.

Как удалить страницы из поиска — Вебмастер. Справка

Использование директивы Disallow в robots.txt

❗ Google не рекомендует полагаться исключительно на запреты в файле robots.txt, так как поисковик может проигнорировать их. Подробнее об этом — в Документации Google Поиска.

В файле robots.txt есть правила для роботов-поисковиков. Они помогают управлять тем, как сайт индексируется.

  • Директива User-agent указывает, для какого робота действует правило.
  • Директива Disallow запрещает индексировать определенные страницы, но они остаются доступными на сайте.

Как правильно запретить индексирование страницы:

  • Для Google:

    User-agent: Googlebot

    Disallow: /my-page/

Здесь путь /my-page/ — это URL страницы или раздела, который вы хотите исключить из индексации Google. Указывайте путь после домена. Например, если нужно запретить страницу www.mysite.ru/no-google, то вы указываете /no-google/.

  • Для Яндекса:

    User-agent: Yandex

    Disallow: /my-page/

Аналогично Google, указывайте путь к странице или разделу, который вы хотите исключить из индексации Яндекса. Если нужно запретить страницу www.mysite.ru/no-yandex, то прописываете /no-yandex/.

Директива Disallow не гарантирует, что страницы не будут проиндексированы, если на них есть ссылки с других сайтов или они уже были проиндексированы ранее.

Применение метатега noindex

Метатег noindex — это фрагмент кода, который говорит поисковикам: «Эту страницу не нужно показывать в результатах поиска». Выглядит он так:

<meta name="robots" content="noindex" />

Noindex понимают все популярные поисковики: Google, Яндекс, Bing. После добавления тега страница остается на сайте, но пропадает из поиска. Хотите вернуть страницу обратно? Просто уберите тег.

Когда использовать noindex:

  • Для временного скрытия страниц (например, акций, которые вот-вот закончатся).
  • Для служебных страниц (например, страниц входа в личный кабинет).
  • Для дублирующегося контента, который нужно оставить на сайте.

Поисковики должны заново просканировать страницу, чтобы увидеть тег noindex. Это может занять время. Для ускорения процесса используйте инструмент удаления URL в Google Search Console (о нем мы говорили выше).

Как использовать noindex?

  1. Вручную:

    • Откройте HTML-код страницы.
    • Вставьте тег noindex в секцию <head>.
  2. В CMS WordPress:

    • Установите SEO-плагин (например, Yoast SEO).
    • В настройках найдите опцию «Разрешить поисковым системам показывать запись в результатах поиска?».
    • Выберите «Нет».
  3. Для всего сайта, который работает на WordPress:

    • Перейдите в раздел в «Настройки» → «Чтение».
    • Поставьте галочку рядом с «Попросить поисковые системы не индексировать сайт».

Метатег noindex не гарантирует, что страница не попадет в индекс. Если на нее ведет много внешних ссылок, поисковики всё равно могут ее обнаружить.

Как полностью удалить страницу с сайта

Иногда нужно не просто заблокировать доступ к странице, а удалить ее совсем. Вот как это сделать безопасно для SEO:

  1. Проверьте ссылки на удаляемую страницу

Перед удалением убедитесь, что на эту страницу нет ссылок с других страниц вашего ресурса. Если нашли такие ссылки — удалите их или измените.

Чтобы проверить, воспользуйтесь поиском по сайту в Google и Яндексе. Введите:

site:вашсайт.ru «URL удаляемой страницы».

  1. Обновите карту сайта (sitemap)

    • Найдите файл sitemap.xml в корневой папке сайта.
    • Удалите оттуда строку с URL удаляемой страницы
    • Загрузите обновленный файл обратно на сервер.
    • Если нужно, обновите путь к sitemap.xml в файле robots.txt.
    • Загрузите новый sitemap.xml в Вебмастер и Search Console.
  1. Проверьте внешние ссылки

Если другие ресурсы ссылаются на вашу страницу:

  • Свяжитесь с владельцами этих сайтов.
  • Попросите их убрать ссылку или поменять ее на другую страницу вашего сайта.
  • Удалите эту страницу.
  1. Проверьте ссылки на удаляемую страницу

Если у вас простой HTML-сайт:

  • Найдите файл страницы на сервере (например, about.html).
  • Удалите этот файл.

Если вы используете панель управления хостингом:

  • Зайдите в файловый менеджер cPanel или Plesk.
  • Найдите нужный файл и удалите его.

Если у вас сайт на CMS (WordPress, Joomla, Битрикс):

  • Зайдите в админ-панель.
  • Найдите раздел «Страницы» или «Материалы».
  • Выберите нужную страницу.
  • Нажмите «Удалить» или «В корзину».

После удаления:

  • Проверьте, не осталось ли битых ссылок на сайте.
  • Если страница была важной, настройте перенаправление на похожую или актуальную страницу.
  • Дайте поисковикам время — изменения в выдаче появятся не сразу.

Как удалить контент с чужого сайта

Если вам нужно удалить материалы с чужого ресурса, вот как это можно сделать:

  1. Найдите контакты владельца сайта на его странице или через сервис WHOIS. Напишите ему, объяснив, почему нужно удалить контент. Например, он может быть старым или неправильным.

  2. Если не получается договориться, а контент нарушает ваши права или закон, то можно обратиться в поисковые системы с просьбой удалить страницы по определенным адресам. Для этого есть специальные инструменты в Google и Яндексе:

Инструмент обновления устаревшего контента — Cправка Search Console

Онлайн-помощник в Вебмастере

Как проверить, что страница удалилась из индекса поисковиков

Воспользуйтесь этими способами:

  1. Поиск по точному адресу:

    • Откройте Яндекс или Google.
    • В строку поиска введите: site:ваш-сайт.ru/адрес-страницы.
    • Нажмите «Поиск».

Если страница не появляется в результатах, значит, она удалена.

  1. Проверка через инструменты для вебмастеров:

    • В Яндекс.Вебмастере перейдите в раздел «Страницы в поиске» и введите адрес удаленной страницы.
    • В Google Search Console перейдите в раздел «URL-адреса» → «Проверка URL» и введите адрес удаленной страницы.
  2. Анализ трафика:

    • Посмотрите, как изменился трафик после удаления страницы.
    • Сравните трафик до и после удаления страницы.

Если трафик на удаленную страницу исчез, значит, удаление прошло успешно.

Поисковики не мгновенно обновляют свой индекс. Иногда нужно подождать несколько дней или недель. Если страница всё ещё появляется в поиске через неделю после удаления, проверьте, правильно ли вы всё сделали.

Какие есть альтернативы удалению устаревшего контента

Если не удалять старый контент, то можно сделать следующее:

Настроить редиректы со старых страниц

Редирект — это перенаправление с одного URL на другой. Он помогает сохранить посетителей и позиции сайта в поиске, если изменился адрес страницы. Пользователи, которые перешли по старой ссылке, попадут на нужную страницу.

Типы редиректов:

  1. 301 (Permanent Redirect)— постоянное перенаправление. Говорит поисковикам и браузерам, что страница навсегда переехала. Используется, когда контент перемещают на новый адрес и не навсегда. Помогает передать большую часть ссылочного веса и SEO-значимости со старой страницы на новую.

  2. 302 (Found, Temporary Redirect) — временное перенаправление. Сообщает поисковым системам, что страница пока доступна по другому адресу, но может вернуться на старый.

Когда лучше перенаправить, а не удалить страницу:

  • Вы переносите контент. Адрес изменился, но информация та же.
  • Обновляете сайт. Изменилась структура, но содержание осталось.
  • У вас есть сезонные страницы. Например, акция закончилась, но повторится в будущем.

Как настроить перенаправление?

  • Через файл .htaccess (для серверов на базе Apache):
    • Постоянное перенаправление со старой страницы на новую

      Redirect 301 /old-page.html /new-page.html

    • Временное перенаправление

      Redirect 302 /old-temp-page.html /new-temp-page.html

  • Для серверов на базе Nginx:
    • Постоянное перенаправление

      location /old-page.html {

      return 301 /new-page.html;

      }

    • Временное перенаправление

      location /old-temp-page.html {

      return 302 /new-temp-page.html;

      }

  • Через систему управления контентом (CMS):

    Во многих CMS доступны плагины для настройки перенаправлений. В WordPress, например, можно использовать плагины Redirection или Yoast SEO. Для настройки редиректа укажите старый и новый URL, выберите тип перенаправления (301 или 302) и сохраните изменения.

Несколько советов по использованию редиректов:

  • Перед настройкой редиректов составьте таблицу со старыми и новыми адресами. Она поможет не запутаться и ничего не упустить
  • Не делайте цепочки редиректов (А → Б → В). Сразу направляйте на конечную страницу.
  • Проверяйте редиректы после настройки. Убедитесь, что они ведут на нужные страницы.

Создать временную заглушку

Иногда страницу нужно не удалить, а временно скрыть. Тут на помощь приходит заглушка — простая страница, которая заменяет основное содержимое. Часто используют во время технических работ.

Пример страницы-заглушки:

сайт заглушка

Зачем нужна заглушка?

  • Удерживает интерес посетителей.
  • Сохраняет трафик на сайте.
  • Показывает, что сайт обновляется и развивается.

Как сделать заглушку:

  1. Создайте простой HTML-файл, например, placeholder.html:

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <title>Страница в стадии обновления</title>
    <style>
        body {
            font-family: Arial, sans-serif;
            text-align: center;
            padding-top: 50px;
        }
    </style>
</head>
<body>
    <h1>Мы готовим что-то интересное!</h1>
    <p>Загляните сюда чуть позже или посетите наши другие разделы:</p>
    <ul>
        <li><a href="/">Главная страница</a></li>
        <li><a href="/blog">Наш блог</a></li>
        <li><a href="/contacts">Свяжитесь с нами</a></li>
    </ul>
</body>
</html>
  1. Загрузите файл на сервер в ту же папку, где лежит страница, которую хотите заменить.

  2. Настройте редирект: если у вас есть доступ к файлу.htaccess, добавьте строку Redirect 302 /old-page.html /placeholder.html.

Если используете WordPress, установите плагин «Redirection» и добавьте правило редиректа со старой страницы на новую.

  1. Проверьте результат. Откройте старую страницу — вы должны увидеть заглушку.

Советы по созданию хорошей заглушки:

  • Объясните, почему страница временно недоступна.
  • Укажите, когда примерно появится новый контент.
  • Добавьте ссылки на другие полезные разделы сайта и соцсети.
  • Оставьте контакты для связи, если у посетителей возникнут вопросы.

Заглушка — это временное решение. Не забудьте вернуть основной контент, когда он будет готов.

Обновить контент

Если у вас есть старые новости или статьи, которые все еще могут быть интересны аудитории, лучше их обновить, чем удалять. Свежий контент может привлечь новых посетителей и улучшить позиции сайта в поиске.

При обновлении контента:

  • Добавьте новую, релевантную информацию, которая отражает текущие тенденции или данные.
  • Удалите или исправьте устаревшие факты и числа.
  • Обновите дату публикации на странице. Это показывает посетителям и поисковым системам, что контент свежий.
  • Добавьте новые фотографии, видео или инфографику.

Что будет, если не удалять и не обновлять неактуальную информацию на сайте

  1. Пользователи будут терять интерес

Когда люди находят неверную или неактуальную информацию:

  • Они теряют доверие к ресурсу.
  • Быстро уходят, не дочитав до конца.
  • Вряд ли захотят вернуться снова.

Это все равно что прийти в кафе и узнать, что половины блюд из меню нет в наличии. В следующий раз вы вряд ли выберете это место.

  1. Ресурс может опуститься в поиске

Поисковики любят ресурсы, которыми довольны пользователи. Если люди быстро уходят с сайта, поисковики решат, что он не очень полезный, и опустят его ниже в результатах выдачи.

  1. Роботы тратят ресурсы впустую

У поисковых роботов есть свой краулинговый бюджет — сколько страниц сайта они могут просмотреть за день. Если на сайте много устаревших страниц, роботы будут тратить время на них вместо новых и важных.

В итоге:

  • Меньше посетителей.
  • Меньше продаж или обращений.
  • Сайт становится менее заметным в интернете.

Резюме

  • Нужно убирать с сайта товары, которых уже нет в продаже и которые выведены из ассортимента насовсем. Еще — страницы с акциями, которые закончились, старые новости и неактуальные данные, которые могут запутать людей.
  • Как удалить страницу из индекса:
    • Через Google Search Console или Яндекс Вебмастер.
    • Настройте Disallow в robots.txt или добавьте noindex.
    • Можно полностью удалить страницу.
  • Перед удалением проверьте, что на эту страницу нет ссылок ни внутри вашего сайта, ни с других ресурсов. Удалите ее из файла sitemap.xml.
  • Есть и альтернативы удалению:
    • Настройте редиректы на актуальные страницы.
    • Создайте временные заглушки.
    • Обновите контент вместо удаления.
  • После удаления страницы убедитесь, что она исчезла из результатов поиска. Введите в поиск запросы, по которым ее раньше находили. Также можно воспользоваться сервисами Google Search Console и Вебмастер для отслеживания статуса индексации.

Перед тем как удалить страницу из поиска Яндекса и Google, подумайте: может, старый контент еще пригодится? Часто его можно адаптировать и обновить. Регулярные SEO-аудиты помогут поддерживать актуальность контента и улучшать позиции сайта в поисковых системах.

* Компания Meta признана экстремистской организацией и запрещена в России с 21 марта 2022 года.

Подписывайтесь на наш Телеграм-канал. Там мы постим новости SEO-сферы, обновления Яндекса и Google, статьи про продвижение сайтов и дайджесты.

Пусть другие тоже знают!

Еще на эту тему

Другие интересные статьи

Оставить заявку Оставить заявку