Как удалить устаревший контент из индекса Google и Яндекс

Устаревший контент на сайте — проблема для SEO и пользователей. Он путает людей и мешает поисковикам понять, какая информация на сайте действительно нужная.

В статье расскажем, когда нужно избавляться от неактуального контента в Яндексе и Google, а когда нет. Разберем, какими способами можно удалить страницу из выдачи.

• Что такое устаревший контент
• Примеры устаревшего контента
• Как отличить устаревший контент от актуального
• Как удалить страницу с устаревшим контентом из Google и Яндекс
  • Через Google Search Console
  • Через Яндекс Вебмастер
  • Использование директивы Disallow в robots.txt
  • Применение метатега noindex
• Как полностью удалить страницу с сайта
• Как удалить контент с чужого сайта
• Как проверить, что страница удалилась из индекса поисковиков
• Какие есть альтернативы удалению устаревшего контента
  • Настроить редиректы со старых страниц
  • Создать временную заглушку
  • Обновить контент
• Что будет, если не удалять и не обновлять неактуальную информацию на сайте
• Резюме

Что такое устаревший контент

Есть разница между «старым» и «устаревшим» контентом:

• Старый контент — это просто материал, созданный давно. Он может быть все еще полезным и актуальным. Например, статья «Как завязывать галстук» не устареет, даже если ей 10 лет.
• Устаревший контент — это материал, который потерял свою актуальность независимо от возраста. Даже свежая новость может устареть через несколько дней, если ситуация изменится и факты в ней перестанут быть правдивыми.

❗ Ключевое отличие: устаревший контент вводит пользователей в заблуждение или не приносит им пользы.Он может навредить репутации вашего ресурса и его позициям в поиске.

Поэтому важно регулярно проверять свой сайт и обновлять или удалять контент, который потерял актуальность. Это поможет сохранить доверие посетителей и поисковых систем.

Примеры устаревшего контента

Вот несколько популярных случаев, когда контент можно считать неактуальным:

• Снятые с продажи товары

  На сайте могут остаться страницы товаров, которые больше не продаются. Например, товар может быть отмечен как «нет в наличии», но его больше не планируют возвращать в продажу. Когда люди видят товар на сайте, они ожидают, что смогут его купить, но не в этом случае. Такие страницы бесполезны и только раздражают посетителей.

• Завершившиеся акции

  Иногда на сайте остаются страницы с акциями или распродажами, которые уже закончились. Люди видят эти предложения и пытаются ими воспользоваться, но не могут. Это тоже вызывает негатив у пользователей. Складывается впечатление, что сайтом не занимаются.

• Изменения в законах

  При изменениях в законодательстве данные сайта необходимо корректировать, добавлять или удалять какой-либо контент. Если не сделать это вовремя, есть риск получить штраф и блокировку.

  Например, в 2022 году Meta* признали экстремистской организацией в России. Сайтам пришлось либо убрать упоминания о ней, либо добавить метку о ее статусе и запрете деятельности в РФ.

• Новости и статьи, потерявшие актуальность

  Ситуации, когда статьи или новости на сайте больше не соответствуют действительности, встречаются часто. Например, вы написали о запуске нового сервиса, а через некоторое время он закрылся. Пользователи читают эту статью и получают неверную информацию о вашем бизнесе.

• Информация о компании и сотрудниках

  Если на сайте указаны сотрудники, которые уже не работают в компании, или старый состав руководства, это может запутать людей и вызвать сомнения в надёжности компании.

Как отличить устаревший контент от актуального

Чтобы понять наверняка, устарел ли контент на вашем сайте, нужно проверить несколько вещей.

1. Посмотрите на дату. Если статья старая, это не значит, что она устарела. Спросите себя: «Изменилось ли что-то с тех пор?»

2. Проверьте факты и цифры. Если они старые, подумайте, можно ли их обновить.

3. Посмотрите на комментарии и отзывы. Если люди все еще обсуждают статью, значит, она, скорее всего, актуальна.

4. Посмотрите, сколько людей посещают страницу. Если трафик низкий, возможно, контент устарел.

5. Сравните свой контент с тем, что пишут ваши конкуренты. Если они тоже пишут на эту тему, значит, контент может быть актуальным.

❗ Не всякий старый контент нужно удалять. В большинстве случаев можно обновить информацию, чтобы вернуть странице актуальность и полезность для посетителей.

Регулярный анализ контента помогает держать сайт свежим и полезным для пользователей.

Как удалить страницу с устаревшим контентом из Google и Яндекс

Есть несколько способов это сделать:

Через Google Search Console

Понадобится аккаунт с подтвержденными правами на управление сайтом в Google Search Console.

Порядок действий:

1. Перейдите на страницу Google Search Console и войдите в свой аккаунт.

2. Выберите сайт, для которого хотите удалить контент, из выпадающего списка в верхнем левом углу.

3. В меню слева выберите «Удаления. Или перейдите по прямой ссылке:https://search.google.com/search-console/removals.

4. Нажмите кнопку «Создать запрос».

   

5. Выберите тип удаления

   • «Удалить только этот URL» — для одной страницы.
   • «Удалить все URL с этим префиксом» — для группы страниц с одинаковым началом URL.

6. Введите URL-адрес страницы, которую хотите удалить, и нажмите «След.».

7. После этого нажмите кнопку «Отправить запрос».

Google временно удалит этот URL из результатов поиска на 180 дней. Если вы хотите восстановить его раньше, нажмите «Отмена» в разделе удаления.

Помните: через 180 дней страница снова может появиться в поиске, если она не была удалена или обновлена на сайте.

Инструмент «Обновить устаревший контент» — Справка Search Console

Сколько времени нужно Google, чтобы удалить старый контент?

Обычно меньше суток. Но если через пару дней результат все еще виден, значит, ваш запрос не одобрили.

Через Яндекс Вебмастер

Удалить страницу из поисковой выдачи Яндекса можно через сервис Вебмастер. Только перед этим нужно подтвердить, что вы — администратор сайта.

Порядок действий:

1. Зайдите в Вебмастер.

2. Выберите инструмент «Удалить URL».

   

3. Впишите URL страницы или путь к разделу для удаления.

4. Нажмите «Удалить».

Есть ограничения: можно отправить запрос на удаление до 500 адресов в день.

Сколько времени нужно Яндексу, чтобы удалить страницы из индекса?

Точных сроков нет. Обычно это занимает от нескольких дней до 2-3 недель. На скорость влияют: размер и авторитетность сайта, частота обхода сайта роботами, текущая нагрузка на серверы Яндекса.

Чтобы отследить процесс, регулярно проверяйте статус удаляемых URL в Вебмастере. Там вы увидите, какие страницы уже удалены, а какие еще в обработке.

Как удалить страницы из поиска — Вебмастер. Справка

Использование директивы Disallow в robots.txt

❗ Google не рекомендует полагаться исключительно на запреты в файле robots.txt, так как поисковик может проигнорировать их. Подробнее об этом — в Документации Google Поиска.

В файле robots.txt есть правила для роботов-поисковиков. Они помогают управлять тем, как сайт индексируется.

• Директива User-agent указывает, для какого робота действует правило.
• Директива Disallow запрещает индексировать определенные страницы, но они остаются доступными на сайте.

Как правильно запретить индексирование страницы:

• Для Google:

  User-agent: Googlebot

  Disallow: /my-page/

Здесь путь /my-page/ — это URL страницы или раздела, который вы хотите исключить из индексации Google. Указывайте путь после домена. Например, если нужно запретить страницу www.mysite.ru/no-google, то вы указываете /no-google/.

• Для Яндекса:

  User-agent: Yandex

  Disallow: /my-page/

Директива Disallow не гарантирует, что страницы не будут проиндексированы, если на них есть ссылки с других сайтов или они уже были проиндексированы ранее.

Применение метатега noindex

Метатег noindex — это фрагмент кода, который говорит поисковикам: «Эту страницу не нужно показывать в результатах поиска». Выглядит он так:

<meta name="robots" content="noindex" />

Noindex понимают все популярные поисковики: Google, Яндекс, Bing. После добавления тега страница остается на сайте, но пропадает из поиска. Хотите вернуть страницу обратно? Просто уберите тег.

Когда использовать noindex:

Поисковики должны заново просканировать страницу, чтобы увидеть тег noindex. Это может занять время. Для ускорения процесса используйте инструмент удаления URL в Google Search Console (о нем мы говорили выше).

Как использовать noindex?

1. Вручную:

   • Откройте HTML-код страницы.
   • Вставьте тег noindex в секцию <head>.

2. В CMS WordPress:

   • Установите SEO-плагин (например, Yoast SEO).
   • В настройках найдите опцию «Разрешить поисковым системам показывать запись в результатах поиска?».
   • Выберите «Нет».

3. Для всего сайта, который работает на WordPress:

   • Перейдите в раздел в «Настройки» → «Чтение».
   • Поставьте галочку рядом с «Попросить поисковые системы не индексировать сайт».

Метатег noindex не гарантирует, что страница не попадет в индекс. Если на нее ведет много внешних ссылок, поисковики всё равно могут ее обнаружить.

Как полностью удалить страницу с сайта

Иногда нужно не просто заблокировать доступ к странице, а удалить ее совсем. Вот как это сделать безопасно для SEO:

1. Проверьте ссылки на удаляемую страницу

Перед удалением убедитесь, что на эту страницу нет ссылок с других страниц вашего ресурса. Если нашли такие ссылки — удалите их или измените.

Чтобы проверить, воспользуйтесь поиском по сайту в Google и Яндексе. Введите:

site:вашсайт.ru «URL удаляемой страницы».

2. Обновите карту сайта (sitemap)

   • Найдите файл sitemap.xml в корневой папке сайта.
   • Удалите оттуда строку с URL удаляемой страницы
   • Загрузите обновленный файл обратно на сервер.
   • Если нужно, обновите путь к sitemap.xml в файле robots.txt.
   • Загрузите новый sitemap.xml в Вебмастер и Search Console.

3. Проверьте внешние ссылки

Если другие ресурсы ссылаются на вашу страницу:

4. Проверьте ссылки на удаляемую страницу

Если у вас простой HTML-сайт:

• Найдите файл страницы на сервере (например, about.html).
• Удалите этот файл.

Если вы используете панель управления хостингом:

• Зайдите в файловый менеджер cPanel или Plesk.
• Найдите нужный файл и удалите его.

Если у вас сайт на CMS (WordPress, Joomla, Битрикс):

• Зайдите в админ-панель.
• Найдите раздел «Страницы» или «Материалы».
• Выберите нужную страницу.
• Нажмите «Удалить» или «В корзину».

После удаления:

Как удалить контент с чужого сайта

Если вам нужно удалить материалы с чужого ресурса, вот как это можно сделать:

1. Найдите контакты владельца сайта на его странице или через сервис WHOIS. Напишите ему, объяснив, почему нужно удалить контент. Например, он может быть старым или неправильным.

2. Если не получается договориться, а контент нарушает ваши права или закон, то можно обратиться в поисковые системы с просьбой удалить страницы по определенным адресам. Для этого есть специальные инструменты в Google и Яндексе:

Инструмент обновления устаревшего контента — Cправка Search Console

Онлайн-помощник в Вебмастере

Как проверить, что страница удалилась из индекса поисковиков

Воспользуйтесь этими способами:

1. Поиск по точному адресу:

   • Откройте Яндекс или Google.
   • В строку поиска введите: site:ваш-сайт.ru/адрес-страницы.
   • Нажмите «Поиск».

Если страница не появляется в результатах, значит, она удалена.

2. Проверка через инструменты для вебмастеров:

   • В Яндекс.Вебмастере перейдите в раздел «Страницы в поиске» и введите адрес удаленной страницы.
   • В Google Search Console перейдите в раздел «URL-адреса» → «Проверка URL» и введите адрес удаленной страницы.

3. Анализ трафика:

   • Посмотрите, как изменился трафик после удаления страницы.
   • Сравните трафик до и после удаления страницы.

Если трафик на удаленную страницу исчез, значит, удаление прошло успешно.

❗ Поисковики не мгновенно обновляют свой индекс. Иногда нужно подождать несколько дней или недель. Если страница всё ещё появляется в поиске через неделю после удаления, проверьте, правильно ли вы всё сделали.

Какие есть альтернативы удалению устаревшего контента

Если не удалять старый контент, то можно сделать следующее:

Настроить редиректы со старых страниц

Редирект — это перенаправление с одного URL на другой. Он помогает сохранить посетителей и позиции сайта в поиске, если изменился адрес страницы. Пользователи, которые перешли по старой ссылке, попадут на нужную страницу.

Типы редиректов:

1. 301 (Permanent Redirect)— постоянное перенаправление. Говорит поисковикам и браузерам, что страница навсегда переехала. Используется, когда контент перемещают на новый адрес и не навсегда. Помогает передать большую часть ссылочного веса и SEO-значимости со старой страницы на новую.

2. 302 (Found, Temporary Redirect) — временное перенаправление. Сообщает поисковым системам, что страница пока доступна по другому адресу, но может вернуться на старый.

Когда лучше перенаправить, а не удалить страницу:

Как настроить перенаправление?

• Через файл .htaccess (для серверов на базе Apache):
  • Постоянное перенаправление со старой страницы на новую

    Redirect 301 /old-page.html /new-page.html

  • Временное перенаправление

    Redirect 302 /old-temp-page.html /new-temp-page.html

• Для серверов на базе Nginx:
  • Постоянное перенаправление

    location /old-page.html {

    return 301 /new-page.html;

    }

  • Временное перенаправление

    location /old-temp-page.html {

    return 302 /new-temp-page.html;

    }

• Через систему управления контентом (CMS):

  Во многих CMS доступны плагины для настройки перенаправлений. В WordPress, например, можно использовать плагины Redirection или Yoast SEO. Для настройки редиректа укажите старый и новый URL, выберите тип перенаправления (301 или 302) и сохраните изменения.

Несколько советов по использованию редиректов:

Создать временную заглушку

Иногда страницу нужно не удалить, а временно скрыть. Тут на помощь приходит заглушка — простая страница, которая заменяет основное содержимое. Часто используют во время технических работ.

Пример страницы-заглушки:

Зачем нужна заглушка?

Как сделать заглушку:

1. Создайте простой HTML-файл, например, placeholder.html:

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <title>Страница в стадии обновления</title>
    <style>
        body {
            font-family: Arial, sans-serif;
            text-align: center;
            padding-top: 50px;
        }
    </style>
</head>
<body>
    <h1>Мы готовим что-то интересное!</h1>
    <p>Загляните сюда чуть позже или посетите наши другие разделы:</p>
    <ul>
        <li><a href="/">Главная страница</a></li>
        <li><a href="/blog">Наш блог</a></li>
        <li><a href="/contacts">Свяжитесь с нами</a></li>
    </ul>
</body>
</html>

2. Загрузите файл на сервер в ту же папку, где лежит страница, которую хотите заменить.

3. Настройте редирект: если у вас есть доступ к файлу.htaccess, добавьте строку Redirect 302 /old-page.html /placeholder.html.

Если используете WordPress, установите плагин «Redirection» и добавьте правило редиректа со старой страницы на новую.

4. Проверьте результат. Откройте старую страницу — вы должны увидеть заглушку.

Советы по созданию хорошей заглушки:

Заглушка — это временное решение. Не забудьте вернуть основной контент, когда он будет готов.

Обновить контент

Если у вас есть старые новости или статьи, которые все еще могут быть интересны аудитории, лучше их обновить, чем удалять. Свежий контент может привлечь новых посетителей и улучшить позиции сайта в поиске.

При обновлении контента:

• Добавьте новую, релевантную информацию, которая отражает текущие тенденции или данные.
• Удалите или исправьте устаревшие факты и числа.
• Обновите дату публикации на странице. Это показывает посетителям и поисковым системам, что контент свежий.
• Добавьте новые фотографии, видео или инфографику.

Что будет, если не удалять и не обновлять неактуальную информацию на сайте

1. Пользователи будут терять интерес

Когда люди находят неверную или неактуальную информацию:

• Они теряют доверие к ресурсу.
• Быстро уходят, не дочитав до конца.
• Вряд ли захотят вернуться снова.

Это все равно что прийти в кафе и узнать, что половины блюд из меню нет в наличии. В следующий раз вы вряд ли выберете это место.

2. Ресурс может опуститься в поиске

Поисковики любят ресурсы, которыми довольны пользователи. Если люди быстро уходят с сайта, поисковики решат, что он не очень полезный, и опустят его ниже в результатах выдачи.

3. Роботы тратят ресурсы впустую

У поисковых роботов есть свой краулинговый бюджет — сколько страниц сайта они могут просмотреть за день. Если на сайте много устаревших страниц, роботы будут тратить время на них вместо новых и важных.

В итоге:

Резюме

• Нужно убирать с сайта товары, которых уже нет в продаже и которые выведены из ассортимента насовсем. Еще — страницы с акциями, которые закончились, старые новости и неактуальные данные, которые могут запутать людей.
• Как удалить страницу из индекса:
  • Через Google Search Console или Яндекс Вебмастер.
  • Настройте Disallow в robots.txt или добавьте noindex.
  • Можно полностью удалить страницу.
• Перед удалением проверьте, что на эту страницу нет ссылок ни внутри вашего сайта, ни с других ресурсов. Удалите ее из файла sitemap.xml.
• Есть и альтернативы удалению:
  • Настройте редиректы на актуальные страницы.
  • Создайте временные заглушки.
  • Обновите контент вместо удаления.
• После удаления страницы убедитесь, что она исчезла из результатов поиска. Введите в поиск запросы, по которым ее раньше находили. Также можно воспользоваться сервисами Google Search Console и Вебмастер для отслеживания статуса индексации.

Перед тем как удалить страницу из поиска Яндекса и Google, подумайте: может, старый контент еще пригодится? Часто его можно адаптировать и обновить. Регулярные SEO-аудиты помогут поддерживать актуальность контента и улучшать позиции сайта в поисковых системах.

* Компания Meta признана экстремистской организацией и запрещена в России с 21 марта 2022 года.

Подписывайтесь на наш Телеграм-канал. Там мы постим новости SEO-сферы, обновления Яндекса и Google, статьи про продвижение сайтов и дайджесты.