Битые ссылки: откуда берутся, как найти, исправить и удалить из индекса

Представьте, что у вас интернет-магазин обуви. Недавно на сайте прошел ребрендинг, в результате которого часть товаров переместилась в новые разделы, а их старые URL забыли перенаправить на новые адреса.

Покупатель, который ранее добавил пару обуви в закладки или перешел по ссылке из соцсетей, теперь попадет на несуществующую страницу. Вместо того чтобы искать товар снова, покупатель, скорее всего, закроет сайт.

Такие ссылки, ведущие в никуда, называются «битыми». Их необходимо своевременно находить и исправлять, чтобы не создавать проблем для посетителей сайта и не навредить поисковому продвижению.

В статье разбираем:

• Что такое битая ссылка
• Откуда берутся битые ссылки
• Какой вред сайту наносят неработающие ссылки
• Как найти битые ссылки на сайте
  • Ручная проверка
  • Google Search Console и Яндекс Вебмастер
  • Инструменты для проверки ссылок
• Как исправить неработающие ссылки
• Как представить страницу 404 для посетителей
• Как удалить несуществующую страницу из поисковых систем
• Что запомнить

Что такое битая ссылка

Битая ссылка (broken links) — это ссылка на страницу, которая больше не существует или была перемещена. Она может вызвать различные ошибки, в зависимости от конкретной причины проблемы со ссылкой. 

Основные ошибки, связанные с битыми ссылками:

Эти коды ошибок помогают понять, что произошло и почему ссылка не работает. Если вы управляете сайтом, то важно регулярно проверять, нет ли на сайте битых ссылок, и исправлять их, чтобы пользователи и поисковые системы могли без проблем перемещаться по сайту.

Откуда берутся битые ссылки

Обычно всего ссылки ломаются не специально, а по невнимательности при обновлении сайта. Вот самые частые причины:

• Удаление или перемещение страниц сайта на новые адреса.

Это одна из распространенных причин появления битых ссылок. При обновлении сайта владельцы удаляют или перемещают страницы, но забывают отредактировать ссылки. В итоге старые ссылки ведут на несуществующие адреса.

При этом, даже если страница фактически удалена с сайта, она может долгое время оставаться в индексе поисковых систем и выдавать ошибку при переходе из выдачи. Это происходит потому, что поисковые роботы обновляют данные в индексе не в режиме реального времени, а с некоторой задержкой.

• Устаревшие внешние ссылки.

Сторонние ресурсы могут содержать ссылки на устаревшие или удаленные страницы вашего сайта. Это может произойти, если вы удалили или переместили страницы, а внешние сайты не обновили ссылки. Поэтому устаревшие внешние ссылки — это следствие изменений на вашем сайте.

• Ошибки при написании адреса.

Сюда относятся различные опечатки при формировании ссылок — лишние или недостающие символы в URL, буквы в неверном регистре и т.д. Из-за этого ссылка ведет не туда, куда задумывалось.

Допустим, на сайте в статье должна быть ссылка на страницу контактов с адресом www.site.ru/contacts. Но вместо contacts кто-то ошибочно написал сontacs (с буквой «с» вместо "t"). Получился нерабочий URL www.site.ru/contacs, который выдаст ошибку 404.

Такие опечатки часто случаются при ручном написании или копировании ссылок.

• Ошибки при написании адреса.

Редиректы используются для перенаправления с одного URL на другой. Например, при смене адреса страницы или домена сайта. Если редиректы настроены неправильно, это также приводит к появлению битых ссылок.

Допустим, на сайте была страница по адресу www.site.ru/page.php, на которую вели ссылки с других страниц. Затем эту страницу решили перенести на новый URL www.site.ru/category/page.html. Чтобы запросы по старому адресу перенаправлялись на новый, настроили редирект в .htaccess:

Redirect 301 /page.php https://www.site.ru/category/newpage.html

Но допустили опечатку — указали newpage вместо page. Теперь редирект ведет на несуществующую страницу и выдает ошибку 404. В итоге из-за неверной настройки редиректа ссылки на страницу page.php стали битыми.

• Реструктуризация сайта.

Когда вы меняете структуру сайта или систему управления сайтом (CMS), местоположение многих страниц на сайте меняется. Поэтому может сломаться множество внутренних ссылок. 

Например, в некоторых CMS страницы статей могут находиться в подпапке /article/, а в других — в подпапке /content/. Поэтому при переезде могут возникнуть проблемы (при условии, что не настроили постраничные редиректы).

Чтобы по-прежнему можно было попасть на нужные страницы, нужно либо исправить старые ссылки (заменить в них слово «article» на «content»), либо настроить редиректы, чтобы сайт автоматически отправлял вас в новую папку, когда вы кликаете на старую ссылку.

• Удаление загруженных файлов.

Иногда на сайте размещаются ссылки не на страницы, а на различные загружаемые файлы — PDF, DOC, изображения, видео. Если такой файл удаляется или перемещается, ссылка на него перестает работать.

• Поломки кода сайта.

Ошибки в HTML, CSS или JavaScript коде сайта также могут привести к неработающим ссылкам. Например, опечатка в пути к CSS файлу сломает отображение элементов, на которые ведут ссылки

Например, в шаблоне сайта на WordPress ссылка на стилевой файл CSS указана с опечаткой:

<link href="/stile.css" rel="stylesheet">

Вместо style.css написано stile.css. Из-за такой ошибки стили на сайте не загружаются и могут отображаться некорректно, что делает их неработоспособными.

Читайте по теме: Внутренняя оптимизация сайта: инструкция по применению

Какой вред сайту наносят неработающие ссылки

Битые ссылки наносят существенный вред сайту, хотя прямых фильтров от поисковиков за них нет. Разберем основные негативные последствия для сайта от наличия битых ссылок:

Есть распространенное мнение, что большое количество битых ссылок и ошибок 404 истощает краулинговый бюджет (выделяемые поисковиком ресурсы на сканирование и индексацию страниц сайта), и ПС пропускает важные страницы.

Но эксперт Google Джон Мюллер опроверг это: стандартные ошибки 404 не влияют на скорость индексации других страниц сайта. Поисковик повторно проверяет такие URL, чтобы убедиться, что они действительно недоступны, но не в ущерб сканированию рабочих страниц.

Исключение — 404 SOFT, когда веб-сервер отвечает кодом 200 вместо 404. В этом случае ошибочная страница воспринимается как рабочая, поисковик тратит ресурсы на ее сканирование, что негативно влияет на общий краулинговый бюджет сайта.

Поэтому при наличии битых ссылок лучше возвращать корректный код 404, чтобы избежать проблем с краулинговым бюджетом.

Представители Яндекса влияние 404 ссылок на ранжирование сайта официально не комментировали. Однако Яндекс рекомендует использовать коды ответа 429 и 5xx, так как они сообщают роботу, что о трудностях в работе сервера. Это может замедленть индексирование сайта. Подробнее об этом — в Справке.

Несмотря на отсутствие прямых санкций со стороны поисковиков, лучше избегать накопления битых ссылок, чтобы не навредить пользовательскому опыту и внутренней оптимизации сайта.

Как найти битые ссылки на сайте

Обнаружить проблемные ссылки на сайте можно как вручную, так и автоматизированно — с помощью сервисов.

Ручная проверка

Самый трудоемкий и непопулярный способ. Подойдет для маленьких сайтов, лендингов.

Работает так: вручную переходите по ссылкам на сайте и проверяете их работоспособность. Можно проверять поочередно все страницы сайта или выборочно — наиболее важные разделы.

Также для проверить сайт можно через поисковые системы. Введите в строке поиска запрос «site:вашсайт.ру» и посмотрите, какие страницы отображаются в выдаче. Перейдите по этим страницам и проверьте, доступны ли они.

Google Search Console и Яндекс Вебмастер

GSC и Вебмастер предоставляют частичную информацию о битых ссылках на сайте на основе данных последних сканирований поисковыми роботами.

Где это смотреть:

• В Google Search Console переходим в раздел «Страницы» → вкладка «Не найдено (404)».

Здесь отображаются URL, которые выдали ошибки при последнем сканировании Googlebot. Можно увидеть код ошибки для каждой страницы. Чаще всего это 404 ошибка для битых ссылок.

• В Яндекс Вебмастере аналогичный отчет по битым ссылкам находится в разделе «Ссылки» → «Неработающие внутренние ссылки на сайт» и «Внешние ссылки». Здесь отображаются как внутренние, так и внешние ссылки с 404 ошибкой на основе последнего сканирования.

Данные в этих отчетах неполные, так как обновляются лишь после очередного сканирования сайта роботом поисковика. Но это позволяет хотя бы частично отследить наличие битых ссылок и приступить к их устранению.

Инструменты для проверки ссылок

Существуют специальные сервисы, которые позволяют проанализировать все страницы сайта на наличие неработающих ссылок. Вот самые популярные:

Бесплатная программа для Windows. Она скачивает стартовую страницу сайта и рекурсивно обходит все внутренние ссылки для проверки. Выдает отчет в виде HTML-файла.

Похожий инструмент от компании Screaming Frog. Есть бесплатная версия с ограничением в 500 URL. Платная версия снимает лимиты.

Бесплатный англоязычный онлайн-сервис. Сканирует до 3000 страниц на наличие 404 ссылок. Если нужно проверить больше страниц — есть платная версия.

Сервис анализирует как внутренние, так и внешние/исходящие URL-адреса.

Чтобы запустить проверку сайта, нужно ввести URL-адрес в строку и нажать «Find broken links».

После анализа сервис соберет отчет по битым ссылкам в таблицу:

Инструмент для многих SEO-задач. В том числе в нем можно проверить наличие неработающих входящих и исходящих ссылок. Сканер Ahrefs является вторым по активности после Google.

Вот такой отчет по ссылкам сервис выдает в результате аудита:

Сервис платный — от 99$ в месяц. В России открывается только через VPN.

Плагин для сайтов на CMS WordPress. Автоматически сканирует ссылки на сайте в режиме реального времени. Проверяет сайты любого размера и типа, ограничений в объемах нет. Уведомляет, если находит ссылки с 404 ошибкой.

Бесплатное расширение для Chrome, которое поможет быстро проверить ссылки на конкретной странице. 

Чтобы проверить битые ссылки, нужно установить плагин в браузере, зайти на страницу, где нужно отсканировать ссылки и нажать на иконку расширения (в верхнем меню браузера). 

Все неработающие ссылки будут подсвечены на странице красным цветом, корректные — зеленым. Также расширение выдаст общее количество битых ссылок на анализируемой странице.

Главное преимущество таких программ — автоматизация процесса и скорость. Они могут за несколько минут проверить тысячи страниц.

Читайте по теме: 16 расширений браузера для маркетолога и SEO-специалиста

Как исправить неработающие ссылки

Вот основные рекомендации по работе с битыми ссылками:

• Внешние исходящие ссылки. Если исходящая ссылка с вашего сайта ведет на неработающую или удаленную страницу на другом ресурсе, рекомендуется:

  • По возможности удалить такую ссылку, если она не несет смысловой нагрузки и ее отсутствие не испортит контент страницы.
  • Если удаление невозможно, заменить битую ссылку на актуальную рабочую ссылку на нужную вам информацию.
  • Для важных ссылок, например, на партнеров или рекламодателей, которые нельзя удалять, связаться с владельцем внешнего ресурса и уведомить его о проблеме, чтобы он ее устранил.

• Внутренние ссылки. Попробуйте восстановить удаленную страницу, если это было сделано по ошибке. Или отредактируйте ссылку, заменив на рабочую.

  При переносе страницы на новый URL обязательно сделайте редирект 301. Если замены для ссылки нет — удалите.

• Обратные ссылки. Свяжитесь с владельцем сайта, где у вас установлена битая внешняя ссылка. Попросите исправить ее, указав новый рабочий URL.

Как представить страницу 404 для посетителей

Полностью избавиться от ошибок 404 невозможно, потому что они могут возникнуть не только из-за действий владельца сайта, но и из-за ошибок пользователей. Например, кто-то может неправильно ввести адрес вручную.

Чтобы пользователей не уходили с вашего сайта из-за таких ошибок, создайте пользовательскую страницу 404. Она должна направлять посетителей к основным разделам сайта или предлагать им другой полезный контент.

Пример 1. Маркетплейс Lamoda не только дает ссылки на основные разделы магазина, но и предлагает самые популярные товары на 404 странице.

Пример 2. Если на сайте издательства Бомбора пользователь попал на 404 страницу, ему показывают разворот рандомной книги. Отсюда можно перейти к этой книге или вернуться на главную.

Пример 3. На сайте «ВсеИнструменты.ру» 404 страница сохраняет все разделы сайта: верхнее меню, переход на главную, популярные категории товаров, подвал. Пользователь может перейти на любую страницу сайта.

Читайте по теме: Как оформить страницу 404 ошибки?

Чтобы узнать, сколько пользователей сайта сталкиваются со страницей 404, поставьте на нее счетчик Метрики и воспользуйтесь отчетом «Параметры визитов».

Рекомендуется проверять сайт на наличие битых ссылок регулярно, лучше раз в 1-2 месяца.

Частота проверок зависит от размера сайта и количества нового контента, который на нем создается.

Если вы публикуете много новых статей, добавляете или удаляете страницы — то раз в месяц.

Если сайт относительно статичен и редко обновляется — можно раз в 2-3 месяца.

Главное — не допускать накопления большого числа неработающих ссылок. Регулярный мониторинг поможет вовремя обнаружить и устранить проблемы.

Как удалить несуществующую страницу из поисковых систем

Для начала нужно понимать, что поисковые роботы регулярно сканируют сайт и обновляют данные в индексе. Если страница была удалена, то при следующем обновлении индекса ПС она исчезнет из индекса автоматически.

Но этот процесс может занять некоторое время. Чтобы ускорить удаление, рекомендуем использовать инструменты для вебмастеров:

• Search Console — в разделе «Охват» → «Удаления» и указать URL страниц, которые нужно убрать.
• Яндекс Вебмастер — в разделе «Инструменты» выбрать «Удаление страниц из поиска», добавить URL.

После этого при следующем обновлении индекса ПС и/или поисковых баз ПС поисковые роботы удалят указанные URL из индекса.

Что запомнить

• Битые ссылки в большом количестве могут ухудшить пользовательский опыт на сайте и навредить SEO. Поэтому важно их своевременно находить и устранять.
• Найти неработающие ссылки можно несколькими способами:
  • Вручную, переходя по ссылкам.
  • С помощью инструментов: GSC, Вебмастер, Xenu, Screaming Frog SEO, Ahrefs, Online Broken Link Checker и других.
• Битые внешние ссылки лучше заменять или удалять, внутренние — восстанавливать, исправлять, делать 301 редиректы.
• Страницы, которых больше нет, нужно удалять из индекса через Search Console и Вебмастер.
• Полезно настраивать пользовательскую страницу 404, чтобы посетители могли легко сориентироваться, как им попасть в нужный раздел сайта.
• Важно регулярно мониторить код ответа внутренних страниц сайта и оперативно исправлять/убирать неработающие страницы.

Такой комплексный подход позволит снизить негативное влияние битых ссылок на сайт.

Хотите увеличить количество клиентов из поисковых систем? Обращайтесь к нам за SEO-продвижением. Проведем аудит вашего сайта и подберем оптимальный вариант в зависимости от вашего бюджета.