Как бороться с битыми ссылками

В прошлый раз мы обсудили, как качественно подготовить страницу 404 для пользователей и поисковых систем. Напомню, в некоторых случаях появление таких страниц вполне объяснимо. Но большое количество 404-страниц и ссылок на них может негативно сказаться на ранжировании сайта в поисковых системах.

Зачем возиться с битыми ссылками?

Почему много битых ссылок — это плохо? Давайте рассмотрим подробно. 

Во-первых, ухудшаются поведенческие факторы. Пользователь ожидает увидеть полезный контент, а попадает на несуществующую страницу. Он покидает ваш сайт и начинает поиск снова. Таким образом, повышается показатель отказов, снижается время взаимодействия с сайтом. В результате — негативный пользовательский опыт.

Во-вторых, мусорные ссылки влияют на ранжирование поисковыми системами. Сайт теряет позиции и снижается его видимость в поисковых системах.

Кроме того, при наличии внешних битых можно потерять трафик и недополучить ссылочный вес — он будет утекать в никуда.

Откуда на сайте битые ссылки?

Существует много причин, по которым на сайте появляются зловредные ссылки. Но чаще всего это происходит в таких случаях:

1. Реорганизация сайта. Изменение структуры сайта или переезд на другой домен, без настройки постраничных 301 редиректов. Например, переезд сайта с HTTP на HTTPS протокол http://site.com и https://site.com — разные сайты.
2. Удаление части сайта или отдельных страниц. При этом ссылки на страницы остались. Очень популярно среди интернет-магазинов — когда товара нет в наличии или он снят с производства, его удаляют.
3. Опечатки в URL при добавлении ссылки. Например, структура URL-адресов подразумевает в конце слеш, а на сайте добавлена ссылка без слеша, при этом не настроен 301-й редирект.

Как найти битые ссылки?

Для поиска таких ссылок предлагаю воспользоваться следующими инструментами:

1. Google Search Console. Необходимо выбрать «Сканирование» — «Ошибки сканирования».

Здесь можно увидеть полный отчет о найденных страницах с кодом ответа «404 Not Found».

2. Яндекс.Вебмастер. Необходимо выбрать «Индексирование» —  «Статистика обхода»:

Далее, с помощью фильтра сортируем страницы, выбрав HTTP-код «404 Not Found».

3. Google Analytics — для поиска страниц, с характерным для 404-ошибки названием в Title: «Страница не найдена», «Page not found», «Ошибка 404» и так далее. Чтобы найти такие страницы, узнайте, как оформлен Title для 404 страницы на вашем сайте. Например:

Далее в Google Analytics действуйте, как указано на скриншоте:

Учтите, этот способ не сработает, если у вас пустой Title для 404 страницы или он ничем не отличается от существующих страниц.

Если Title не оформлен, найти несуществующие страницы на сайте можно другим способом.

Выгружаем все страницы, которые приносят трафик в Google Analytics (берем период не менее года).

Список выгруженных страниц нужно проверить на код ответа сервера. Для этого рекомендую воспользоваться сервисом Netpeak Checker — он быстро справляется с задачей и не вызывает сложностей в работе.

4. Ahrefs. С помощью данного сервиса также можно отследить битые ссылки — они образуются, потому что внешние ресурсы ссылаются на несуществующие страницы сайта. Для этого смотрим отчет «Broken Backlinks» и нажимаем «Export».

5. Netpeak Spider. Удобный сервис, чтобы найти битые ссылки внутри сайта. Как начать поиск ошибок: в строку поиска прописываем домен сайта и нажимаем на «Старт».

После сканирования выбираем отчет «Битые ссылки» — слева откроется таблица, которая содержит информацию о битых ссылках на сайте.

Netpeak Spider не только находит битые ссылки, но и определяет, на какой именно странице сайта они находятся и с каким анкором. Это облегчает исправление ошибок.

Как работает: выбираем «Отчет об ошибке» — «Входящие ссылки»

6. Web Archive. Сервис, с помощью которого можно выгрузить все страницы, которые есть в архиве и проверить их код ответа.

Для этого нужно зайти в https://archive.org/index.php и ввести домен сайта.

В Web Archive откройте любую архивную страницу и посмотрите, как выглядит URL-адрес в строке.

Далее с помощью Netpeak Spider необходимо спарсить все страницы сайта из веб-архива. Для этого следуйте подсказкам:

1. Чтобы начать сканирование, задайте стартовую страницу.
2. В Web Archive архивные страницы отображаются по такому типу URL https://web.archive.org/web/[дата-и-время]/[страницы сайта]. Через регулярные выражения можно задать правила, с помощью которых Netpeak Spider достанет из веб-архива страницы сайта:

• https://web.archive.org/web/.+/https://site.com/ — найдет главную страницу;
• https://web.archive.org/web/.+/https://site.com/.+ — найдет все остальные страницы сайта.

3. На третьем шаге начинаем сканирование.

В результате можно получить все найденные страницы в Web Archive

Далее выделите URL архивных страниц. Для этого откройте отчет с выгруженными страницами в Netpeak Spider и сделайте следующее:

Для того, чтобы выделить URL-адреса страниц своего сайта необходимо:

• указать регулярное выражение (№ 1) — это поможет выделить часть URL (№5);
• в поле «Заменить на» (№2) оставить строку пустой;
• в чек-листе (№3) выбрать первый и третий пункты;
• кликнуть на «Заменить все» (№4). 

В результате получаем конечные URL страниц сайта, которые находятся в Web Archive.

Затем проверьте код ответа сервера этих страниц (следуйте всему, что описано в третьем пункте).

Как исправить ошибки?

После того, как вы нашли битые ссылки, сформируйте список страниц с 404-м кодом и проанализируйте природу появления таких ошибок. Чтобы исправить битые ссылки, рекомендую:

1. Заменить битые ссылки на актуальные. Для этого пройдитесь по списку с битыми ссылками и внимательно изучите его. Если на сайте настроен ЧПУ (Человеко-понятный URL), то уже по фрагменту адреса можно понять, о чем идет речь и искать похожие категории или наиболее релевантные страницы.

Например, есть список страниц с битыми ссылками. С помощью Netpeak Spider мы нашли, где они размещены. Из ЧПУ стало понятно, что это за страницы, благодаря чему мы нашли актуальные страницы сайта. Как оказалось, дело в опечатке в URL.

Также для поиска актуальных страниц можно воспользоваться сервисом Ahrefs. Если есть внешние ссылки на 404 страницу, по анкору можно догадаться о примерном содержании искомой страницы.

То есть наша задача — отыскать наиболее подходящие или релевантные страницы сайта вручную или с помощью внутреннего поиска на сайте и заменить битую ссылку на актуальную.

Способ требует много ручной работы и временных затрат, но вы обязательно получите положительный эффект.

2. Настроить постраничный 301-й редирект с неактуальной страницы на актуальную или наиболее релевантную новую страницу сайта. Например, при изменении уровня вложенности страниц, изменения названия категории или изменения структуры сайта.

Пример:

При этом помните, злоупотребление внутренними редиректами (наличие ссылок, которые ведут на другие внутренние страницы сайта с 30X кодом ответа сервера) может повлечь негативные последствия для сайта. Так что лучше предоставлять пользователям актуальные ссылки без переадресаций.

3. Удалить битые ссылки — способ применим, если актуальных или похожих по содержанию страниц не найдено. Таким образом нужно избавиться от мусорных ссылок.

4. Проанализировать посещаемость страниц с 404-м кодом ответа сервера, выгруженных через Google Analytics. Если есть страницы, которые приносили или приносят трафик, может лучше их восстановить?

Выводы

В некоторых случаях, битые ссылки могут навредить поисковому продвижению сайта, поэтому нужно регулярно искать и устранять «проблемные места». Что важно запомнить:

1. Большое количество битых ссылок негативно сказывается на доверии к сайту у пользователей и поисковых систем, а также может повлечь потерю трафика и уменьшить ссылочную массу.
2. Есть множество доступных способов поиска мусорных ссылок — не стоит ими пренебрегать и желательно использовать в комплексе.
3. Как лучше бороться с битыми ссылками — заменить их на актуальные и полезные для пользователей ссылки.