Как вернуть органический трафик после неправильного переноса сайта

Часто на сайте происходят глобальные изменения, связанные с переносом на новую CMS (систему управления контентом), правкой структуры, настройкой статических адресов страниц. Бывает, что после массового изменения адресов трафик на сайте временно проседает на 10-20%, даже если настроены постоянные 301 редиректы. А уж если их не настроить и не перенести все SEO-настройки со старой версии, можно ожидать просто катастрофического снижения посещаемости из бесплатного поиска.

Итак, смена CMS. Почему снижается органический трафик на сайт после переноса?

I. Закрыли сайт от индексации

Почему?

Закрыли в robots.txt, либо с помощью <meta name="robots" content="noindex, follow" /> — с тестового субдомена так и перенесли.

Решение

1. Убрать из robots.txt строку: Disallow: /
2. Убрать из продвигаемых страниц <meta name="robots" content="noindex, follow" />.

II. Изменились адреса страниц сайта

Почему?

Даже если настроены редиректы, ранжирование страниц ухудшилось по группам запросов, так как статический ссылочный вес передается не сразу.

Решение

1. Если прошло не более двух недель с момента переноса, вернуть прежние адреса для страниц и настроить 301 редиректы с «новых» адресов. В большинстве CMS существует возможность редактирования адресов.
2. Если уже прошло свыше двух недель, настроить 301 редиректы со старых адресов на новые (о том, как найти старые, читайте дальше).

III. Слетели все ранее настроенные SEO-правки

Почему?

Cлетели шаблоны метатегов, не перенесли тексты.

Решение

1. Настроить шаблоны генерации мета-тегов (title, description, keywords) и заголовки H1 для всех типов страниц (например, для карточек товаров, категорий, фильтров, брендов), перенести старые (вручную прописанные) метатеги страниц. Надеюсь, они у вас где-то были сохранены, если нет, заставьте программиста их вернуть.
2. Перенести SEO-тексты со старой версии (только уникальные, не спамные).
3. Проверить, корректно ли настроены canonical на страницах (могут вести на другой сайт или на главную страницу сайта, а должны указывать на самих себя без учета get-параметров, если настроены статические адреса).
4. Поставить 301 редиректы, которые были настроены ранее (еще до переноса).
5. Проверить, правильные ли заголовки возвращает сервер. Часто бывает, что существующие страницы возвращают код ответа 404 или 301 вместо 200.
6. Проверить, обновлены ли файлы XML-карты сайта.
7. Проверить остальные пункты аудита сайта.

IV. Сайт стал очень медленно грузиться, часто падает

Почему?

Это бывает, когда подбирается неверный хостинг для новой CMS.

Решение

1. Перенесите сайт на новый, проверенный хостинг. Желательно при этом и правильный тарифный план подобрать, чтобы был запас места на диске, поддержка PHP и так далее.
2. Протестируйте хостинг (как правило, дается 5-7 дней для теста), проверьте, как работает техподдержка, уточните вопросы о том, потянет ли данную CMS (например, Magento требует огромных ресурсов).

При этом помните, что бесплатный сыр бывает только в мышеловке. Не скупитесь на оплату хостера. В панели управления хорошего хостинга должны быть плюшки в виде настроек кэширования, сжатия js/css.

V. Проблемы с внутренней перелинковкой

Почему?

Поисковик просто не может проиндексировать часть страниц — в результате многие важные страницы потеряли прежний вес.

Решение

1. Проверьте сайт с выключенным JavaScript.

Возможно, что контент страницы для пользователя и поисковика будет сильно отличаться, и поисковик просто не увидит ссылки на внутренние страницы. В таком случае без помощи программиста не обойтись.

2. Обновите меню сайта. Возможно, ссылки на страницы, которые приносили ранее хороший трафик, были удалены в новом меню, таким образом потеряв получаемый ранее статический вес. Или наоборот — объем ссылок настолько увеличился, что вес страниц бесполезно растрачивается.

В таком случае нужно оставить только те ссылки, что действительно полезны. Ранее поисковики вообще могли посчитать сайт, на страницах которого свыше 100 ссылок, линкопомойкой.

3. Если на сайте есть оптимизированные страницы фильтров, ссылки на них должны быть видны в коде категорий.

VI. Удалены важные страницы сайта

Почему?

Возможно, было удалено большое число важных, с точки зрения продвижения, страниц. Например, SEO-специалист создал когда-то страницы тегов, фильтров, подкатегорий, а при переносе новый подрядчик их не учел вообще.

Решение

Рекомендуется как можно скорее вернуть данные страницы на сайт. Конечно, если они еще будут полезны и относятся к вашим услугам/товарам.

Для этого рекомендуем простой способ определения страниц без помощи программиста.

1. В Google Analytics пройдите по пути «Поведение» — «Контент сайта» — «Все страницы».

2. Выберите даты, за которые хотите получить данные.

3. Вы получите адреса страниц сайта, на которые за данный период заходили посетители. Экспортируйте список адресов.

4. Добавьте с помощью текстового редактора доменное имя.

Например, в Notepad++ это можно сделать с помощью замены (^ означает начало строки):

5. Для полученных адресов проверьте код ответа сервера.

Сервисов для массовых проверок много. Например, Netpeak Spider.

Выбираете в настройках «List of URLs»:

Загружаете и сканируете этот список адресов:

Скорее всего, получите для различных страниц следующие варианты кодов (Status Code):

• 200 — страница существует;
• 301 или 302 — настроены редиректы (перепроверьте, ведут ли они на соответствующие страницы);
• 404 — страница не существует (это и есть удаленные страницы, которые ранее собирали трафик).

Перенастройте редиректы, если необходимо, а также создайте страницы фильтров, тегов, подкатегорий, если они собирали трафик, но были удалены.

VII. Ухудшились поведенческие факторы

Почему?

Из-за нового неудобного меню, дизайна и так далее.

Решение

Проверьте, насколько изменились по сравнению с аналогичным периодом показатели в Google Analytics:

• показатель отказов (чем он выше, тем хуже);
• средняя длительность пребывания пользователя на странице (чем больше, тем лучше);
• страниц за сеанс (чем больше, тем лучше).

Если данные показатели ухудшились, новый сайт не нравится посетителям.

Также может значительно снизиться коэффициент конверсии из посетителей в покупателей/клиентов.

Посмотрите отчет «Пути пользователей» в разделе «Аудитория» в Google Analytics, проверьте адаптивность сайта для мобильных устройств, его отображение в различных браузерах. Возможно, проблема именно в том, что в большинстве браузеров сайтом пользоваться неудобно. Необходимо определить, что же не нравится пользователям. Для этого проведите серию A/B-тестирований.

VIII. Не настроены 301 редиректы со старых URL-адресов на новые

Почему?

Самая популярная ошибка — изменение адресов страниц сайта без настройки постоянных перенаправлений (301 редиректов). Эта ошибка касается не только глобальных изменений. Это может случиться и при настройке человекопонятных URL-адресов вместо динамических, и при добавлении уровней вложенностей, и просто при смене названия страницы.

Что же делать, если изменили адреса, которые уже успели проиндексировать поисковики, и (спустя один-два месяца) трафик упал?

Решение

Обязательно необходимо настроить 301 редиректы со старых URL-адресов на новые, даже если прошло шесть месяцев с момента неправильного переноса. В идеале редиректы должны сработать для всех типов изменившихся адресов (даже для конкретных статей, карточек товаров, а уж тем более для страниц услуг, категорий, фильтров).

Главная проблема — как составить список 301 редиректов, то есть определить, какой URL-адрес был ранее, и какой он теперь.

Чтобы выгрузить текущие адреса:

• поручите программисту выгрузить адреса и названия страниц из базы данных;
• выгрузите самостоятельно их из XML-карты сайта или с помощью Netpeak Spider;
• пройдитесь вручную по сайту (медленный и мучительный способ, для крупных проектов вообще не подходит).

Но все же здесь особых сложностей возникнуть не должно.

А вот с выгрузкой старых адресов могут возникнуть сложности.

Рекомендуем следующие способы получения старых адресов страниц:

1. Опять же поручить программисту выгрузить из старых баз URL-адреса и названия страниц (наиболее простой способ, но не всегда есть возможность им воспользоваться).
2. Использовать бесплатный сервис Веб-архив. Вбиваете доменное имя в строку поиска и получаете снимки страниц. Можно посмотреть метатеги, текст, URL-адрес, полученные данные сравнить с текущими).

Все снимки старше, чем за полтора-два года, уже не помогут исправить текущую ситуацию, но более актуальные данные вы можете использовать для настройки 301 редиректов или прочих задач. Чтобы вручную не анализировать все страницы, лучше анализировать снимки HTML-карты сайта. Затем можно массово выгрузить URL-адреса.

3. Используйте сервис Ahrefs или его аналоги.

Выбираете отчет «Broken» и получаете список внешних ссылок на удаленные страницы. Недостаток заключается в том, что так можно увидеть только удаленные страницы, на которые были ссылки. То есть страницы, на которые не ссылались, в отчете не будут показаны.

4. Анализируете ошибки сканирования в Google Search Console.

В данном случае интересует именно отчет «Не найдено», но полезными будут и другие (например, ошибки сервера). В отчете «Не найдено» отображаются страницы, которые ранее возвращали код ответа 200, а теперь 404.

Адреса страниц в данном отчете по умолчанию отображаются в порядке приоритета, то есть вначале те, которые имели наибольший вес, видимость по запросам, собирали наибольший органический трафик, поэтому даже если «не найдено» будет несколько тысяч страниц, то, скорее всего, проработка одной тысячи принесет результаты.

5. Выгрузка страниц из Google Analytics.

В Google Analytics пройдите по пути «Источники трафика» — «Каналы» — «Organic Search». Нас в первую очередь интересуют страницы, которые получали бесплатный поисковый трафик:

Далее выбираете основной параметр «страница входа», а внизу страницы — количество строк (адресов), которое вы хотите выгрузить (например, 1000). Также выберите дату отчета в диапазоне в несколько месяцев до переноса сайта. И выгружайте данные.

Полученный список адресов загружаете и сканируете в сервисе Netpeak Spider на проверку кода ответа.

Если код отличается от 200, то, в случае 404, настраиваете редиректы (если есть аналогичные страницы), а если 301 — проверяем, совпадают ли страницы. Иногда они просто ведут на главную и для поисковика — это «мягкая» 404 ошибка. В таком случае перенастраиваете правильно редиректы.

IX. Сайт неправильно перенесли на https

Как определить?

Например, страницы сайта могут быть доступны как по https, так и http, не все хорошо с настройкой сертификата.

Решение

Используя рекомендации из данной статьи, исправить ссылки, ведущие с http на https, настроить 301 редиректы с http на https, поставив в списки исключений редиректов файлы robots.txt и sitemap.xml.

Выводы

Причин проседания трафика сайта после переноса может быть много. Для точной диагностики нужно провести тщательный анализ, но чаще всего это одна (или несколько) из описанных болезней:

1. Закрыли сайт от индексации.
2. Изменились адреса страниц сайта.
3. Слетели все ранее настроенные SEO-правки.
4. Сайт стал очень медленно грузиться, часто падает.
5. Проблемы с внутренней перелинковкой.
6. Удалены важные страницы сайта.
7. Ухудшились поведенческие факторы.
8. Не настроены 301 редиректы со старых URL-адресов на новые.
9. Сайт неправильно перенесли на https.

Своевременное исправление ошибок позволяет сохранить органический трафик, а также доход, поэтому прежде чем переносить ресурс или делать глобальные изменения, советуйтесь со специалистами.