В январе 2012 года прошли массовые протесты против SOPA и PIPA: многие авторитетные западные сайты прекратили работу на сутки.
У многих вебмастеров возник вопрос: как сделать «blackout», но при этом не навредить сайту? На форуме вебмастеров Google появился пост сотрудника JohnMu с детальными рекомендациями по отключению сайта. Данные рекомендации полезны не только для протестующих американским законам, но и для всех вебмастеров, которым бывает необходимо закрыть временно сайт на обновление, исправление критических ошибок и т.д. В любом случае лучше не выключать сайт, но если без этого не обойтись, то делать это нужно правильно. Вот, что рекомендует сотрудник Google:
Используйте 503 HTTP-статус, но внимательно читая справку.
Самый частый сценарий — вебмастера решают заменить контент на сайте попросту убрав тексты и оставив какое-то «послание». Важно в данном случае сделать так, чтобы возвращался 503 HTTP-статус для всех URL, участвующих в «акции» (конкретных страниц или всего сайта).
Зачем это нужно?
а) это будет значить, что это не «настоящий» контент и он не будет проиндексирован; б) учитывая первый пункт, даже если мы видим тот же контент (сообщение о политическом протесте, к примеру) на всех страницах, проблем и санкций, связанных дублированием контента не будет; в) скорость индексации сайта снизится, если сайт отдает 503 код. Это неизбежно, однако это не повлечет длительных проблем, так как скорость индексации сайта быстро восстановится после того, как сайт начнет отдавать 200-й код. То, насколько быстро восстановится нормальная индексация, зависит от вашего сайта.
Два важных замечания насчет robots.txt
a) Бот Google сейчас настроен так, что он останавливает индексацию сайта, если robots.txt отдает 503 код ответа. Индексация восстанавливается только после того, как робот получит 200 или 404 код ответа сервера при запросе robots.txt. Поэтому, если вы решили заблокировать только часть сайта, убедитесь, что robots.txt не отдает 503 код. В противном случае вы заблокируете сразу весь сайт от робота Google.
б) Некоторые вебмастера решают изменить robots.txt, чтобы остановить индексацию сайта и добавляют директиву «Disallow: /». Никогда не блокируйте бота Google таким образом — это может вызвать проблемы, решение которых займет значительно больше времени, чем несколько дней.
Веб-мастера увидят ошибки в Google Webmaster tools. Пристально следите несколько недель после протеста (или после любого другого планового отключения сайта) за ошибками сканирования в вебмастерке, чтобы убедиться в том, что нет никаких проблем с индексацией сайта.
Общий совет: Не меняйте всё подряд. Не меняйте настройки DNS. Как уже сказано выше, не меняйте содержание robots.txt. Также не стоит менять скорость индексации сайта в GWT. Чем меньше вы делаете изменений, тем больше шансов, что отключение сайта пройдет без нежелательных последствий.
По теме
Как SMART prioritization помогла албанскому маркетплейсу увеличить продажи на 643% за 7 месяцев — кейс Supermart
Необходимо было провести технический аудит и устранить наиболее критические ошибки
Что такое админ-панель сайта и как туда попасть
Чтобы попасть в админку сайта, необходимо определить, какая именно CMS используется. Для этой цели подойдет ручной анализ сайта и его HTML-кода, а также онлайн-сервисы
Что такое 500 Internal Server Error
Ошибка, которая может привести к полной потере контроля над вашим сайтом. Рассказываем, что это такое, какие могут быть причины поломки и как исправить. Узнать больше!
Свежее
Бесперспективные ниши для старта продаж на Amazon
Amazon — гигантская интернет-платформа, символ электронной коммерции. Тем не менее на Amazon есть ниши, где новичкам сложно добиться успеха.
Как повысить узнаваемость телеграм-канала и увеличить количество подписчиков в 20 раз — кейс «Голос Криму»
Какие же подходы работают для нетипичной новостной площадки
Как написать SEO-статью, чтобы попасть в топ-10 выдачи
Практические советы по частоте использования ключевых слов, правильному чередованию коротких и длинных предложений, а также бонусный чек-лист