SEO-среда: как остановить роботов

В этой статье мы расскажем вам о способах, позволяющих скрыть, спрятать или «закрыть» информацию от поисковых систем.

Какое-то время тег использовался для внутренней оптимизации, так как вес делился только между ссылками, у которых не стоит атрибут nofollow. На данный момент в поисковой системе Google тег работает немножко по-другому. Вес делится между всеми ссылками, даже теми, которые с nofollow, но передается другим страницам только по тем, которые без nofollow.

Соответственно, атрибут nofollow не сохраняет вес для других ссылок, а просто «съедает» его. Однако для «закрытия» сомнительных внешних ссылок атрибут nofollow все еще нужен. Среди оптимизаторов бытует мнение, что закрыть все внешние ссылки — это хорошо. Мы бы не советовали этого делать.

Не закрывайте ссылки на хорошие сайты.

Если сайт, на который вы ссылаетесь, хороший и «тематичный», то вы не получите никаких санкций — это плюс для вас. Атрибут nofollow необходимо использовать тогда, когда вы не контролируете размещение ссылок. Например, в комментариях или если вам нужно сослаться на плохой сайт. Всякое ведь бывает! Вдруг вы пишете статью про дорвеи и хотите привести пример вашим читателям. :)

Robots.txt

Файл robots.txt — наиболее распространенный способ запрета индексации страниц сайта. Однако не все знают об этом:

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project, могут появиться в результатах поиска Google. © Источник

Оттуда же:

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе.

Подробно о составление robots.txt написано в справке Яндекса. Советуем пользоваться анализатором robots.txt, что поможет убедиться в правильности его составления и отсутствии нежелательных последствий. :)

Спасибо за внимание и до следующей среды!