SEO

Что такое внутренние дубли страниц и как с ними бороться?

101
32

Url разные, а контент страниц одинаковый. Думаете, ничего страшного? Всего лишь пара одинаковых страниц на сайте. Но одинаковый контент может попасть под фильтры поисковых систем. Чтобы этого не произошло, надо знать, как избавляться от внутренних дублей страниц.

Понятие дублей страниц и их виды

Дубли страниц

Дубли — это отдельные страницы сайта, контент которых полностью или частично совпадает. По сути, это копии всей страницы или ее определенной части, доступные по уникальным URL-адресам.

Что приводит к появлению дублей на сайте:

  1. Автоматическая генерация дублирующих страниц движком системой управления содержимым сайта (CMS) веб-ресурса. Например:

    http://site.net/press-centre/cat/view/identifier/novosti/
    http://site.net/press-centre/novosti/

  1. Ошибки, допущенные вебмастерами. Например, когда один и тот же товар представлен в нескольких категориях и доступен по разным URL:

    http://site.net/category-1/product-1/
    http://site.net/category-2/product-1/

  1. Изменение структуры сайта, когда уже существующим страницам присваиваются новые адреса, но при этом сохраняются их дубли со старыми адресами. Например:

    http://site.net/catalog/product
    http://site.net/catalog/category/product

Есть два типа дублей: полные и частичные.

Что такое полные дубли?

Это страницы с идентичным содержимым, доступны по уникальным, неодинаковым адресам. Примеры полных дублей:

1. URL-адреса страниц со слешами («/», «//», «///») и без них в конце:
http://site.net/catalog///product; http://site.net/catalog//////product.

2. HTTP и HTTPS страницы: https//site.net; http//site.net.

3. Адреса с «www» и без «www»: http//www.site.net; http//site.net.

4. URL страниц с index.php, index.html, index.htm, default.asp, default.aspx, home:
http://site.net/index.html;
http://site.net/index.php;
http://site.net/home.

5. URL-адреса страниц в верхнем и нижнем регистрах:
http://site.net/example/;
http://site.net/EXAMPLE/;
http://site.net/Example/.

6. Изменения в иерархической структуре URL. Например, если товар доступен по нескольким разным URL:
http://site.net/catalog/dir/tovar;
http://site.net/catalog/tovar;
http://site.net/tovar;
http://site.net/dir/tovar.

7. Дополнительные параметры и метки в URL.

  • URL с GET параметрами: http://site.net/index.php?example=10&product=25. Страница полностью соответствует следующей: http://site.net/index.php?example=25&cat=10.
  • Наличие utm-меток и параметров gclid. Utm-метки помогают предоставить в систему аналитики информацию для анализа и отслеживания различных параметров трафика. URL целевой страницы, к которой добавляются utm-метки, выглядят так:
    http://www.site.net/?utm_source=adsite&utm_campaign=adcampaign&utm_term=adkeyword
  • Параметры gclid (Google Click Identifier). Пометка целевых URL, которая добавляется автоматически для отслеживания данных о компании, канале и ключевых словах в Google Analytics. Например, если переходят по вашему объявлению для сайта http://site.net, то адрес перехода посетителя будет выглядеть так: http://site.net/?gclid=123xyz.
  • Метка yclid. Помогает отслеживать эффективность рекламных кампаний в Яндекс Метрике. Метка позволяет отследить действия посетителя, который перешел на сайт по рекламному объявлению. Вот как выглядит адрес перехода:
    http://site.net/?yclid=321.
  • Метка openstat. Универсальная и также используется для анализа эффективности рекламных кампаний, анализа посещаемости сайта и поведения пользователей на сайте. Ссылка с меткой «openstat»:
    http://site.net/?_openstat=231645789.
  • Дубли, которые создаются реферальной ссылкой. Реферальная ссылка это специальная ссылка с вашим идентификатором, по которому сайты распознают, от кого пришел новый посетитель. Например:
    https://site.net/register/?refid=398992;
    http://site.net/index.php?cf=reg-newr&ref=Uncertainty.

8. Первая страница пагинации каталога товаров интернет-магазина или доски объявлений, блога. Она зачастую соответствует странице категории или общей странице раздела pageall: http://site.net/catalog; http://site.net/catalog/page1.

9. Неправильные настройки 404 ошибки приводят к появлению многочисленных дублей. Например: http://site.net/rococro-23489-rocoroc; http://site.net/8888-???.

Выделенный жирным текст может вмещать какие-либо символы и/или цифры. Страницы такого вида должны отдавать код ответа сервера 404 (не 200) или же перенаправлять на актуальную страницу.

Что такое частичные дубли?

В частично дублирующихся страницах контент одинаковый, но есть небольшие отличия в элементах.

Виды частичных дублей:

1. Дубли на карточках товаров и страницах категорий (каталогов). Здесь дубли возникают из-за описаний товаров, которые представлены на общей странице товаров в каталоге. И те же описания представлены на страницах карточек товаров. Например, в каталоге на странице категории под каждым товаром есть описание этого товара:

Дубли на карточках товаров

И тот же текст на странице с товаром:

Тот же текст

Чтобы избежать дубля, не показывайте полную информацию о товарах на странице категории (каталога). Или используйте неповторяющееся описание.

2. Дубли на страницах фильтров, сортировок, поиска и страницах пагинации, где есть похожее содержимое и меняется только порядок размещения. При этом текст описания и заголовки не меняются.

3. Дубли на страницах для печати или для скачивания, данные которых полностью соответствуют основным страницам. Например:
http://site.net/novosti/novost1
http://site.net/novosti/novost1/print

Частичные дубли тяжелее обнаружить. Но последствия от них проявляются систематически и негативно отражаются на ранжировании сайта

К чему приводят дубли страниц на сайте

Дубли могут появиться независимо от возраста и количества страниц на сайте. Посетителю они не помешают получить нужную информацию. Совсем иная ситуация с роботами поисковых систем. Поскольку URL разные, поисковые системы воспринимают такие страницы как разные. Следствием большого количества дублирующегося контента становится:

  1. Проблемы с индексацией. При генерировании дублирующих страниц увеличивается общий размер сайта. Боты, индексируя «лишние» страницы, неэффективно тратят краулинговый бюджет собственника веб-ресурса. «Нужные» страницы могут вовсе не попасть в индекс. Напомню, что краулинговый бюджет это количество страниц, которое бот может просканировать за один визит на сайт.
  2. Изменения релевантной страницы в выдаче. Алгоритм поисковика может решить, что дубль больше подходит запросу. Поэтому в результатах выдачи он покажет не ту страницу, продвижение которой планировалось. Другой итог: из-за конкуренции между дубль-страницами, ни одна из них не попадет в выдачу.
  3. Потеря ссылочного веса страниц, которые продвигаются. Посетители будут ссылаться на дубли, а не на оригиналы страниц. Результат потеря естественной ссылочной массы.

Инструменты для поиска дублированных страниц

Итак, мы уже выяснили, что такое дубли, какими они бывают и к чему приводят. А теперь перейдём к тому, как их обнаружить. Вот несколько эффективных способов:

Поиск дублей с помощью специальных программ

Netpeak Spider. С помощью сканирования можно обнаружить страницы с дублирующимся содержанием: полные дубли страниц, дубли страниц по содержимому блока <body>, повторяющиеся теги «Title» и метатеги «Description».

Сканирование с помощью Netpeak Spider

Использование поисковых операторов

Для поиска дублей можно проанализировать страницы, которые уже проиндексированы, используя поисковый оператор «site:». Для этого в поисковую строку, например Google, вводим запрос «site:examplesite.net». Он покажет страницы сайта в общем индексе. Так мы увидим количество страниц в выдаче, если оно сильно отличается от количества найденных спайдером страниц или страниц в XML-карте.

Просмотрев выдачу, вы обнаружите повторяющиеся страницы, а также «мусорные» страницы, которые нужно удалить из индекса.

Поиск запросу site

Также можно воспользоваться поиском для анализа выдачи по определенному фрагменту текста со страниц, которые, по вашему мнению, могут иметь дубли. Для этого берём в кавычки часть текста, после него ставим пробел, оператор «site:» и вводим в строку поиска. Необходимо указать ваш сайт, чтобы найти страницы, на которых присутствует именно этот текст. Например:

«Фрагмент текста со страницы сайта, которая может иметь дубли» site:examplesite.net

Если в результатах поиска одна страница, значит у страницы нет дублей. Если же в выдаче несколько страниц, необходимо проанализировать их и определить причины дублирования текста. Возможно, это и есть дубли, от которых необходимо избавиться.

Аналогичным образом, используя оператор «intitle:», анализируем содержимое «Title» на страницах в выдаче. Дублирование «Title» бывает признаком дублирующих страниц. Чтобы проверить, используем поисковый оператор «site:». При этом вводим запрос вида:

site:examplesite.net intitle:полный или частичный текст тега Title.

Вот как это выглядит:

Признак дублирующих страниц

Используя операторы «site» и «inurl», можно определить дубли страниц, которые возникли на страницах сортировок (sort) или на страницах фильтров и поиска (filter, search).

Например, для поиска страниц сортировок в поисковой строке нужно прописать: site:examplesite.net inurl:sort.

Для поиска страниц фильтров и поиска: site:examplesite.net inurl:filter, search.

Для поиска страниц фильтров и поиска

Запомните, поисковые операторы показывают только те дубли, которые уже были проиндексированы. Поэтому нельзя полностью полагаться на этот метод.

Использование Google Search Console

В этой панели для вебмастеров в разделе меню «Оптимизация HTML» будут отображаться страницы, на которых «Title» и «Description» повторяются.

Использование Google Search Console

Как избавиться от дублей

Мы уже рассмотрели, что такое дубли, виды, последствия дублей и как их найти. Теперь переходим к самому интересному как же сделать так, чтобы они перестали вредить оптимизации. Используем методы устранения дублей страниц:

301 редирект

Считается основным методом устранения полных дублей. 301 редирект выполняет автоматическое переадресование с одной страницы сайта на другую. По настроенному редиректу боты видя, что по данному URL страница больше не доступна и перенесена на другой адрес.

301 редирект позволяет передать основной странице ссылочный вес с дублирующей страницы.

Этот метод актуален для устранения дублей, которые появляются из-за:

  • URL в разных регистрах;
  • иерархии URL;
  • определения основного зеркала сайта;
  • проблем с использованием слешей в URL.

Например, 301 редирект используют для перенаправления со страниц http://site.net/catalog///product;
http://site.net/catalog//////product;
http://site.net/product
на страницу http://site.net/catalog/product.

Файл robots.txt

С помощью метода мы рекомендуем поисковым ботам, какие страницы или файлы не стоит сканировать.

Для этого необходимо использовать директиву «Disallow», которая запрещает поисковым ботам заходить на ненужные страницы.
User-agent: *
Disallow: /stranica

Отметим, если страница указана в robots.txt с директивой Disallow, эта страница все равно может оказаться в выдаче. Почему? Она была проиндексирована ранее, или же на нее есть внутренние или внешние ссылки. Инструкции robots.txt носят рекомендательный характер для поисковых ботов. Они не могут гарантировать удаление дублей.

Рекомендуем детальнее ознакомиться с руководством по использованию файла robots.txt.

Атрибуты rel="next" и rel="prev"

Google рекомендует использовать этот метод, чтобы дубли не появились на страницах пагинаций. При этом Яндекс не будет учитывать эти атрибуты.

С помощью rel="next" и rel="prev" можно связать между собой URL отдельных страниц. Поисковики будут распознавать контент этих страниц, как один большой свиток, а не отдельные URL.

Для этого на первой странице (http://site.net/catalog-page1) необходимо разместить в разделе <head> (http://site.net/catalog-page1) тег, указывающий какая страница будет следующей:
<link rel="next" href="http://site.net/catalog-page2.html">

Учитывая, что это первая страница, добавлять нужно только rel="next". На всех последующих страницах добавляем и атрибут rel="next", и rel="prev", которые будут указывать на предыдущий и следующий URL. Например, на второй странице (http://site.net/catalog-page2) нужно добавить ссылки:
<link rel="prev" href="http://site.net/catalog-page1">
<link rel="next" href="http://site.net/catalog-page3">

На завершающей странице (http://site.net/catalog-pageN), как и на первой, необходимо указать только один атрибут. Важно: в данном случае он указывает на предыдущий URL:
<link rel="prev" href="http://site.net/catalog-pageN-1">

Отметим:

  • rel="prev" и rel="next" не являются для Google директивами, это лишь вспомогательные атрибуты;
  • они не учитываются Яндексом;
  • важно следить за корректностью генерации тегов и придерживаться четкой последовательности между страницами пагинации, чтобы не создавать бесконечные цепочки.

Детальнее рекомендуем прочесть об оптимизации страниц пагинации.

Метатег <meta name="robots" content="noindex, nofollow> и <meta name="robots" content="noindex, follow>

Метатег <meta name="robots" content="noindex, nofollow> указывает роботу не индексировать документ и не переходить по ссылкам. В отличие от robots.txt, этот метатег прямая команда и она не будет игнорироваться поисковыми роботами.

Метатег <meta name="robots" content="noindex, follow> указывает роботу не индексировать документ, но при этом переходить по ссылкам размещенным в нем.

Для использования метода необходимо разместить на дублирующих страницах в блоке <head> один из метатегов:
<meta name="robots" content="noindex, nofollow" /> или же аналогичный: <meta name="robots" content="none" />; <meta name="robots" content="noindex, follow" />.

Атрибут rel="canonical"

Используйте метод, когда удалять страницу нельзя и её нужно оставить открытой для просмотра.

Тег для устранения дублей на страницах фильтров и сортировок, страницах с get-параметрами и utm-метками. Применяется для печати, при использовании одинакового информационного содержания на разных языковых версиях и на разных доменах. Атрибут rel="canonical" для разных доменов поддерживается не всеми поисковыми системами. Для Google он будет понятен, Яндекс его проигнорирует.

Указывая каноническую ссылку, мы указываем адрес страницы, предпочтительной для индексации. Например, на сайте есть категория «Ноутбуки». В ней фильтры, которые показывают разные параметры выбора. А именно: бренд, цвет, разрешение экрана, материал корпуса и т.д. Если эти страницы фильтров не будут продвигаться, то для них канонической указываем общую страницу категории.

Как задать каноническую страницу? В HTML-код текущей страницы помещаем атрибут rel="canonical" между тегами <head>...</head>. Например, для страниц:
http://site.net/index.php?example=10&product=25;
http://site.net/example?filtr1=%5b%25D0%,filtr2=%5b%25D0%259F%;
http://site.net/example/print.

Канонической будет страница http://site.net/example.

В HTML коде это будет выглядеть так: <link rel="canonical" href="http://site.net/example" />.

rel-canonical

Выводы

1. Дубли — отдельные страницы сайта, контент которых полностью или частично совпадает.

2. Причины возникновения дублей на сайте: автоматическая генерация, ошибки, допущенные вебмастерами, изменение структуры сайта.

3. К чему приводят дубли на сайте: индексация становится хуже; изменения релевантной страницы в поисковой выдаче; потеря естественной ссылочной массы продвигаемыми страницами.

4. Методы поиска дублей: использование программ-парсеров (Netpeak Spider); поискового оператора site; панели для вебмастеров Google Webmasters Tools.

5. Инструменты устранения дублей: соответствующие команды в файле robots.txt; атрибуты rel="next" и rel="prev"; тег meta name="robots" content="noindex, nofollow"; тег rel="canonical"; 301 редирект.

Устранили дублирующий контент? Теперь необходимо проверить сайт ещё раз. Так вы увидите эффективность проведенных действий, оцените результативность выбранного метода. Анализ сайта на дубли рекомендуем проводить регулярно. Только так можно вовремя определить и устранить ошибки.

Обнаружили ошибку? Выделите ее и нажмите Ctrl + Enter.

Комментарии (3)

  1. 0
    месяц назад

    Коллеги, вопрос:

    Схематическая структура е-ком сайта для большого количества товаров и категорий: 3 урла ведут на одну и ту же страницу:

    1. https://site.com/category1/subcategory1/products1

    2. https://site.com/subcategory1/products1

    3. https://site.com/products1


    Правильно ли я понял, что настраивать 301 редирект стОит с урла 2 и 3 на урл 1?

    Что, если настроить по-другому? Например, с урла 1 и 2 на урл3? Или с 1 и 3 на 2?

    В чем разница? Как лучше? Чем чревато впоследствии?


    Заранее спасибо за ответ!

  2. 1
    6 месяцев назад

    Оксана, спасибо за пост!) 


    Очень рекомендую использовать инкогнито-режим в браузере, когда просматриваешь выдачу поисковых систем → из-за персонализации выдачи, какие-то параметры могут очень сильно отличаться.

Чтобы оставить комментарий, необходимо авторизироваться

Подписаться

на самую полезную рассылку по интернет-маркетингу

Самое

обсуждаемое популярное читаемое

Этот сайт использует куки-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.