Как да се предпазим от дублирано съдържание

Полупрофесионална статия за вреда на дублираното съдържание. От какъв тип може да бъде то и как да се борим с него.

Дублираното съдържание може да бъде условно разделено на два вида. Те са:

1. Външно дублирано съдържание.
2. Вътрешно дублирано съдържание.

Външно дублиране на съдържание

Това се случва, когато някой копира съдържанието от сайта ви и го сложи на друг сайт. При такъв вид дублирано съдържание е много трудно да се предпазим, тъй като не можем контролираме този процес. Вариантите за премахване на такова дублирано съдържание са:

• Да пишем на собственика на сайта и да го помолим учтиво да махне съдържанието, което е копирал от нас.
• Да си пренапишем всичкото копирано съдържание.

Вътрешно дублирано съдържание

Този вид дублирано съдържание се среща на самият ни сайт. Обикновено то се появява от грешки при самото му създаване. В практиката сме срещали най-различни грешки, които генерират дублирано съдържание. Сега ще ви покажем как да предпазите сайтовете си от такова.

• Дублажи от страницирането. Този тип дублирано съдържание се среща най-често при онлайн магазините. Причината за това дублиране е неправилното структуриране на страниците. Страницирането трябва да се опише с pagination тагове rel="next", rel="prev", за да се избегне дублирането.

• Дублажи при сортиране. Те също се срещат често при онлайн магазините. Когато правите някакво сортиране в сайта, примерно да сортира от най-ниска към най-висока цена то залепя към URL елемента, който в сайтове сглобявани на OpenCart изглежда така - ?sort=p.price&order=ASC. Тези страници, които се генерират от сортирането трябва да бъдат придружени с таг rel="canonical" или да бъдат забранени за индексация чрез файла robots.txt. Забраната за индексация в този случай се прави, като добавим Disallow: *sort=* в robots.txt.

• Дублажи от принт версия на сайт. От този тип дублирано съдържание може да се предпазите като използвате отново таг rel="canonical" или забраните страниците за индексиране.

• Дублажи от index.php/index.html. Това е една доста срещана грешка, която дублира съдържанието на главната ви страница. От нея може да се предпазите, като пренасочите http://www.example.com/index.php с 301 Redirect към http://www.example.com/ Това пренасочване се прави през файла .htaccess.

• www/non-www. Чрез тези грешки се дублира съдържанието на целия сайт. Преди да предприемем каквито и да е мерки трябва да проверим как е индексиран сайта ни в търсачката т.е. дали е индексиран с www или без него. Според този фактор създаваме 301 Redirect. Пример за такова пренасочване от www към такова без е:

  Options +FollowSymLinks
  RewriteEngine on
  RewriteCond %{HTTP_HOST} ^www.example.com [NC]
  RewriteRule ^(.*)$ http://example.com /$1 [R=301,L]

• Дублажи от пренаписани URL адреси. Решението тук е настройка на редирект от динамични към sef-url адреси. Повече информация за тези проблеми може да намерите на: http://googlewebmastercentral.blogspot.com/2008/09/dynamic-urls-vs-static-urls.html.

• Дублажи от мобилна версия на сайта. Oбикновено такъв тип дублирано съдържание е налично при неправилно реализирани пренасочвания.

Разберете как работи системата за управление на съдържанието на сайта ви

Уверете се, че сте запознат с това как точно се показва съдържанието на вашия уеб сайт. Блогове, форуми, и свързаните с тях системи за управление често показват едно и също съдържание в различни формати. Например, публикация в един блог може да се появи на началната страница на блога, в страницата архив и в страница на друг материал със същия етикет. Забранете страниците с архиви и етикети за индексация, за да нямате проблеми с дублирано съдържание.

Google не препоръчва блокиране на достъпа на роботите до дублираното съдържание, независимо дали с robots.txt файл или някакъв друг метод. По-доброто решение е да се позволи на търсачките да обхожда тези URL адреси, но ги маркирайте като дублирани с помощта на таг rel=”canonical”, или 301 Redirect, тагове Noindex, No/Follow.