SEO
1505879382

Какво е краулинг и как да управляваме ботовете

Показването на резултатите за търсената фраза за части от секундата е само върхът на айсберга. В «черната кутия» на търсачките са сканирани и добавени в специална база данни милиарди страници, които се подбират за показване след отчитане на множество фактори.

Страницата с резултати от търсене се формира вследствие на извършване на три процеса:

  • сканиране;
  • индексиране;
  • показване на резултати (състои се от търсене в индекса и класиране на страниците).

Как работи сканирането (краулингът) на сайта?

Накратко, краулинг (сканиране, crawling) е процес на откриване и събиране на нови и обновени страници от бота на търсачката (краулера),  които добавя в индекса на системите за търсене. Сканирането е началният етап, данните се събират само за бъдеща вътрешна обработка (създаване на индекс) и не се показват в резултатите от търсенето. Сканираната страница невинаги е индексирана.

Ботът на търсачката (той е crawler, краулер, паяк, бот) е програма за събиране на съдържание в интернет. Краулерът се състои от множество сървъри, обхождащи и избиращи страници значително по-бързо, отколкото потребител с помощта на неговия уеб-браузер. Фактически краулерът може да обходи хиляди различни страници едновременно.

Какво още прави ботът-краулер:

  1. Постоянно проверява и сравнява списък с URL-адреси за сканиране с URL-адреси, които вече се намират в индекса на Google.
  2. Премахва дубликатите от списъка, за да предотврати повторно изтегляне на една и съща страница.
  3. Добавя за повторно индексиране променените страници, за получаване на актуални резултати.

При сканирането паяците преглеждат страниците и извършват преход по съдържащите се на тях препратки по същия начин, както и обикновените потребители. При това различният контент се изследва от ботовете с различна последователност. Това позволява едновременно да се обработват огромни масиви от данни.

Например, в Google съществуват ботове за обработка на различен тип контент:

  • Googlebot — основен бот на търсачката;
  • Googlebot News — бот за сканиране на новини;
  • Googlebot Images — бот за сканиране на изображения;
  • Googlebot Video — бот за сканиране на видео.

Именно с robots.txt започва процесът на сканиране на сайта — краулерът опитва да намери ограниченията за достъп до контента и връзките от картата на сайта (Sitemap). В картата на сайта трябва да се намират препратките към важните страници на сайта. В някои случаи ботът на търсачката може да игнорира този документ и страниците да попаднат в индекса, затова конфиденциалната информация трябва да се заключва с парола направо на сървъра.

Как краулерът вижда сайта

Ако искате да проверите как ботът-краулер вижда страницата на сайта, изключете обработката на JavaScript при включен дебъгер в браузера. Да вземем например Google Chrome:

  1. Натискаме F12 — викаме прозореца на дебъгера, отиваме в настройки.

викаме прозореца на дебъгера, отиваме в настройки

  1. Изключваме JavaScript и презареждаме страницата.

Изключваме JavaScript и презареждаме страницата

Ако в самата страница се е съхранила основната информация, заедно с линковете към другите страници от сайта и изглежда приблизително по същия начин, както и с включен JavaScript, проблеми при сканирането не би трябвало да има.

Втори начин — използване на Google инструмента «Извличане като Google» в Search Console.

Извличане като Google

Ако краулерът вижда Вашата страница така както и Вие, проблем със сканирането няма

Ако краулерът вижда Вашата страница така както и Вие, проблем със сканирането няма.

Трети метод — специален софтуер. Например https://pr-cy.ru/simulator/ показва програмния код, който ботът вижда на страницата, а Netpeak Spider показва над 50 различни видове грешки, намерени при сканиране и ги подрежда по степен на важност.

Ако страницата не се показва така, както сте очаквали, е добре да проверите, достъпна ли е тя за сканиране: не е ли блокирана в robots.txt, във файла .htaccess.

Проблеми със сканирането могат да възникват, ако сайтът е създаден с помощта на технологии Javascript и Ajax, тъй като търсачките засега трудно сканират такъв контент.

Как да управляваме сканирането на страници

Стартиране и оптимизация на сканирането на сайта

Съществуват няколко метода да се покани паяка на сайта:

  1. Разрешете сканирането на сайта, ако е бил заключен с парола на сървъра, и предайте информация за URL c помощта на HTTP-заглавие «referer» при преход към друг ресурс.
  2. Поставете препратка към Вашия сайт на друг ресурс, например в социалните мрежи.
  3. Регистрирайте го в панелите за уебмастери на Google и Яндекс.
  4. Съобщете за сайта на търсачката направо през профила на уебмастера в търсачката:
  1. Използвайте вътрешни препратки на страниците за подобряване на навигацията и сканирането на ресурса, например, “хлебни трохички”.
  2. Създайте карта на сайта с нужния списък от страници и добавете линк към картата в robots.txt.

Забрана за сканиране на сайта

  1. За да ограничите сканирането на контента, трябва да защитите папките на сървъра с парола. Това е лесен и ефективен начин за защита на конфиденциална информация от ботове.
  2. Сложете ограничения в robots.txt.
  3. Използвайте метатаг <meta name=”robots”/>. С помощта на директивата “nofollow” добре е да се забрани прехода чрез линкове на други страници.
  4. Използвайте HTTP-заглавие X-Robots tag. Забраната за сканиране от страна на сървъра става с помощта на HTTP заглавие X-Robots-tag: nofollow. Директиви, които се прилагат за robots.txt, са подходящи за X-Robots tag.

Повече информация за използване на http-заглавия има в справочника за разработчици.

Управляване на честотата на сканиране на сайта

Googlebot използва алгоритмичен процес за да определи какви сайтове да сканира, колко често и колко страници да извлича. Уебмастерът може да даде спомагателна информация на краулера с помощта на файла sitemap, тоест с помощта на атрибути:

  • <lastmod> — дата на последната промяна на файла;
  • <changefreq> — вероятна честота на промяна на страниците;
  • <priority> — приоритетност.

За съжаление, стойностите на тези атрибути се разглеждат от ботовете като подсказване, а не като команда, затова в Google Search Console съществува инструмент за ръчно изпращане на заявка за сканиране.

Изводи

  1. Различният контент се обработва от ботовете с различна последователност. Това позволява едновременно да се обработват огромни масиви от данни.
  2. За подобряване на процеса на сканиране, трябва да се създават карти на сайтове и да се прави вътрешно линкване — за да може ботът да намери всички важни страници.
  3. Заключването на информация срещу индексиране е най-добре да се прави с помощта на метатага  <meta name="robots" content="nofollow"/> или http-заглавие X-Robot tag, тъй като файлът robots.txt съдържа само препоръки за сканиране, а не директни команди за действие.

Четете още за инструментите за парсинг на сайта, необходими на SEO-специалиста във всекидневната работа.

13
4
4
Открихте грешка? Маркирайте я и натиснете Ctrl + Enter.