Анализ на Crawl Stats Report в Google Search Console
В днешната статия ще разгледаме един изключително важен отчет от инструмента Google Search Console, а именно - Crawl Stats Report. Ще получите отговори на следните въпроси:
1. Какво представлява Crawl Stats Report-ът в Google Search Console?
2.1. Диаграма, показваща статистика за обхождане
2.2. Подробности за състоянието на хоста
2.3. Карти със заявки за обхождане
2.3.2 Обхождане по тип на файла
1. Какво представлява Crawl Stats Report-ът в Google Search Console?
Crawling (обхождането на даден сайт) е процесът, чрез който търсачките откриват актуализирано съдържание в мрежата като нови сайтове или страници, промени в съществуващи сайтове, както и невалидни връзки.
Crawl Stats Report-ът ни дава статистически данни, за да разберем по-подробно как ботът обхожда сайта ни.
През 2020 отчетът бе актуализиран и в момента той включва полезна информация за:
- типове файлове, които се обхождат;
- статус код на сървъра;
- вид Googlebot
както и други ключови примери, които ще разгледаме по-долу в статията.
Как да достъпите отчета?
Crawl Stats репортът се намира в секция “Settings” > раздел “Crawling” > “Crawl stats” > “Open report”.
2. Какви отчети ще открием?
Репортът съдържа статистически данни за това как Google е обходил сайтът ви за последните 90 дни.
Вътре ще откриете следните показатели:
2.1. Диаграма, показваща статистика за обхождане
Разделена е на три групи:
- общият брой заявки за обхождане;
- общият размер за сваляне (КБ);
- средно време за реакция (ms).
Когато разглеждате тези данни, е важно да обърнете внимание на големи пикове, спадове и тенденции във времето:
- Ако забележите висок спад на общия брой заявки за обхождане, можете да проверите дали сте добавили новия/обновен robots.txt файл.
- Ако пък вашия сайт реагира бавно на Googlebot, то това може да означава, че сървърът не може да се справи с всички заявки.
2.2. Подробности за състоянието на хоста
При избор на подробности за състоянието ще получите три основни категории, по които Google оценява състоянието на хоста:
- Извличане на Robots.txt - процентът на неуспех при обхождане на вашия robots.txt файл (процент на неуспешните заявки);
- DNS резолюция - показва кога DNS сървърът не е разпознал името на хоста ви или не е отговорил по време на обхождане;
- Свързване със сървъра - показва кога сървърът ви не реагира или не е предоставил пълния отговор за вашия URL по време на обхождане.
Как Googlebot оценява тези три критерия?
Означава, че Google не е имал проблем с обхождането през последните 90 дни.
Означава, че е имало поне един сериозен проблем с обхождането през последните 90 дни, но не и през последните 7 дни.
Означава, че е имало поне един сериозен проблем с обхождането през последните 7 дни.
2.3. Карти със заявки за обхождане
Тук има няколко разбивки, които да ви помогнат да разберете какво са намерили роботите на Google във вашия уебсайт.
2.3.1 Отговор на обхождане
Отговорите на обхождане показват отговорите, които Google получава, когато обхожда вашия сайт. Те са групирани заедно по код (като 200, 301, 302, 404 и 5xx) и им се дава процент, който представя колко от бюджета за обхождане е използван за тях. Тук е изключително важно да определите какъв процент от вашия бюджет за обхождане се използва за отговори, които не са 200, и да предприемете действия, където е необходимо.
Тези данни се отнасят до всички заявки, направени към даден уебсайт. Това също включва множество заявки за един и същ URL адрес.
2.3.2 Обхождане по тип на файла
Тук ще видите какви типове файлове е обходил Googlebot на сайта ви.
За да видите подробностите за обхождането за всеки тип файл, просто щракнете върху него.
За пример ще разгледаме HTML файловете:
В горната част на страницата има диаграма, която показва общия брой заявки за обхождане, общия изтеглен размер и средното време за отговор за избрания тип файл. Ще получите информация за часа на заявката, URL адреса и получения отговор.
Типовете файлове, които Google може да разпознае и да ви покаже в този отчет, могат да бъдат - HTML , файлове с изображения, видео, JavaScript, CSS, PDF, XML, JSON, Syndication (RSS или Atom), аудио, KML (или други географски данни).
Този отчет може да използвате, за да направите анализ на следните неща:
- какви видове ресурси Google обхожда най-много на уебсайта;
- средният процент на отговор за различните типове файлове;
- общият размер на изтегляне на различните типове ресурси.
Отговорите на тези въпроси ще ви дадат представа какво причинява проблеми с обхождането на вашия уебсайт.
2.3.3 Цел на обхождането
Има две възможни цели при обхождането на сайта:
- Refresh - за повторно обхождане на вече известна за Googlebot страница;
- Discovery - за обхождане на нови уеб страници.
Разбирането на целта за обхождането и виждането на включени примерни URL адреси може да ви помогне да разберете кои страници получават приоритет и дали трябва да коригирате някакви проблеми във вашата карта на сайта/ robots.txt файла, за да помогнете на Google да получи достъп до важно съдържание.
2.3.4 Тип Googlebot
Показва потребителския агент, използван от Google, за да направи заявката за обхождане.
Тук са типовете роботи – мобилни, десктоп, изображения, видео, рекламни ботове и т.н. – които осъществяват достъп до вашия сайт и се вижда колко често го правят. Зависи от сайта, но по-голямата част от обхожданията вероятно ще идват от мобилния или десктоп бота.
3. Как да използваме отчета?
- Ако Google не може да обходи правилно вашия сайт, той няма да може да индексира нови страници или да открие промени в старите такива, както и да разгледа съдържанието за целите на класирането;
- Репортът улеснява диагностицирането на проблеми с хостинга, ресурсите, които изяждат твърде много бюджет за обхождане, 404 грешки и други подобни;
- Вие виждате по-ясно уебсайта си от гледна точка на Google. С данните за това как той обхожда вашия сайт и как той реагира, можете да направите по-ефективна и информирана SEO стратегия.
Ето няколко примера за употреба на отчета:
- С върнатия показател за кодовете на състоянието (Crawl requests breakdown by response) можете да определите какъв процент от вашия бюджет за обхождане се използва за пренасочвания, липсващи страници и отговори за грешки;
- С метриката за типове файлове (Crawl requests breakdown by file type) можете да определите колко често и до каква степен Google изисква CSS, JS и файлове с изображения;
- С метриката за целта на обхождането (Crawl requests breakdown by purpose) можете да определите колко често ботовете обхождат, за да открият ново съдържание или да обновят старото такова.
4. Оптимизация на Crawling budget
Защо бюджетът за обхождане е важен за SEO?
Накратко: ако Google не индексира страница, тя няма да се класира в резултатите за търсене по нищо. Така че ако броят на страниците ви надвишава бюджета за обхождане на вашия сайт, ще имате страници на вашия сайт, които не са индексирани.
Подготвили сме няколко съвета за това как да оптимизирате Crawling бюджета:
- Подобрете скоростта на сайта - може да доведе до обхождането на повече URL адреси. Също така подобрява потребителското преживяване.
С други думи - бавно зареждащите се страници изяждат ценно време на Googlebot. Но ако страниците ви се зареждат бързо, Googlebot има време да посети и индексира повечето от тях.
- Използвайте вътрешни връзки - Googlebot приоритизира страници, които имат много външни и вътрешни връзки, сочещи към тях. Вашите вътрешни връзки изпращат Googlebot до всички различни страници на вашия сайт, които искате да индексирате.
- Избягвайте “Страници-сираци” - “Страниците-сираци” са страници, които нямат вътрешни или външни връзки, сочещи към тях. Google трудно намира подобни страници. Така че ако искате да извлечете максимума от бюджета си за обхождане, уверете се, че има поне една вътрешна или външна връзка, насочваща към всяка страница на вашия сайт.
- Ограничете дублираното съдържание - не е добре Google да губи време и ресурси в индексация на страници с едно и също съдържание. За тази цел се уверете, че 100% от страниците на сайта ви са съставени от уникално и качествено съдържание.
- Включване на неправилни URL адреси в XML картата - страници, които не могат да се индексират, и URL адреси, които са със код 3xx, 4xx и 5xx, не трябва да се включват във вашата XML карта на сайта.
5. Заключение
Подобреният отчет за статистика на обхождането (Crawl Stats Report) е изключително полезен за собствениците на сайтове. Той предоставя подробна информация за това как Google обхожда сайта. Новите функции, които включва, са:
1. Групиране на общите заявки - заявките са разбити по код на отговор, тип обходен файл, цел на обхождане и тип на Googlebot.
2. Примери за URL адреси, които показват къде са възникнали заявки за сайтове. Можете да щракнете върху ред в таблицата за групиране, за да видите примерни URL адреси от всеки тип.
3. Подробна информация за състоянието на хоста. Новата информация ви позволява да видите развитието на вашия сайт в Google през последните 90 дни.
4. Изчерпателно обобщение за домейни с множество хостове.
Новата диаграма също така показва статистически данни за обхождането във времето, предоставяйки достъп до информация, като общия брой заявки за обхождане за определен период от време, средното време за отговор и общите изтеглени данни.
С тези нови функции, предоставящи по-задълбочена представа за това как Google обхожда уеб сайтове, всеки SEO специалист може да повиши ефективността на страниците с резултати от търсачките (SERP), като редовно преглежда новия си подобрен доклад за статистиката за обхождане.
47
7
18
4
18