Шість способів перевірити індексацію сайту чи сторінки

Щоб вебсайт відображався в результатах пошуку, всі його сторінки, відкриті для індексації, повинні стати частиною індексу пошукової системи. Якщо системі не вдається додати сторінки сайту в базу даних — вони залишаються практично невидимими для потенційних клієнтів.

Пропоную розглянути 6 способів перевірки індексації. З’ясуємо, чому пошукові системи не індексують сайт, знайдемо шляхи вирішення проблем.

• Як працює індексація сайту?
• Перевірка в Google Search Console.
• Як перевірити індексацію конкретної сторінки у Search Console?
• Аналіз індексації сайту в Google пошуку.
• Перевірка індексації онлайн за допомогою сервісів.
• SEO-інструменти для перевірки сайтів.
• Букмарклети.
• Індексатор Google Indexing API.
• Чому Google не індексує сайт?
• Як прискорити індексацію сайту?
• Як керувати краулінговим бюджетом?

Як працює індексація сайту?

На перший погляд може здатися, що сканування та індексація — два дуже схожі процеси. Вони справді тісно взаємопов’язані, але є різними етапами обробки сайту пошуковими системами.

Сканування — процес пошуку сторінок для подальшої обробки та індексації.

Індексація — процес додавання просканованої сторінки в базу даних (індекс) пошукової системи. Таким чином, при релевантному запиті користувача сторінка з’явиться в результатах пошуку:

Як перевірити сайт на індексацію

Проіндексовано — отже видно. Дуже важливо, щоб усі сторінки, які потрібно показати потенційним клієнтам, користувачам чи читачам, проіндексувалися. Інакше може статися так: товар чи послуга найкращі на ринку, стаття повністю розкриває суть питання, але якщо сторінки вашого сайту відсутні в індексі пошукової системи — про це ніхто не дізнається.

Саме тому важливо вміти перевіряти індексацію.

1. Перевірка в Google Search Console

Це один із базових способів перевірки індексації для власника сайту та вебмайстра.

Увійдіть до вашого облікового запису на Search Console і перейдіть по вкладці «Сторінки» в розділі «Індексування»:

У цьому звіті ви знайдете загальну інформацію — проіндексовані та непроіндексовані сторінки з відображенням на часовій шкалі:

Перейшовши в повний звіт, побачите докладні дані про всі сторінки, перевірені на індексацію:

Щоб переглянути звіт про неіндексовані сторінки та помилки індексації, поверніться до розділу «Індексування сторінок»:

Клікнувши на ліву колонку «Причина», можна побачити списки сторінок сайту, недоступних до індексації:

Як перевірити індексацію конкретної сторінки у Search Console?

Вставте посилання на сторінку, що вас цікавить, у рядок пошуку Search Console:

В результаті перевірки побачите одне з таких повідомлень:

• сторінку успішно проіндексовано;

• сторінка відсутня в індексі.

Якщо ви внесли всі необхідні зміни, але сторінка все ще відсутня в індексі, надішліть запит на пересканування самостійно:

1. Введіть адресу сторінки в інструменті перевірки URL.
2. Натисніть кнопку «Запит на індексування».

Цей спосіб можна використовувати для прискорення індексації нових сторінок сайту — але не більше 10 на день.

При скануванні одразу кількох сторінок рекомендується застосовувати файл Sitemap.

2. Аналіз індексації сайту в Google пошуку

Пошукові оператори (наприклад, «site:») допомагають уточнити результати пошуку.

Щоб дізнатися про наявність вашого сайту в індексі Google, наберіть у рядку пошуку «site:[url вашого сайту]»:

Для перевірки індексації конкретної сторінки використовуйте оператор у форматі «site:[url сторінки вашого сайту]»:

Якщо сайт або сторінка успішно проіндексовані, вони відобразяться у результатах пошуку. З’явиться інформація про приблизну кількість сторінок вашого сайту, що індексувалося пошуковою системою:

Крім того, інструменти пошуку можуть проаналізувати кількість сторінок, індексованих пошуковою системою за певний період часу:

3. Перевірка індексації онлайн за допомогою сервісів

Існує велика кількість безкоштовних онлайн-сервісів для контролю за індексацією сайту, таких як linkody.com або smallseotools.com. Їхній недолік — ліміти: від 5 до 50 сторінок.

Однак, якщо ваш сайт підключено до Google Search Console, за допомогою нового інструменту від Serpstat можна за один запит перевірити індексацію до 100 сторінок.

1. Перейдіть до розділу «Інструменти» та виберіть «Індексація сторінок»:

2. Натисніть кнопку «Підключити Google Search Console» і увійдіть до сервісу за допомогою облікового запису Google:

3. Після авторизації у верхній лівій частині сторінки побачите список усіх сайтів, до яких у вас є доступ за допомогою Google Search Console:

4. Введіть до 100 URL-адрес для перевірки індексації сайту та натисніть кнопку «Перевірити сторінки». У правій частині сервісу з’являться результати цієї операції.

4. SEO-інструменти для перевірки сайтів

Спеціальні програми, призначені для сканування та аналізу основних параметрів сайту для виявлення помилок, можуть також перевіряти індексацію.

При скануванні сайту в Netpeak Spider ви отримаєте список сторінок та значення параметрів, що впливають на індексацію сайту: robots.txt, canonical, mета robots, X-Robots-Tag, наявність редиректів та ін.:

Завантаживши отриманий список у Netpeak Checker, можна перевірити наявність сторінки або сайту у пошуковій видачі:

5. Букмарклети

Букмарклети (невеликі javascript-програми, які зберігаються як браузерні закладки) — автоматизований варіант перевірки.

Щоб скористатися букмарклетом, відкрийте файл Перевірка індексації та перетягніть посилання на панель закладок:

Потім знайдіть сторінку, яка вас цікавить, або сайт і просто натисніть на закладку. З’явиться нова вкладка Google із пошуковим запитом, використанням уточнюючого оператора «site:» та результатами індексації на запит.

6. Індексатор Google Indexing API

Google Indexing API — це безкоштовний індексатор від Google, за допомогою якого можна:

• дізнатися, коли останній раз Google отримував інформацію за визначеною URL-адресою;
• надіслати запит на переіндексацію сторінки;
• надіслати запит на видалення сторінки з індексу.

Важливою перевагою Google Indexing API є можливість пакетних запитів індексування, об’єднаних в один HTTP (до 100 штук). На день можна використовувати не більше 200 запитів, але якщо на ваших сторінках впроваджено розмітку JobPosting або BroadcastEvent — ви можете подати заявку на збільшення квоти.

Докладніше про квоти індексатора та його підключення читайте у довідці Google.

Чому Google не індексує сайт?

1. Новий сайт. Залежно від кількості сторінок, повна індексація нового сайту може зайняти в Googlebot від одного тижня до 2-4 місяців.
2. Примусове закриття сторінок від індексації.

3. Неправильне використання тега canonical. Тег canonical застосовується для боротьби з контентом, що дублюється, який також може бути однією з причин поганої індексації сайту. Він вказує пошуковому роботу на характерну версію сторінки. При скануванні URL-адреса, вказана в тезі canonical, буде сприйнята Googlebot як основна версія серед схожих за змістом сторінок.

Крім налаштувань, які безпосередньо обмежують або забороняють сканування сайту, варто відзначити такі фактори, що негативно впливають на швидкість індексації:

• Відсутність картки сайту sitemap.xml. Вона допомагає пошуковим роботам зрозуміти його структуру та швидше просканувати сторінки.
• Відсутність чи недостатність внутрішніх посилань. Правильне та рівномірне перелінкування на сайті розподіляє вагу сторінок, а додавання посилань на нові сторінки сайту, а також сторінки, які вже знаходяться в індексі, допомагає пошуковим системам швидше знаходити їх.
• Швидкість роботи сайту. Googlebot не перебуває на сайті постійно. Він лише періодично сканує контент сторінок. Повільне завантаження сайту ускладнює його індексацію та роботу алгоритмів пошукового робота.
• Якість контенту. Останні оновлення пошукової системи Google передбачають покращення якості контенту та створення авторитетних матеріалів — насамперед для людей, а не для маніпуляції алгоритмами пошуку. При оцінці якості контенту вашого сайту Google враховує наявність орфографічних помилок, достовірність інформації, оригінальність та інші фактори. Докладніше про створення корисного контенту можна дізнатися у довідці Google.
• Відсутність оптимізації мобільної версії. Для нових сайтів, створених після 1 липня 2019 року, Google використовує метод індексації Mobile-First index, що віддає перевагу індексації мобільної версії сайту. Таке рішення компанії викликано тим, що вже в 2016 році більше половини запитів до Google надходили з мобільних пристроїв.
• Ігнорування помилок у Google Search Console. Перегляньте звіт про помилки в пошуковій консолі Google. Подивіться, які зі знайдених помилок впливають на індексацію сайту та усуньте їх. Також перевірте, чи не піддавався ваш сайт ручним санкціям. Можливо, його доменне ім’я раніше обмежувалось у зв’язку з порушенням правил Google. 

Як прискорити індексацію сайту?

Можливості Googlebot щодо сканування сайту обмежуються краулінговим бюджетом — лімітом на перевірку сторінок за один візит. Дізнатися про приблизний краулінговий бюджет вашого сайту можна у Search Console (розділ «Індексація») — перегляньте звіт щодо кількості сторінок, оброблених за місяць пошуковою системою:

Краулінговий бюджет змінюється за визначенним пошуковою системою алгоритмом: залежно від розміру сайту, швидкості його роботи та потреб. Якщо виявлено багато помилок або сміттєвих сторінок, бюджет може витрачатися швидше.

Чинники, які негативно впливають на краулінговий бюджет:

• дублі сторінок;
• неунікальний контент;
• биті посилання;
• дуже велика кількість редиректів;
• повільна швидкість роботи сайту.

Як керувати краулінговим бюджетом?

Крім фактичного управління краулінговим бюджетом за допомогою індексатора Google Index API, зменшити його витрати можна за допомогою технічної оптимізації та покращення якості контенту.

Файл sitemap.xml.
Перевірте вміст XML-карти сайту, переконайтеся, що всі вказані в ній сторінки відкриті до індексації та дають код відповіді серверу 200, встановіть автоматичне додавання нових сторінок (відкритих до індексації) у файл sitemap.xml.

Дата зміни сторінки.
Налаштуйте HTTP заголовки Last-Modified та If-Modified-Since, щоб вказати Googlebot на сторінки, контент яких не змінився з його останнього відвідування (вони не потребують повторного сканування).

Оптимізація швидкості завантаження сайту.
Час відповіді сервера не повинен перевищувати 200 мс, а швидкість завантаження сторінки — 3-5 секунд. Перевірте швидкість роботи сайту за допомогою PageSpeed Insights, оптимізуйте сторінки, виходячи з рекомендацій.

Редиректи та биті сторінки.
Не допускайте велику кількість редиректів та битих сторінок на сайті. В іншому випадку, замість відвідування нового контенту, Googlebot витрачатиме свій краулінговий бюджет на переходи по непрацюючих позиціях.

Оптимізація перелінкування.
Додати посилання на новий контент на головну сторінку сайту, виведіть прев’ю анонсу недавніх статей, покажіть новинки товарів. Організуйте перелінкування між старими та свіжими матеріалами, розмістіть посилання на нові сторінки в соцмережах — це допоможе пошуковому роботу швидше їх знайти та просканувати.

Частота оновлення сайту.
Пошукові системи віддають перевагу актуальній та якісній інформації. Регулярно оновлюйте вміст свого сайту, додавайте новий контент не рідше одного разу на тиждень, актуалізуйте та доповнюйте інформацію на старих сторінках.

Запам’ятати

Шість способів самостійно перевірити індексацію сайту чи сторінки:

1. У Google Search Console.
2. За допомогою операторів пошуку.
3. Онлайн-сервіси.
4. SEO-інструментами, наприклад, Netpeak Spider або Netpeak Checker.
5. Використовуючи букмарклети.
6. Google Indexing API.

Для покращення індексації сайту:

1. Налаштуйте та оптимізуйте карту сайту sitemap.xml.
2. Перевірте налаштування файлу robots.txt та використання тега noindex.
3. Слідкуйте за кількістю редиректів та наявністю битих сторінок.
4. Працюйте над перелінкування сайту.
5. Поліпшіть швидкість завантаження сторінок.
6. Створюйте якісний контент і регулярно працюйте над його оновленням та покращенням.
7. Оптимізуйте витрачання краулінгового бюджету.
8. Не забувайте про мобільну версію сайту.
9. Регулярно вивчайте звіти про помилки в Google Search Console.