Що таке деіндексація, або Як вийти з тіньового бану Google

Деіндексація сайту — це ситуація, за якої сторінки ресурсу масово зникають з індексу пошукової системи, стаючи недоступними для органічного пошуку. Причиною можуть бути алгоритмічні обмеження або так званий «тіньовий бан» — санкції без офіційного повідомлення в Google Search Console. 

Чому виникає деіндексація і як з неї вийти, розповім далі в статті.

Коли відбувається деіндексація

Причин для тіньового бана безліч. Розгляну основні. 

1. Дублювання контенту. Якщо кілька сайтів містять однаковий або дуже схожий контент, Google вважає їх дублікатами. Це призводить до того, що найслабші домени будуть деіндексовані або знижені в рейтингу.
2. Копіювання і плагіат. Якщо контент одного ресурсу скопійовано з іншого без дозволу, це вважається порушенням авторських прав. Google може відреагувати на такі порушення санкціями — аж до видалення сторінок із пошукової видачі.
3. Дзеркала сайту. Це ресурси, які повністю копіюють контент іншого ресурсу, включно зі структурою та дизайном. Міррор-сайти часто створюються для обману користувачів або пошукових систем, і Google схильний їх деіндексувати.
4. Некоректна переадресація. Якщо один сайт автоматично перенаправляє користувачів на інший без їхнього відома, це може викликати підозри. 
5. Канонічні теги. Коли на двох сайтах вказані канонічні теги, що вказують на один і той самий URL, Google буде індексувати тільки канонічну версію.
6. Схожі домени та брендинг. Якщо два сайти мають схожі доменні імена або візуальний стиль, це може призвести до плутанини. Наприклад, використання різних доменних зон (.com, .net) з одним ім'ям.
7. Дублювання метаданих. Однакові метатеги title і description на різних сайтах сприймаються як ознака неунікального контенту.
8. Автоматично згенерований контент. Використання інструментів генерації контенту без додаткового доопрацювання може призвести до появи великої кількості однотипних і малокорисних сторінок. Google розцінює такий контент як низькоякісний і може виключити його з індексу.
9. Неправильне використання hreflang. Цей тег призначений для зазначення мовних версій сайту. Якщо він налаштований з помилками, Google може об'єднати різні версії сторінок в одну або взагалі виключити деякі з індексу.
10. Зворотні посилання між сайтами. Надмірна кількість лінків між двома порталами виглядає підозріло. У деяких випадках Google розцінює такі сайти як один ресурс і виключає дублікати.
11. Загальне хостинг-оточення. Якщо кілька сайтів зі схожим контентом розміщені на одній IP-адресі, пошукова система запідозрить штучне розмноження ресурсів з метою просування.
12. Партнерські програми. Сайти, які масово розміщують контент з партнерських програм без додавання унікальної цінності, можуть бути деіндексовані.
13. Спам і маніпуляції. Спроби штучного підвищення рейтингу за допомогою прихованого тексту, клоакінгу або інших заборонених методів призведуть до санкцій.
14. Зловживання структурованими даними. Неправильне або оманливе використання мікророзмітки (наприклад, приписування неіснуючих оцінок, цін або подій) викликає недовіру з боку Google.
15. Скарги користувачів. Якщо відвідувачі повідомляють про спам або плагіат, Google може вжити заходів проти сайту.

Як перевірити сайт на деіндексацію

Деіндексований ресурс втрачає видимість у Google, і користувачі більше не можуть знаходити його сторінки через пошук. Найчастіше в індексі залишається тільки головна сторінка, а інші — повністю виключаються.

Якщо ви підозрюєте, що сайт потрапив у тіньовий бан, перевірте теорію наступними кроками.

1. Проаналізуйте органічний трафік у Google Analytics або іншій системі аналітики. Якщо трафік із пошуку різко зменшився без змін у контенті або технічних налаштуваннях, варто перевірити наявність сторінок в індексі.
2. Введіть site:example.com у пошуковий рядок, де example.com — адреса сайту, що тестується. Подивіться, скільки сторінок показує пошуковик. Якщо в результатах тільки головна або дуже мало сторінок — це сигнал можливої деіндексації.
3. Перевірте кількість проіндексованих сторінок і динаміку у звіті «Індексація сторінок» у Google Search Console. Різке падіння — явна ознака масового виключення з індексу.

Чек-лист виходу з тіньового бану

Команда Netpeak у рамках кейсу виходу з тіньового бану розробила чек-лист, який допоможе виявити потенційні причини деіндексації. Пункти розташовані в порядку зниження значущості.

1. Санкції. Переконайтеся, що на сайт не накладено ручних або алгоритмічних санкцій. Для цього зайдіть у звіти Google Search Console:

• «Проблеми безпеки та заходи, вжиті вручну» показує наявність санкцій, накладених співробітниками Google вручну;

• «Проблеми безпеки» відображає проблеми з потенційно шкідливим кодом.

2. Обмеження індексації на цільових сторінках. Перевірте метатеги <meta name="robots"> і заголовки HTTP на наявність директив noindex. Переконайтеся, що важливі сторінки не містять цієї директиви.
3. Перевірка файлу robots.txt. Переконайтеся, що сайт не закритий від сканування пошуковими роботами директивою "Disallow: /". Також перевірте, чи не блокуються важливі розділи частковими директивами "Disallow", які можуть обмежувати сканування потрібного контенту.
4. Правильне використання канонічних посилань. Перевірте, щоб теги <link rel="canonical"> на сторінках не вказували всі на одну й ту саму сторінку (наприклад, на головну). Масова канонікалізація може призвести до деіндексації оригінального контенту — Google вважатиме, що весь сайт дублює одну й ту саму сторінку.
5. Коректний рендеринг сторінок. Переконайтеся, що сторінки відображаються правильно для користувачів і пошукових роботів. Використовуйте Google Search Console:

• виберіть URL;
• перейдіть у Google Search Console і вставте URL у поле «Перевірка URL»;

• після перевірки натисніть «Переглянути відрендерену сторінку»;

• проаналізуйте HTML-код і переконайтеся в наявності всіх основних елементів контенту (заголовки, тексти, зображення).

6. Оптимізація витрат краулінгового бюджету. Скористайтеся звітом Google Search Console, щоб визначити, як пошуковий робот сканує сайт. Переконайтеся, що краулінговий бюджет витрачається на дійсно важливі сторінки.

Моніторте кількість звернень робота до сайту для аналізу тенденцій. Що більше звернень, то цікавіший ресурс для пошукової системи.

Усуньте проблеми з часом відгуку хоста. Чим гірше і повільніше працює хостинг, тим менш ефективно витрачається краулінговий бюджет. 

7. Метадані. Перевірте наявність та унікальність title і description на всіх сторінках. Переконайтеся, що метадані відповідають змісту сторінок і включають релевантні ключові слова.
8. Відсутність дублів контенту. Перевірте унікальність контенту на всіх сторінках за допомогою інструментів на кшталт Netpeak Spider. 

За необхідності налаштуйте XPath для парсингу текстів і подальшого аналізу. Переконайтеся, що на сайті немає сторінок з ідентичним або дуже схожим контентом.

9. Перевірка відповідей сервера:

• переконайтеся у відсутності великої кількості помилок 4xx і 5xx;
• перевірте коректність редиректів (статус 301 або 302);
• проскануйте сайт, більшість сторінок повинні мати код відповіді сервера 200.

Велика кількість битих посилань погіршує сприйняття ресурсу пошуковими системами і знижує довіру.

10. Карта сайту (sitemap.xml). Переконайтеся, що файл sitemap.xml заповнений коректно і відправлений в Google Search Console.

Карта сайту має містити всі пріоритетні сторінки, які:

• повертають код відповіді сервера 200;
• не мають обмежень індексації та сканування;
• містять коректні канонічні посилання.

11. Зовнішні посилання. Проаналізуйте якість і кількість вхідних і вихідних посилань. Перевірте, чи немає посилань із підозрілих, спамних або токсичних ресурсів.
    За необхідності використовуйте інструмент Disavow Tool у Google Search Console для відхилення небажаних посилань.
12. Коректне використання hreflang (для багатомовних сайтів). Налаштуйте коректні атрибути hreflang для всіх мовних версій ресурсу. Переконайтеся у відсутності помилок у зазначенні регіонів і мов.

Що робити після виправлення помилок

Після усунення всіх основних проблем, зосередьтеся на стратегії підвищення корисності вашого ресурсу для користувачів. Якщо сайт не привертає увагу пошукових систем, можливо, проблема в контенті. 

Універсальних рекомендацій тут немає — підхід залежить від специфіки ніші. Однак ключове правило одне: сайт має допомагати користувачеві розв'язувати задачі та знаходити цінну інформацію за темою, що цікавить, тому: 

• вивчайте унікальні теми, яких не торкалися конкуренти;
• продумайте і розширте структуру, щоб виділитися серед інших. 

Не обов'язково намагатися перевершити лідерів ринку, але амбітні цілі дадуть вам змогу внести зміни, які наблизять до бажаного результату і підвищать видимість сайту в пошуковій видачі.

Скільки часу потрібно для результату

Після виправлення помилок необхідно проявити терпіння і продовжити розвиток ресурсу. Індексація не відновлюється миттєво — очікування може затягнутися на кілька місяців, протягом яких пошукові системи будуть періодично пересканувати сторінки. У разі усунення недоліків і підтримання активності існує шанс, що пошукова система змінить своє ставлення до вашого ресурсу й індексація почнеться заново.

Варто враховувати, що в періоди великих оновлень алгоритмів пошукових систем ваш сайт може отримати шанс на «перезавантаження» сприйняття пошуковими системами. У ці моменти особливо важливо уважно стежити за змінами на сторінках і відстежувати динаміку уваги з боку пошукових систем.

Висновки

1. Деіндексація — це зникнення сторінок сайту з результатів пошуку, часто без повідомлень у GSC. Може бути спричинена алгоритмами або тіньовим баном.
2. Основні причини — дублі контенту, дзеркала сайтів, помилки в редиректах і тегах, схожі домени, авто-контент, спам, скарги та інші технічні та якісні проблеми.
3. Визначити деіндексацію можна за різким падінням органічного трафіку, результатами site:запитів і звітами в Google Search Console.
4. Для діагностики потрібно перевірити санкції, індексаційні директиви, налаштування robots.txt, канонікалізацію, рендеринг, метадані, унікальність контенту, код відповіді сторінок, sitemap, посилання і теги hreflang.
5. Важливо не тільки усунути помилки, а й підвищити цінність сайту для користувачів: розвивати унікальні теми, покращувати структуру та орієнтуватися на потреби аудиторії.
6. Відновлення індексації потребує часу — від кількох тижнів до місяців. Особливо важливо стежити за змінами під час апдейтів алгоритмів.
7. Немає гарантії, що сайт повернеться в індекс. Іноді ефективніше створити новий домен без зв'язку зі старим. Якщо зберігається старий домен — відновлення може бути довгим.