Блог про интернет-маркетинг для бизнеса

SEO

Как быстро проверить индексацию сайта в Google и Яндекс

291
10
174

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта. Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования». Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Проверяйте индексацию в панели вебмастеров

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Количество качественных страниц растет, и они добавляются в индекс Проблемы с индексацией выглядят так: Сайт, закрытый от индексации

На скриншоте — сайт, закрытый от индексации в файле robots.txt.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

За последний час в индексе Google появились 49 страниц русскоязычной Википедии

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — RDS Bar для Google Chrome

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать :)

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, Netpeak Spider.

Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также сервис предупреждает об ошибках в этих данных.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

Ошибка с метатегом robots

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Что еще может стать поводом для проблем с индексацией сайта?

Выводы

Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, а ля Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

P.S. Бонус для тех, кто дочитал :)

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Таблица для фиксации индексации сайтов

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

Таблица для фиксации результатов выдачи по оператору site: для Yandex

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

Обнаружили ошибку? Выделите ее и нажмите Ctrl + Enter.

Комментарии (43)

  1. 0
    9 дней назад

    Долго мучилась с проверкой индексации сайта через разные платформы, пока не нашла эту статью https://ifish2.ru/kak-proverit-indeksatsiyu-sajta/

    Они показали   действительно удобный способ как проверить индексацию сайта и контролировать любые изменения с моим сайтом)))

  2. 1
    месяц назад

    Привет. Спасибо за статью. 

    А можешь подсказать мне с вот такой ошибкой, которая в серчконсоли у меня  отображается По табл стр проиндексированы но показывает, что есть ошибка в индексации 

    Скриншот из серчконсоли


    • 0
      Denis Krasnokutskey
      месяц назад

      1. Сообщение о том, что страницы заблокированы в robots.txt это не ошибка. Это оповещение.
      2. Всё верно. Таблица находит страницу в индексе. Но страница заблокирована в файле robots.txt.
      Например:

      Разберитесь какие страницы вы открываете для сканирования, а какие нет.
      Старайтесь не закрывать страницы в robots.txt. Лучше использовать другие методы скрытия, например мета-тег с name="robots" и с содержимым "noindex".

  3. 0
    3 месяца назад
    Спасибо за таблицы. Действительно при большом количестве запросов ничего не парсится. Думаю, что можно заморозить значение "есть" на неделю, например. Только как это сделать? 
    • 0
      Артём Мадкаш
      3 месяца назад

      Конечно можно заморозить.

      Для этого надо скопировать ячейку и вставить её в виде значений (без формул – ctrl+shift+v).

      Это можно сделать со всей строкой или даже со всей таблицей.

      Чтобы не потерять саму формулу, её можно скопировать на соседний столбец:


  4. 0
    7 месяцев назад

    Добрый день! Подскажите, пожалуйста, в чем может быть проблема.

    В search console указано, что индексируются 63 страницы (раньше было 121). При этом в поиске с использованием site: гугл находит 209 страниц (из них 102 дублированных). Откуда такое расхождение и каким сведениям верить?( 

    • 0
      Anastasia Mikhno
      7 месяцев назад

      Приветствую!

      Есть предположение, что у вас на сайте 63 полезные проиндексированные страницы (плюс-минус). Хотя Google знает и еще хранит в базе инфу о 209 страницах. И отдает их по запросу site.
      И, как вы и написали, там много дублей. Они не участвуют в результатах выдачи.

      Именно поэтому Search Console отдает 63 страницы.

      Это предположение, чтобы подтвердить или опровергнуть нужно больше данных и доступов:)
      Еще из идей: это могут быть баги или фичи Search Console. У них последнее время такое случается всё чаще и чаще.

  5. 0
    7 месяцев назад

    Во-первых хочу сказать спасибо за статью "Как быстро проверить индексацию сайта в Google и Яндекс"

    Во-вторых спасибо за таблички

    Прошу помочь с второй табличкой - сделал всё по инструкции ( моя гугл табличка ), но она не показывает вообще не чего с яндекса. Что я не верно сделал? 


    • 0
      tibinua
      7 месяцев назад

      Спасибо за фидбек.

      Да, сейчас Яндекс поменял формат выдачи и, судя по всему, тестирует разные варианты. Он начал подмешивать по запросу site в результаты соцсети. Выводить по 15-20 результатов вместо 10.
      В условиях динамически меняющейся выдачи сложно сделать универсальный инструмент в таблицах.

      Но я попробую исправить и отпишу о результатах.


      • 0
        Артём Меликян
        7 месяцев назад
        Спасибо - жду с нетерпением :)
        • 0
          tibinua
          6 месяцев назад

          Свершилось!

          Яндекс устаканил свои нововведения. Теперь выдача по 15 результатов.

          Таблицу обновил в посте. На всякий случай дублирую сюда: https://goo.gl/5AcFwq

          Но сильно я её не тестил (с выходом нового Netpeak Checker юзаю только его), так что если будут ошибки  в таблице – пишите, разберемся.

  6. 0
    9 месяцев назад

    скопировал себе табличку один в один.

     Не работает -


    http://prntscr.com/eh0uzs

    http://prntscr.com/eh0vm7


    что я сделал не так?

    • 0
      Игорь
      9 месяцев назад

      Добрый день.

      Всё так. Проверил. Табличка в норме и актуальна.
      Бывают такие дни у Гугла. Он не дает себя парсить.

      Попробуйте завтра.

  7. 0
    9 месяцев назад

    Артем, добрый день! 

    Подскажите, пожалуйста, как можно ускорить индексацию на сайте новых страниц с новинками товаров. К примеру в феврале добавила 60 новинок, а только 5-6 страниц проиндексированы по результатам полученным с помощью site. 

    Если добавлять ссылки на новинки сюда https://www.google.com/webmasters/tools/submit-url это поможет? И как часто можно пользоваться этим сервисом? 

    • 0
      Татьяна Михайлюк
      9 месяцев назад

      Добрый день, Татьяна.


      Для начала надо разобраться, действительно ли этих новинок нет в индексе? Как показывает практика, есть много технических проблем, которые вводят в заблуждение в вопросе индексации. Например, если на сайте есть проблема с дублями, то можно искать в индексе просто не ту копию страницы.


      Если проблема с индексацией таки есть, то тут важен коплексый подход:

      1. Качество контента.
      2. Частота обновления контента на сайте.
      3. Техническая оптимизация.
      4. Хорошая внутренняя перелинкова.
      5. Хороший внешний ссылочный профиль.


      Если с этими пунктами проблем нет, то все страницы будут максимально быстро попадать в индекс.


      В любом случае можно и нужно использовать инструменты, которые нам предоставляют поисковые системы.

      Но оба эти инструмента точечно решают проблему.
      "Посмотреть как GoogleBot" разрешает добавлять 500 страниц и 10 страниц+прямые ссылки в месяц.
      А "
      submit-url" вручную через капчу. И чем больше добавлять, тем больше капчи.

      И еще важный момент: с помощью этих инструментов можно загнать страницу в индекс, но как долго она там продержится и будет ли приносить трафик – неизвестно.

      – Есть ли еще способы?
      – Да!
      1. Перелинковка.
      Робот уже проводит какое-то время на вашем сайте, сканируя страницы, уже известные ему.
      Разместите ссылки на новики на этих страницах – чем ближе к главной (популярной) тем лучше.
      2. Внешние ссылки и соц. сигналы.
      Попробуйте Google+.
      3. Карты сайта.
      Есть методика добавлять в карту сайта только новые страницы или только не проиндексированные.

      Повторюсь, если на страницах технические или качественные проблемы, то страницы или не будут попадать в индекс или будут там совсем не долго.

    • 0
      Татьяна Михайлюк
      9 месяцев назад

      И еще вопрос о Search Console - может новые странички лучше через сканирование добавлять http://prntscr.com/eam28i? 

  8. 0
    10 месяцев назад
    Здравствуйте. Спасибо за табличку, очень обрадовалась и стала сразу проверять страницы своего сайта. Сначала казалось, что все ОК, но потом поняла, что что-то не так - Гугл говорил "нет", а я точно знала, что страница в индексе. Добавилось сомнений при проверке через оператор site: - результаты совсем разные. Что посоветуете?
    • 0
      Елена
      10 месяцев назад

      Приветствую, Елена!

      Таблички могут давать сбои и это нормально.
      Часто Google или Яндекс могут не позволять парсить себя. И тогда в табличке появится пометка "Нет".
      На всякий случая я проверил и кое-что актуализировал.
      Теперь должно всё рабоать.

      Возможно надо дать время табличке проверить.
      Если не исправится – пишите, попробуем как-то еще решить вопрос.

      • 0
        Артём Меликян
        10 месяцев назад

        Артем, здравствуйте.

        Получается у меня какая-то ерунда.

        Вот страница новой коллекции, которую я залила относительно недавно:

        http://atelier.kharkov.ua/katalogi/collection-new-ladies-2017/category/61/svadebnie-platya-2017---kollektsiya-new-ladies.html?limit=20&start=40

        При вводе в поисковике с оператором site: я получаю: 2 результата в Гугле и 0 в Яндексе.

        При вводе через табличку я получаю Нет и в Гугле, и в Яндексе.

        Тогда пробую проверить старую статью, которая - я это точно знаю - не только в индексе - она в самом что ни на есть топе, и даже, - вместе со статьей по моде барокко, уже давно гуляет по учебникам!

        http://atelier.kharkov.ua/vse-o-svadbe/history-rococo.html

        Проверка через site: - Гугл и Яндекс - "да", табличка - однозначное "нет".

        Но Яндекс позволяет парсить только после проверки через капчу. Так что он при проверке более чем одного адреса однозначно не работает. 

        Еще.  Я вчера попробовала также скопировать полученные данные в другой столбец, чтобы сохранить сведения и наблюдать затем динамику, но ничего путного из этого не вышло. Там ведь везде абсолютная адресация,  так что у меня получилось одно сплошное "нет" везде.  Вероятно, нужно вставлять просто как данные - без формул, через Специальную вставку.

        И еще: обращение и search идет сразу автоматически? По открытии таблицы? Или нужно каждый урл вручную обновить, чтобы получить свежие данные? Или это вообще перманентный процесс и боты сканируют адрес постоянно? 

        Спасибо.

        • 1
          Елена
          10 месяцев назад

          Добрый вечер, Елена.

          Проверил ваши данные.

          Вот итог:


          1. Да действительно, приведённого вами первого url нет в выдаче, так как он содержит get-параметры. В данном случае это 3я страница пагинации. Её нет в индексе поисковых систем.

          2. По поводу второй ссылки, приведенной вами.
          Табличка отдала правильные значения.

          3. Насколько я понял, вы используете оператор "site" при проверке вручную. Табличка же проверяет по оператору "info" для Google и "url" для яндекс.
          В чем отличие операторов?
          site – отдает информации обо всем сайте (начиная от текучего url).
          info/url – об это и только этом url.
          Если рассмотреть ваш пример, то вводя адрес 3-й страницы с оператором site, получаем результат, что в индексе есть первая страница (без параметров) и вторая (с параметром start=20).


          4. Капча. К сожалению, эта проблема есть.
          Чем больше автоматических запросов в поисковые системы отправляется с вашего IP, тем больше вероятность капчи.
          Так что проверять сотни и тысячи страниц постоянно будет сложно.
          По этой причине таблица может отдавать неверные данные.

          5. Чтобы получать результаты точнее постарайтесь:
          5.1. Разбить список проверяемых url на несколько частей и разместить в разных копиях таблицы.
          5.2. Хранить таблицы, без формулы (обращение и парсинг происходит все время, пока таблица открыта).

          5.3. Запускать проверку только по надобности и не более одной таблицы за раз, растянув формулу из 4 строки на все url.
          5.4. Когда результаты готовы, 
          выделить столбцы B, C и скопировать данные (ctrl+C) и вставить специальной вставкой, как вы и говорили – ctrl+shift+V, на соседние столбцы. Тогда вставятся только значения.
          Из колонок B и C данные можно опять удалить, но оставить только первые строки в качестве шаблона.

          P.S.
          Вам надо бы оптимизировать страницы пагинации, как можно скорее:
          1. Убрать параметры из ссылки на первую страницу.
          2. Внедрить атрибуты next и prev.
          3. Внедрить на все страницы пагинации, кроме первых страниц, мета-тег с name="yandex" и с содержимым "noindex".
          4. Текст оставить только на первой станице.

          Кроме этого на сайте много других проблем. Рекомендую уделить особое внимание технической оптимизации;)

  9. 0
    год назад

    Помоему в статье путаются понятия "индексация роботом" и наличие в поиске.
    Индексирующий робот и выдача поисковой машины это разные механизмы, хотя и тесно связаны.
    Если сайт наполнен мусорными страницами и гугл выбросит их из индекса, то это положительно скажется на трафике, хотя выглядит как "проблема" на скрине в статье.

    • 0
      Dmitro
      год назад

      Приветствую, Дмитрий.
      Спасибо за замечание. Да. На самом деле нужно эти понятия различать. И в статье я говорю о проверке индексации, а не о поисковой выдаче (которая формируется именно из проиндексированных страниц).

      "Если сайт наполнен мусорными страницами" – это проблема и не может положительно сказаться на трафике. Проблема, с которой надо работать. Определив это, можно исправить страницы. Сделать их полезными.
      В этом и есть цель статьи.

  10. 0
    год назад

    при переходе на https, страницы не индексируется! Что это может быть?

  11. 0
    год назад

    Зачем мудрить с таблицами, есть копеечный сервис (но до 1000 урлов парсит в выдаче) - СеоБюджет, 8 руб за парсинг берет, с Гуглом не работает. Второй вариант - программа от Алаича, Компарсер, 1.5к стоит, но универсальный.

    • 0
      Андрей Зайцев
      год назад

      Согласен с вами, Андрей. Об этом я и написал в 4 пункте.
      Но все же помудрить с таблицами бывает интересно, особенно когда из этого получается что-то полезное.
      А я верю, что эти таблички оказались полезными для читателей.
      Кстати, Компарсер уже стоит 2К в противовес бесплатной табличке:)

  12. 0
    год назад

    Скажите, а можно ли парсить позиции сайта в google spreadsheet с помощью IMPORTXML и XPath Expression?

    • 0
      Сергей Смушков
      год назад

      Просто парсить не получится. Так как IMPORTXML выгружает данные, но никак не обрабатывает. Это могут сделать функции Google Spreadsheet.
      В теории можно выгрузить топ по фразе и проверять соответствие нужному домену. Но в больших объемах это не сработает. И даже в средних. Для более чем 10 запросов выгоднее воспользоваться готовыми сервисами парсинга.

  13. 0
    год назад

    "Букмарклет «Проверка индексации»" кажется в ссылке ошибка, не работает

    • 0
      Сергей Смушков
      год назад

      Спасибо, что заметили. Иногда Javascript шалит. Исправили ссылку.

  14. 0
    год назад

    все круто, но есть одно, индексация не до конца проверяет так как скорее всего где-то попадается капча(((

    • 0
      Олег Попенков
      год назад

      Олег, вы о таблице проверки индексации или о Netpeak Spider?
      В случае с таблицей, Да. Но! Я обычно не загружаю туда сотни тысяч страниц. Только основные. И подождать. Можно оставить на пару дней. Точечно проверяю результаты вручную. Если ок – фиксирую. Если нет – жду еще.

      • 0
        Артём Меликян
        5 месяцев назад

        я писал о таблице, Netpeak Spider не умеет к сожалению проверять список ссылок на индексацию(((

        • 0
          Олег Попенков
          год назад

          Не расстраивайтесь, Олег!
          Netpeak Checker работает со списком ссылок. Пока что он больше для анализа доменов. Но там работают толковые ребята и постоянно улучшают продукт. Так что скоро будет всё очень круто:)

Чтобы оставить комментарий, необходимо авторизироваться

Подписаться

на самую полезную рассылку по интернет-маркетингу

Самое

обсуждаемое популярное читаемое