;
beginBody(); ?>

SEO

Как быстро проверить индексацию сайта в Google и Яндекс

667296
229

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Проверяйте индексацию в панели вебмастеров

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Количество качественных страниц растет, и они добавляются в индекс Проблемы с индексацией выглядят так: Сайт, закрытый от индексации

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

За последний час в индексе Google появились 49 страниц русскоязычной Википедии

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — RDS Bar для Google Chrome

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать :)

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

Ошибка с метатегом robots

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Что еще может стать поводом для проблем с индексацией сайта?

Выводы

Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

P.S. Бонус для тех, кто дочитал :)

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Таблица для фиксации индексации сайтов

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

Таблица для фиксации результатов выдачи по оператору site: для Yandex

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

Обнаружили ошибку? Выделите ее и нажмите Ctrl + Enter.

Комментарии (56 )

  1. 0
    13 дней назад

    Добрый день!

    у нас такая проблема и даже не знаю как её решить 

    сайт для России, виден хорошо а вот для  Украины и Беларусии, Казахстана выдает только Яндекс а Гугл вообще не видит. Таргетинг по странам - отключен был месяц назад. 

    • 0
      Allmed Pro
      12 дней назад

      Приветствую.

      Чтобы помочь вам с вашим вопросом, мне нужны ответы на несколько моих:

      1. Что вы имеете в виду под "Таргетинг по странам - отключен был месяц назад."? Вы удалили региональные страницы? Или что-то сделали в панелях вебмастеров? В каких и что?

      2. "Выдаёт только Яндекс" — вы о позициях или о трафике? У вас нет трафика из этих регионов/поисковых систем? Или в чём проблема?

      3. Какая итоговая ваша цель (кроме ссылки с блога Нетпик:)?

      Если не хотите афишировать, можно написать лично на почту: a.melikian@netpeak.net

  2. 0
    4 месяца назад
    Статья у вас хорошая, табличку опробывал.... вроде, местами работает.

    Артем, перерыл кучу всего, ответа в гугле так и не нашел ответа((( подскажите пожалуйста:

    1. сайт https://amper-group.dp.ua   (у меня сайте переезжал с платной платформы на отдельный движок, отсюда и проблемы)

    в гугл webmasters непонятная штука: в sitemap подготовлено 600 ссылок, скормлено гуглу. судя по печальному графику в "Статус индексирования", за 1 месяц сайт проиндексировал 233 ссылки, в течение 5 месяцев гугл оставил только 83 и график падает. В разделе Сканирования, "Файлы Sitemap" 600 страниц отправлено, 60 проиндексировано... Далее в гугле вводим site:amper-group.dp.ua где получаем выдачу в 792 ссылки?!? 

    Для сбора статистики о своем сайте, скажем на a.pr-cy.ru, получаем, что в индексе у гугла все ок и там 650 ссылок есть. Впрочем, я разными сервисами пользовался для мониторинга и все около 600+ ссылок выдают.

    Вопросище: как? Кому верить? математика - это же точная наука, но данные от самого гугла отличаются в 10 раз.... Инструменты нужны,  чтобы мониторить, следить и исправлять ошибки. Что можно исправлять, если инструменты врут.


    2. При переезде со старого движка было около 550 ссылок на сайте. Все было отловлено (ссылки поменялись) и запихано в "Удалить URL-адреса" в том же Search Console потому ,как все ссылки стали ЧПУ и все стало лучше. Но в разделе Ошибки сканирования - "Не найдено страниц с таким адресом 78 шт". Как говорит гугл, если страницы нет, то он из выдачи удалится, если мы используем их инструмент и 90 дней будет там, при повторном сканировании сайта, из кэша удалятся эти битые URL. Уже по 3-ю кругу вынужден скрывать эти ссылки от бота потому, что выдает опять, что ссылки не может найти? Как это работает? Гугл молчит... При чем, если бот нашел эти ссылки и они 404, то при переходе, мы попадаем на нормальную страницу моего сайта, где любезно сообщается, что можно перейти на главную и все будет ок. 

    Берем эту ссылку 404 и тем же способом смотрим, в индексе ли она в гугле (раз бот ее находит снова и снова). site:...... и ЕЕ просто там нет, выдает, что результата нет. То есть бот находит то, чего в выдачи нет и в кэше гугла не осталось? Это как так? Но в личном кабинете, мне у меня 78 ошибок каким-то образом возникают снова и снова... Я искренне не понимаю, как это работает... Инструкции от гугла - полная чушь и, написаны не для людей, там ничего не понятно.

    Если бы вы могли дать ответы на эти 2 вопроса, я бы был безгранично благодарен)))

    • 0
      Александр Артюх
      3 месяца назад

      Александр, спасибо за комментерий.

      К сожалению, гугл и другие поисковые системы не общаются с нами прямо. Но суть их ответов одна: делайте хорошо.

      Конкретно по вопросам и вашему сайту.

      1.1. Печальный график индексирования говорит о проблемах с качеством. Падает график? Проблема. Надо искать причину. О причинах будет ниже.

      1.2. В выдаче 792 страницы. Это показатель которому верить надо частично.
      Если бы по запросу "site" выводилась стопроцентная инфа, то в этой статье не было бы смысла:)
      Но одно точно: гугл знает минимум о 792 страницах вашего сайта. Возможно больше.

      2. Тут у меня вопрос, зачем вы удаляли адреса при переезде?
      Я не слышал о таких методах. Обычно ставят редирект со старого адреса на новый. Так мы сообщаем гуглу что инфа переехала, а не исчезла.
      Если гугл находит ссылку на 404 и постоянно говорит об этой ошибке, значит где-то есть такая ссылка. Страницы в индексе нет. Но ссылка на неё где-то есть. Может это ваш сайт, а может какой-то сторонний. Это надо изучать.
      По сути, ошибки в разделе "Ошибки" не критичны, если их внезапно не стало очень много или что-то другое неорганическое не произошло. Есть отдельная статья на эту тему: анализ ошибок в GSC.

      Проблемы amper-group.
      Просканировав сайта я нашёл 1419 страниц. Часть из них дубли.
      Сайт доступен по двум протоколам https и http. И на сайте есть ссылки на две версии.
      Это дублирует весь сайт. И из-за этого может быть плохое сканирование. И индексирование. И ранжирование. И конверсии. И т.д.
      Это важнейшее что надо исправить. Дальше есть средние и мелкие проблемы в виде спама в метатегах, перепутанных keywords и description местами, не юзер-френдли фильтры и другое.
      Кстати, Google Search Console у вас какой версии сайта: http или https? Может быть остальные данные в другое версии?

      С переездом на https мы можем помочь. Тут акция до 29 июня, может будет интересно.

      Выводы:
      1. Количество страниц определяете только вы. На основе того, сколько есть на сайте. Сколько из них качественных — о стольких должен знать гугл.
      2. Google слабо сканирует и индексирует — лезем на сайт и ищем проблемы внутри.

      Александр, рад буду ответить на вопросы, если они появятся.

      • 0
        Артём Меликян
        3 месяца назад

        Артем, спасибо, что откликнулись.

        1.1. Делать хорошо - это и делаем, проблема в том, что граница "хорошо" - размыта, увы!

        У нас 80-100% уникальный текст от статей, до описания товаров, никакой кописпасты, все с нуля писалось и проверялось

        на плагиат. Далее, все тайтлы, дискрипшены и H1 все прописано, о чем говорят сервисы, которые проверяют страницы на

        релевантность или соответствие. Ничего не заспамлено и (как могли) сео-птимизировали.

        ГЛАВНОЕ: статисткиа не падает посещаемости. У нас как было 6-9 средняя посещаемость в сутки, так и осталась.

        2. Изменяли ссылки по 2-м причинам: 1. Они не были ЧПУ, у нас было более 3-4 подкаталогов, что портило картину "имей

        максимум 1-2 подкаталога и будет тебе счастье"; 2. Это был Пром.юа... где результат за год был таким же или чуть еще

        хуже + ссылки их были типа "/p23422235-rozetki". Не думаю, что для СЕО очень полездно иметь мусор в виде набора цифр

        (из-за движка). Поэтому мы изменили структуру сайты на нашем движке и уменьшили с 4-х подкаталогов до 1-2.

        "Если гугл находит ссылку на 404 и постоянно говорит об этой ошибке, значит где-то есть такая ссылка. Страницы в

        индексе нет. Но ссылка на неё где-то есть. Может это ваш сайт, а может какой-то сторонний" - вот не мог додуматься

        сам, а вы подсказали, скорей всего вагон тех ссылок осталось на самом проме... но их убрать у нас нет возможности.

        Они же не будут чистить свой мусор от нас, когда мы ушли. НАоборот звонят каждый месяц и умоляют вернуться и

        заплатить им по новой.Спасибо за ссылку на статью, поизчаю, успокоили.

        "Сайт доступен по двум протоколам https и http. И на сайте есть ссылки на две версии.

        Это дублирует весь сайт" - значит нужно выходит вручную посмотреть перелинковку внутреннюю и поисправлять, скажем, все на https и тогда станет легче, верно?

        По фильтрам СПАСИБО! скрин хороший, нужно это исправить... не дружелюбно, согласен на 100%.

        Google Search Console: я когда регистрировал было "https://amper-group.dp.ua/" (исправлено) - это сейчас в личном кабинете есть. И я только сейчас вспомнил, что месяцем позже у хостера-то я сменил протокол на https, я ей богу не знал, что это может повлиять, это ведь не доменное имя и не www, а лишь протокол. Нужно изменить все, скажем и везде на https, чтобы привести к одному знаменателю? Тогда исчезнут дубли и статистика будет полная по сайту, а не по его клону?

        Вы мне подсказали очень много интересного, о чем я только догадывался. Изучу вашу акцию потому, что мне нужно продвинутся по гуглу, а не сидеть на его задворках. 

        • 0
          Александр Артюх
          3 месяца назад

          "значит нужно выходит вручную посмотреть перелинковку внутреннюю и поисправлять, скажем, все на https и тогда станет легче, верно?"
          Не только. Да, все внутренние ссылки надо исправить на актуальные. Внешние, какие можно, тоже. И сами страницы должны редиректить на https. Это очень важно.
          Вот статья о переезде, может будет полезно.

          "Нужно изменить все, скажем и везде на https, чтобы привести к одному знаменателю? Тогда исчезнут дубли и статистика будет полная по сайту, а не по его клону?"
          Да, надо создать новую консоль и привязать её к https версии. Все проблемы это не решит, но картина будет более актуальная.

          • 1
            Артём Меликян
            2 месяца назад

            просто отпишусь, чтобы читатели видели, чем закончилась моя история. Я продел все, что мне порекомендовали и разобрался шаг за шагом, как перейти с http на https. Итог: из 600 поданных страниц на индекс - уже 546 в индексе за неделю. Парочка ошибок вылезли (search console), но я теперь знаю, как их устранить. Ключ в том, что для поисковиков - это разные сайты и он видит их как дубли. А еще редирект, который был на хостинге выбран, а в .htaccess не прописан! Не путайте, люди, это не одно и то же) Поэтому, рейтинги сайта стремительно падали.  

            В результате самостоятельные действия увеличивают сейчас посещаемость и показы. Индексируются те страницы, которые в принципе не попадали ранее в индекс. Буду работать дальше над улучшением СЕО. Сейчас по некоторым ключевым запросам мы уже в ТОП 10 и это первые две недели....

  3. 0
    7 месяцев назад

    Да, табличка хороша, но уже не на столько под Гугл( Досадно.

    Спасибо за статью, было полезно =) 

    • 0
      Alexander Hambir
      7 месяцев назад

      Спасибо!

      Вы проверяйте иногда. Может Google поубавит строгости и табличка снова будет работать. Так иногда происходит.

  4. 0
    7 месяцев назад

    Хоть по конкретной моей ситуации не помогло, но спасибо за табличку. 

    Долго не мог понять почему не индексируется страницы в blogger. В тестах "Инструмент проверки файла robots.txt" всё зелено. noindex тоже не ставил. До тех пор пока не разобрался в перенаправлении на мобильные страницы, с добавочным адресом "/?m=". Его то я и заблочил robots, расчитывая, что это дубль)

    Видимо гугл считает, раз мобильная версия страницы блокируется, значит она и вовсе индексироваться не должна. 
  5. 0
    7 месяцев назад

    Как я понимаю сейчас уже почему-то IMPORTXML не хочет вытягивать данные из страниц типа https://www.google.com/search?q=site:website.com ???

    • 0
      Ravshan Djumshutovich
      7 месяцев назад

      Вытягивает, но не очень активно. И судя по всему, лучше ситуация не будет.

      Раньше можно было по 1000 адресов закидывать и проверять. Сейчас сервисы гугл ставят более жесткие лимиты на это. Так что рекомендую пользоватья другими методами проверки индексации.

  6. 1
    7 месяцев назад
    Спасибо за полезную информацию
  7. 0
    10 месяцев назад

    Доброго времени  суток Артем. Большое Вам спасибо за статью. Но у меня все таки остались вопросы. Помогите разобраться, мой сайт индексируется или нет?  https://rockwheel.com.ua

    Дело в том что в поисковой строке Гугл когда вписываю site:rockwheel.com.ua, то инфо какую-то выдает аж десять страниц, а вот в Гугл Консоль пусто и глухо как в танке. Заранее спасибо. После ответа можете скрыть либо удаль мой вопрос. 

    • 0
      Игорь Товстенко
      9 месяцев назад

      Привет!

      Спасибо за отзыв.

      Можно скрин из  GSC?  Может что-то неправильно настроено. Или это GSC не того сайта (да, так бывает).

      Есть ли органический трафик на сайт из поисковых систем? Если есть, то скорее всего ваш сайт индексируется.

  8. 0
    год назад
    Спасибо за таблицы. Действительно при большом количестве запросов ничего не парсится. Думаю, что можно заморозить значение "есть" на неделю, например. Только как это сделать? 
    • 0
      Артём Мадкаш
      3 месяца назад

      Конечно можно заморозить.

      Для этого надо скопировать ячейку и вставить её в виде значений (без формул – ctrl+shift+v).

      Это можно сделать со всей строкой или даже со всей таблицей.

      Чтобы не потерять саму формулу, её можно скопировать на соседний столбец:


  9. 0
    год назад

    Добрый день! Подскажите, пожалуйста, в чем может быть проблема.

    В search console указано, что индексируются 63 страницы (раньше было 121). При этом в поиске с использованием site: гугл находит 209 страниц (из них 102 дублированных). Откуда такое расхождение и каким сведениям верить?( 

    • 0
      Anastasia Mikhno
      год назад

      Приветствую!

      Есть предположение, что у вас на сайте 63 полезные проиндексированные страницы (плюс-минус). Хотя Google знает и еще хранит в базе инфу о 209 страницах. И отдает их по запросу site.
      И, как вы и написали, там много дублей. Они не участвуют в результатах выдачи.

      Именно поэтому Search Console отдает 63 страницы.

      Это предположение, чтобы подтвердить или опровергнуть нужно больше данных и доступов:)
      Еще из идей: это могут быть баги или фичи Search Console. У них последнее время такое случается всё чаще и чаще.

  10. 0
    год назад

    Во-первых хочу сказать спасибо за статью "Как быстро проверить индексацию сайта в Google и Яндекс"

    Во-вторых спасибо за таблички

    Прошу помочь с второй табличкой - сделал всё по инструкции ( моя гугл табличка ), но она не показывает вообще не чего с яндекса. Что я не верно сделал? 


    • 0
      tibinua
      год назад

      Спасибо за фидбек.

      Да, сейчас Яндекс поменял формат выдачи и, судя по всему, тестирует разные варианты. Он начал подмешивать по запросу site в результаты соцсети. Выводить по 15-20 результатов вместо 10.
      В условиях динамически меняющейся выдачи сложно сделать универсальный инструмент в таблицах.

      Но я попробую исправить и отпишу о результатах.


      • 0
        Артём Меликян
        год назад
        Спасибо - жду с нетерпением :)
        • 0
          tibinua
          год назад

          Свершилось!

          Яндекс устаканил свои нововведения. Теперь выдача по 15 результатов.

          Таблицу обновил в посте. На всякий случай дублирую сюда: https://goo.gl/5AcFwq

          Но сильно я её не тестил (с выходом нового Netpeak Checker юзаю только его), так что если будут ошибки  в таблице – пишите, разберемся.

  11. 0
    год назад

    скопировал себе табличку один в один.

     Не работает -


    http://prntscr.com/eh0uzs

    http://prntscr.com/eh0vm7


    что я сделал не так?

    • 0
      Игорь
      год назад

      Добрый день.

      Всё так. Проверил. Табличка в норме и актуальна.
      Бывают такие дни у Гугла. Он не дает себя парсить.

      Попробуйте завтра.

  12. 0
    год назад

    Артем, добрый день! 

    Подскажите, пожалуйста, как можно ускорить индексацию на сайте новых страниц с новинками товаров. К примеру в феврале добавила 60 новинок, а только 5-6 страниц проиндексированы по результатам полученным с помощью site. 

    Если добавлять ссылки на новинки сюда https://www.google.com/webmasters/tools/submit-url это поможет? И как часто можно пользоваться этим сервисом? 

    • 0
      Татьяна Михайлюк
      год назад

      Добрый день, Татьяна.


      Для начала надо разобраться, действительно ли этих новинок нет в индексе? Как показывает практика, есть много технических проблем, которые вводят в заблуждение в вопросе индексации. Например, если на сайте есть проблема с дублями, то можно искать в индексе просто не ту копию страницы.


      Если проблема с индексацией таки есть, то тут важен коплексый подход:

      1. Качество контента.
      2. Частота обновления контента на сайте.
      3. Техническая оптимизация.
      4. Хорошая внутренняя перелинкова.
      5. Хороший внешний ссылочный профиль.


      Если с этими пунктами проблем нет, то все страницы будут максимально быстро попадать в индекс.


      В любом случае можно и нужно использовать инструменты, которые нам предоставляют поисковые системы.

      Но оба эти инструмента точечно решают проблему.
      "Посмотреть как GoogleBot" разрешает добавлять 500 страниц и 10 страниц+прямые ссылки в месяц.
      А "
      submit-url" вручную через капчу. И чем больше добавлять, тем больше капчи.

      И еще важный момент: с помощью этих инструментов можно загнать страницу в индекс, но как долго она там продержится и будет ли приносить трафик – неизвестно.

      – Есть ли еще способы?
      – Да!
      1. Перелинковка.
      Робот уже проводит какое-то время на вашем сайте, сканируя страницы, уже известные ему.
      Разместите ссылки на новики на этих страницах – чем ближе к главной (популярной) тем лучше.
      2. Внешние ссылки и соц. сигналы.
      Попробуйте Google+.
      3. Карты сайта.
      Есть методика добавлять в карту сайта только новые страницы или только не проиндексированные.

      Повторюсь, если на страницах технические или качественные проблемы, то страницы или не будут попадать в индекс или будут там совсем не долго.

    • 0
      Татьяна Михайлюк
      год назад

      И еще вопрос о Search Console - может новые странички лучше через сканирование добавлять http://prntscr.com/eam28i? 

  13. 0
    год назад
    Здравствуйте. Спасибо за табличку, очень обрадовалась и стала сразу проверять страницы своего сайта. Сначала казалось, что все ОК, но потом поняла, что что-то не так - Гугл говорил "нет", а я точно знала, что страница в индексе. Добавилось сомнений при проверке через оператор site: - результаты совсем разные. Что посоветуете?
    • 0
      Елена
      год назад

      Приветствую, Елена!

      Таблички могут давать сбои и это нормально.
      Часто Google или Яндекс могут не позволять парсить себя. И тогда в табличке появится пометка "Нет".
      На всякий случая я проверил и кое-что актуализировал.
      Теперь должно всё рабоать.

      Возможно надо дать время табличке проверить.
      Если не исправится – пишите, попробуем как-то еще решить вопрос.

      • 0
        Артём Меликян
        год назад

        Артем, здравствуйте.

        Получается у меня какая-то ерунда.

        Вот страница новой коллекции, которую я залила относительно недавно:

        http://atelier.kharkov.ua/katalogi/collection-new-ladies-2017/category/61/svadebnie-platya-2017---kollektsiya-new-ladies.html?limit=20&start=40

        При вводе в поисковике с оператором site: я получаю: 2 результата в Гугле и 0 в Яндексе.

        При вводе через табличку я получаю Нет и в Гугле, и в Яндексе.

        Тогда пробую проверить старую статью, которая - я это точно знаю - не только в индексе - она в самом что ни на есть топе, и даже, - вместе со статьей по моде барокко, уже давно гуляет по учебникам!

        http://atelier.kharkov.ua/vse-o-svadbe/history-rococo.html

        Проверка через site: - Гугл и Яндекс - "да", табличка - однозначное "нет".

        Но Яндекс позволяет парсить только после проверки через капчу. Так что он при проверке более чем одного адреса однозначно не работает. 

        Еще.  Я вчера попробовала также скопировать полученные данные в другой столбец, чтобы сохранить сведения и наблюдать затем динамику, но ничего путного из этого не вышло. Там ведь везде абсолютная адресация,  так что у меня получилось одно сплошное "нет" везде.  Вероятно, нужно вставлять просто как данные - без формул, через Специальную вставку.

        И еще: обращение и search идет сразу автоматически? По открытии таблицы? Или нужно каждый урл вручную обновить, чтобы получить свежие данные? Или это вообще перманентный процесс и боты сканируют адрес постоянно? 

        Спасибо.

        • 1
          Елена
          год назад

          Добрый вечер, Елена.

          Проверил ваши данные.

          Вот итог:


          1. Да действительно, приведённого вами первого url нет в выдаче, так как он содержит get-параметры. В данном случае это 3я страница пагинации. Её нет в индексе поисковых систем.

          2. По поводу второй ссылки, приведенной вами.
          Табличка отдала правильные значения.

          3. Насколько я понял, вы используете оператор "site" при проверке вручную. Табличка же проверяет по оператору "info" для Google и "url" для яндекс.
          В чем отличие операторов?
          site – отдает информации обо всем сайте (начиная от текучего url).
          info/url – об это и только этом url.
          Если рассмотреть ваш пример, то вводя адрес 3-й страницы с оператором site, получаем результат, что в индексе есть первая страница (без параметров) и вторая (с параметром start=20).


          4. Капча. К сожалению, эта проблема есть.
          Чем больше автоматических запросов в поисковые системы отправляется с вашего IP, тем больше вероятность капчи.
          Так что проверять сотни и тысячи страниц постоянно будет сложно.
          По этой причине таблица может отдавать неверные данные.

          5. Чтобы получать результаты точнее постарайтесь:
          5.1. Разбить список проверяемых url на несколько частей и разместить в разных копиях таблицы.
          5.2. Хранить таблицы, без формулы (обращение и парсинг происходит все время, пока таблица открыта).

          5.3. Запускать проверку только по надобности и не более одной таблицы за раз, растянув формулу из 4 строки на все url.
          5.4. Когда результаты готовы, 
          выделить столбцы B, C и скопировать данные (ctrl+C) и вставить специальной вставкой, как вы и говорили – ctrl+shift+V, на соседние столбцы. Тогда вставятся только значения.
          Из колонок B и C данные можно опять удалить, но оставить только первые строки в качестве шаблона.

          P.S.
          Вам надо бы оптимизировать страницы пагинации, как можно скорее:
          1. Убрать параметры из ссылки на первую страницу.
          2. Внедрить атрибуты next и prev.
          3. Внедрить на все страницы пагинации, кроме первых страниц, мета-тег с name="yandex" и с содержимым "noindex".
          4. Текст оставить только на первой станице.

          Кроме этого на сайте много других проблем. Рекомендую уделить особое внимание технической оптимизации;)

  14. 0
    2 года назад

    Помоему в статье путаются понятия "индексация роботом" и наличие в поиске.
    Индексирующий робот и выдача поисковой машины это разные механизмы, хотя и тесно связаны.
    Если сайт наполнен мусорными страницами и гугл выбросит их из индекса, то это положительно скажется на трафике, хотя выглядит как "проблема" на скрине в статье.

    • 0
      Dmitro
      2 года назад

      Приветствую, Дмитрий.
      Спасибо за замечание. Да. На самом деле нужно эти понятия различать. И в статье я говорю о проверке индексации, а не о поисковой выдаче (которая формируется именно из проиндексированных страниц).

      "Если сайт наполнен мусорными страницами" – это проблема и не может положительно сказаться на трафике. Проблема, с которой надо работать. Определив это, можно исправить страницы. Сделать их полезными.
      В этом и есть цель статьи.

  15. 0
    2 года назад

    при переходе на https, страницы не индексируется! Что это может быть?

  16. 0
    2 года назад

    Зачем мудрить с таблицами, есть копеечный сервис (но до 1000 урлов парсит в выдаче) - СеоБюджет, 8 руб за парсинг берет, с Гуглом не работает. Второй вариант - программа от Алаича, Компарсер, 1.5к стоит, но универсальный.

    • 0
      Андрей Зайцев
      2 года назад

      Согласен с вами, Андрей. Об этом я и написал в 4 пункте.
      Но все же помудрить с таблицами бывает интересно, особенно когда из этого получается что-то полезное.
      А я верю, что эти таблички оказались полезными для читателей.
      Кстати, Компарсер уже стоит 2К в противовес бесплатной табличке:)

  17. 0
    2 года назад

    Скажите, а можно ли парсить позиции сайта в google spreadsheet с помощью IMPORTXML и XPath Expression?

    • 0
      Сергей Смушков
      2 года назад

      Просто парсить не получится. Так как IMPORTXML выгружает данные, но никак не обрабатывает. Это могут сделать функции Google Spreadsheet.
      В теории можно выгрузить топ по фразе и проверять соответствие нужному домену. Но в больших объемах это не сработает. И даже в средних. Для более чем 10 запросов выгоднее воспользоваться готовыми сервисами парсинга.

  18. 0
    2 года назад

    "Букмарклет «Проверка индексации»" кажется в ссылке ошибка, не работает

    • 0
      Сергей Смушков
      2 года назад

      Спасибо, что заметили. Иногда Javascript шалит. Исправили ссылку.

  19. 0
    2 года назад

    все круто, но есть одно, индексация не до конца проверяет так как скорее всего где-то попадается капча(((

    • 0
      Олег Попенков
      2 года назад

      Олег, вы о таблице проверки индексации или о Netpeak Spider?
      В случае с таблицей, Да. Но! Я обычно не загружаю туда сотни тысяч страниц. Только основные. И подождать. Можно оставить на пару дней. Точечно проверяю результаты вручную. Если ок – фиксирую. Если нет – жду еще.

      • 0
        Артём Меликян
        год назад

        я писал о таблице, Netpeak Spider не умеет к сожалению проверять список ссылок на индексацию(((

        • 0
          Олег Попенков
          2 года назад

          Не расстраивайтесь, Олег!
          Netpeak Checker работает со списком ссылок. Пока что он больше для анализа доменов. Но там работают толковые ребята и постоянно улучшают продукт. Так что скоро будет всё очень круто:)

Чтобы оставить комментарий, необходимо авторизироваться

Подписаться

на самую полезную рассылку по интернет-маркетингу

Самое

обсуждаемое популярное читаемое

Этот сайт использует куки-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.